In den nächsten Tagen werde ich mein bisheriges IT-System durch ein neues, KI-fähiges IT-System ersetzen.

I. Mein altes System

Vor rund sieben Jahren baute ich mein bisheriges System eigenhändig aus Einzelkomponenten zusammen: Gigabyte B450 AORUS M mit AMD Ryzen 7 2700 und 64 GB DDR4-RAM. Ein solides, vergleichsweise stromsparendes System – mir wichtig, da ich vorher zwei Intel-XEON-Prozessoren mit hoher Stromrechnung hatte. Als Whisper-KI verfügbar wurde, habe ich die Nvidia RTX 3060 (12 GB VRAM) nachgerüstet. Als Betriebssystem nutzte ich Debian.

Mit Debian war ich zuletzt unzufrieden. Die ~zu knapp bemessene~ Boot-Partition verhinderte vollständige Kernel-Updates, die ich manuell nacharbeiten musste. Die Swap-Partition war zu klein und verhinderte den Ruhezustand.

Beim Neuaufsetzen wurde die Trixie-Version mit vielen Fehlern geliefert. Zahlreiche Abhängigkeits- und Nvidia-Probleme sowie mangelhafte MariaDB-Konfiguration verursachten hohen Zeitaufwand. Die GPU begrenzte die nutzbaren KI-Modelle auf 16 GB. Die LLMs konnten Parteien in Schriftsätzen nicht herausarbeiten. Ich möchte später n8n-Workflows betreiben, die in juristischen Dokumenten Gerichte, Parteien, Vertreter, Adressen und Aktenzeichen auslesen und in MariaDB speichern.

II. Mein neues System

1. Risc oder CISC ?

Ehrlich gesagt wollte ich ursprünglich ein Qualcomm Snapdragon X Elite (RISC) – System kaufen. RISC-Systeme verbrauchen deutlich weniger Strom und bieten gute Leistung, sind aber zur Zeit nur in Notebooks/Tablets verbaut.

Apple bietet sehr gute KI-Lösungen mit ARM-RISC-Systemen und hohem Datentransfer zwischen CPU, GPU und Speicher. Diese beginnen preislich bei ca. 10.000 EUR, und es gibt keine überzeugende, praktisch einsetzbare Linux-Option. Ein Apple-Mac-System mit Abhängigkeiten reizt mich zudem nicht.

Ich habe mich schließlich für den AMD Ryzen 9 AI HX370 entschieden.

2. Acemagic F3A Barebone

Beim Angebotssuchen stieß ich auf das Acemagic F3A Barebone für 620 EUR, also ohne SSD und DDR5-SODIMM. Der Computer war preisgünstig, außerdem ist er erfreulich klein, so dass ich diesen auch extern verwenden kann, ggf. mit Hilfe eines externen Akkus. Dieser Rechner ist als Barebone inzwischen aber beim Hersteller ausverkauft.

In zwei Tests schnitt der Computer zufriedenstellend ab. Mit 128 GB RAM wären KI-Modelle bis 70b Größe nutzbar – ausreichend für meine Zwecke.

Allerdings offenbarten Test und Kritiker einige aktuelle Defizite:

(1) Die NPU (Neural Processing Unit) soll KI-Aufgaben beschleunigen. Screenshots zeigen aber, dass die NPU bei LLM-Ausführung nicht genutzt wird. Es wurde wohl versäumt, den NPU-Treiber von AMD zu installieren. Unter Linux sind Linux-Kernel und Module in Entwickler-Varianten vorhanden. Allerdings hinkt im Bereich KI insgesamt noch die Softwareentwicklung nach.

Meine Überlegung, Windows 11 Pro als Grundsystem zu nutzen und Linux in einer VM, wurde damit hinfällig.

Ich werde Arch Linux verwenden, da dort die KI-Unterstützung am weitesten fortgeschritten sei.

(2) Von 128 GB RAM werden aktuell nur etwa 72 % genutzt. Der Hersteller gibt an, nur max. 96 GB zu unterstützen. Mit Strg + F1 im BIOS kann man Optionen zum Tuning freischalten.

3. Massenspeicher und Partitionierung

Für das Acemagic F3A bestellte ich zwei schnelle SSDs.

Eine 2 TB SSD für System und Backup: 1GB Boot-Partition, 849 GB Root, 150 GB Swap, 500 GB Reserve, 500 GB Backup. Bis auf Boot alles verschlüsselt.

Eine 4 TB SSD für Arbeitsdateien mit acht verschlüsselten Partitionen je 500 GB. Eine Partition wird nach jedem Boot und alle drei Stunden per crontab mit dem Backup der 2 TB SSD synchronisiert.

4. Betriebssystem

Wie oben schon dargestellt wird unter Windows11Pro die NPU besser durch den Hersteller AMD unterstützt als unter Linux. Andererseits hinkt die Software-Entwicklung auch unter Windows hinter der Hardware-Entwicklung deutlich nach. Derzeit ist kein Betriebssystem für den Betrieb der Computer überzeugend. Allerdings wird überall engagiert entwickelt und in wenigen Wochen und Monaten kann sich das Blatt gewendet haben.

Mit Debian und Mint (basiert auf Debian) bin ich zuletzt nicht allzu gut gefahren. Das Resümee ist nach all den langen erfolgreichen Jahrzehnten ziemlich schade. Ich arbeite mit Debian schon seit den 90er Jahren. Aber die Vorkonfigurationen sind in den letzten Jahren immer schlampiger geworden und die Beseitigung von Fehlern, bzw. die Schaffung von Abhilfen haben einfach zu viel Zeit gekostet.

5. Isolierte Installation von Software

Wie ich oben schon geschildert hatte, raubte mir das Debian-Trixie mit den vielen ungelösten Abhängigkeiten die letzten Nerven. Ich werde daher vorsorglich so viel wie möglich der Software isoliert installieren. Das bedeutet, dass ich Software bevorzugt per Flatpak, also die Software mit allen Bibliotheken, installiere. Dadurch wird natürlich merklich mehr Speicherplatz auf der SSD benötigt.

Server, zum Beispiel Datenbanken, werden vorwiegend in Containern (Docker/Podman) laufen. Weitere Software wird in einer oder mehreren dedizierten Linux-VM für eine saubere Trennung vom Arch-System laufen.

III. KI-Projekt

Wahrscheinlich stellt sich der ein oder andere die Frage, was ich vorhabe. Im Grunde genommen will ich mit n8n KI-Workflows einrichten.

Zukünftig sollen Nachrichten aller Art über einen workflow bearbeitet werden.

Juristischen Schriftsätzen werden die Daten der Parteien entnommen und in eine Datenbank eingetragen, soweit sie noch nicht erfasst sind. Die Datei wird dann richtig abgelegt. Der Inhalt der Datei wird zusammengefasst und in eine Meldung gepackt.

Die anderen Nachrichten werden von der KI ausgewertet und nach vorgegebenen Kriterien sortiert vorgelegt, bzw. gelöscht.

IV. Es führt kein Weg an KI-Systeme vorbei!

Wer stets die gleiche Software im gleichen Kontext nutzt, konnte bislang sein IT-System sehr lange verwenden. Die Zeiten, in denen in kurzen Intervallen die Hardware signifikante Verbesserungen für die alltägliche Nutzung brachte, sind für die meisten Nutzer seit rund 20 Jahren vorbei. Die IT-Systeme sind seit einigen Jahren hinreichend ausgereift.

1. Neue gesellschaftliche Rahmenbedingungen

Allerdings haben sich in den letzten zehn Jahren, insbesondere aber in den letzten Monaten, die technologischen und gesellschaftlichen Rahmenbedingungen grundlegend verändert. Wir werden nicht mehr wie bisher arbeiten. Diese stark veränderten Rahmenbedingungen krempeln sukzessive, aber elementar und zügig die Arbeitswelt um. Wir werden ganz anders und mit anderen Systemen arbeiten.

a. Die Revolution im Kommunikations- und Nachrichtenwesen

Früher gab es eine klare Trennung zwischen Kommunikation und Nachrichtenwesen. Kommuniziert wurde selektiv per Gespräch, Briefpost und Telefonat. Nachrichten empfing man selektiv per Zeitung, Radio oder Fernseher, ggf. BTX. Kommunikation und Nachrichten waren grundverschieden.

Mit Social Media gibt es diese Trennung nicht mehr. Ca. 90 Prozent der privaten Kommunikation sind inzwischen multimediale Nachrichten. Es wird nicht mehr das eigene Befinden mitgeteilt oder eine eigene Angelegenheiten, sondern fremde oder politische Nachrichten versandt. Der Sinn und Zweck der Nachrichten liegt darin, jemanden zu triggern, aufzuwühlen und letztlich Gefühle auszulösen.

Durch die Multimedialisierung von Kommunikation und Nachrichten haben diese eine gigantische Wirkverstärkung erfahren. Bewegtbild und Ton wirken massiv auf die Psyche ein, zumal diese in Bezug auf ihre Wirkgewalt inzwischen auch stark perfektioniert sind.

Digitale Gebrauchsgeräte wie Smartphones oder Tablets machen Multimedia aufdringlich und rund um die Uhr omnipräsent. Diese Geräte sind nicht mit einem Fernseher vergleichbar, der nur im Wohnzimmer betrieben wird und nach Bedarf Nachrichten liefert. Heute bestimmen die Geräte, wann der Nutzer darauf zugreift.

Aufgrund der Wirkmächtigkeit, Intensität, Omnipräsenz und Menge der Nachrichten ist das Kommunikations- und Nachrichtenwesen für viele außer Kontrolle geraten und schwerlich kontrollierbar.

b. Soziale Auswirkungen der Revolution

Diese dauerhafte psychische Beanspruchung hat massive gesundheitliche und soziale Folgen für Gewohnheiten und Verhaltensweisen. Es gibt unzählige Smartphone-Junkies, die man vor allem im Straßenverkehr hinter ihren Geräten hergeistern sieht. Es gibt arbeitsfähige Bürgergeldempfänger, die es nicht mehr schaffen, von Playstation, Smartphone oder Streaming-Medien wegzukommen. Wir alle kennen (in der Regel ehemalige) Kollegen, die am Smartphone kleben, statt zu arbeiten oder zu lernen.

So reichlich Menschen durch TikTok, YouTube, Messenger oder Games getriggert werden, so wenig lesen sie Bücher, vertiefen sich gedanklich oder betreiben Handwerk. Traumjob ist heute Influencer oder Aktivist. Tingel-Tangel statt Handwerk (dazu fehlen den meisten Menschen inzwischen schon die notwendige Motorik), statt Wissenschaftler, Jurist, Ingenieur oder andere akademische oder technische Berufe, die anstrengend und mathematisch sind. Es gehen so nicht nur die Fachkräfte in handwerklichen, technischen, naturwissenschaftlichen und medizinischen Berufen aus, sondern auch in früheren Traumberufen. Im Ergebnis wachsen Arbeitslosigkeit und Arbeitskräftemangel gleichermaßen. Dieser Trend wird uns in den nächsten Jahrzehnten begleiten.

c. Berufliche Auswirkungen

Diese gesellschaftlichen Entwicklungen wirken massiv in die Arbeitswelt hinein:

(1) Arbeitskräftemangel muss mit KI kompensiert werden. Juristen werden künftig in kürzerer Zeit mehr Fälle abschließen müssen. KI muss einen Großteil der Bürokratie entlasten.

(2) KI wird die wachsende Informationsflut filtern. Kein Mensch kann diese Mengen mehr sichten. Dies gilt umso mehr, weil Sprach- und Videobotschaften auch nicht schnell quergelesen werden können; zumal diese auch viel weniger (sachliche) Informationen als Texte haben. Es geht daher längst nicht mehr nur darum, Nachrichten nach Absender, Spam oder Werbung zu sortieren. KI muss Inhalte auch transcripieren und übersetzen, die Qualität bewerten, die Nachrichten danach einordnen, verteilen, vielleicht sogar selber beantworten und zuletzt vernünftig archivieren oder löschen.

(3) KI wird bei der Produktion von Nachrichten helfen müssen. Aufgrund der zunehmend multimedialen, zeit- und ressourcenintensiven Kommunikation wird KI auch auf produktiver Seite nicht mehr zu verzichtbar sein. Große Teile der Bevölkerung werden zunehmend nur auf dem TikTok-Level erreichbar sein. Erfolg beim Vertrieb hat nur derjenige, der bei TikTok viral geht. Aktuell gewinnen in Deutschland Bürgermeisterkandidaten etwa durch Ein-Euro-Bratwurst- oder Drei-Euro-Döner-TikTok-Kampagnen. Ältere schütteln den Kopf, allerdings zu Unrecht. Wenn die alten Leute einen Bürgermeister wählen, weil er sie besucht oder anschreibt, dann ist das Niveau keineswegs höher. Auf sachlich-gesellschaftlicher Eben dürfen aber Zweifel durchaus geäußert werden, wenn zunehmend TikTok-Grill- und Dönermaster mit unzureichender Qualifikation Behördenleiter und Chef von mehreren hundert Mitarbeitern werden.

d. Der Effizienzdruck steigt durch globalen Wettbewerb massiv.

aa. Handel wird transparenter

Internet und KI machen Märkte transparenter. Zeiten, in denen Marke und „Made in Germany“ allein zählten, sind vorbei. Einkäufer können mit KI Angebote vergleichen, Prioritäten setzen, Testergebnisse abrufen. Ist Marke oder „Made in Germany“ zu teuer oder liefert schlecht, wird anderswo bestellt.

Bis vor 10 Jahren lebten viele deutsche Unternehmen davon, Importware teuer umzusetzen. Heute beziehen gewerbliche Einkäufer und Verbraucher Importware direkt preisgünstig aus Herkunftsländern – weil Markenware dort billiger oder die gleiche Ware ohne Marke billig erhältlich ist. Auch Industrien, die Fremdprodukte nur zusammensetzten, leiden. Fachhandel und Baumärkte, die Billigware recht teuer verkaufen, sind ebenfalls betroffen.

Die drei Verkaufspraktiken funktionierten nur, weil Markttransparenz und die alternative Einkaufswegen fehlten.

bb. Mehr Player – mehr Unsicherheiten

KI wirkt als globaler Katalysator. OpenAI spielte bis vor wenigen Jahren keine Rolle, heute liegen sie in der IT-Branche auf Topniveau.

Softwareentwickler im Silicon Valley galten als Gewinner der Digitalisierung, verlieren aber Jobs durch eigene KI oder starke Wettbewerber aus China (deepseek, Alibaba). China galt lange als Produzent minderwertiger Fahrzeuge, ist heute teilweise überlegen. Hightech-Firmen wie Tesla oder Xiaomi wurden kaum auf dem Radar gehabt.

V. Erfahrungen mit der KI

Es wird in Medien und Politik viel Unsinn über KI geschrieben und geredet.

Die KI ist weder ein Denker, noch ein Berater. Wer glaubt, er könne sich eine KI als Unternehmensberater an die Seite stellen, sollte sich einen anderen Job suchen. Das gleiche gilt für Verantwortungsträger, die glauben, anstrengende Denkaufgaben an eine KI delegieren zu können.

Die KI ist ein sehr gutes, aber bei weitem nicht ein fehlerfreies Werkzeug. Keineswegs kann man eine KI unbeaufsichtigt arbeiten lassen oder ungeprüft seine Resultate übernehmen. Wenn die großen Konzerne tausende Programmierer entlassen, dann wird das noch schlimm enden. Es sei denn, die Programmierer waren schon vorher nicht ausreichend beschäftigt und es wurde nur ein Überhang entlassen.

Bei der Zusammenstellung dieses System habe ich mich von Perplexity Pro / ChatGPT4.0 begleiten lassen.

Folgende – durchaus sehr wesentliche – Fehler ergaben sich:

1. Laut KI wäre die KI-Entwicklung unter Linux weiter fortgeschritten als unter Windows11Pro. Das stimmt definitiv nicht, weil der Hersteller die KI-Entwicklung unter Windows11 massiv vorantreibt.
   Meine Ursprungsüberlegung, Windows11Pro als Grundsystem und für die KI-Software zu verwenden und die Linux-Anwendungen in VM zu packen, wurde durch die falsche Auskunft hinfällig. Tatsächlich könnte sie nunmehr doch relevant werden.
2. Die KI empfahl eine boot-Partitionsgröße von 350 MB. Diese Empfehlung ist katastrophal falsch. Eine zu kleine Partition wird mit jedem Kernel-Update zu einem großen Ärgernis; zumal wenn man irgendwann vergisst, den Bootmanger zu aktualisieren und dieser versucht, einen gelöschten Kernel zu starten.
3. Laut KI hätte der Acemagic F3A vier Speicherbänke. Es sind aber nur zwei.
4. Laut KI wären DDR5-RAM erforderlich. Es sind DDR5-SODIMM notwendig. Ich musste heute die Bestellung von gestern umdisponieren.
5. Bei der Auswahl von SSD-Laufwerken war die KI stark auf Samsung fixiert. Das Preis- und Leistungsverhältnis von anderen Anbietern war aber deutlich besser.
6. Die Text-Korrekturen der KI führten auch zu Verschlechterungen, weil die KI den Text stellenweise nicht verstand.

VI. Eigene KI-Irrtümer

1. Anfänglich unterlag ich dem Irrtum, DeepSeek-R1 lokal betreiben zu können. Auch wenn das Modell im Verhältnis zu seinen Wettbewerbern klein ist, ist es groß. Für den flüssigen Betrieb müsste man ca. 1000 GB RAM vorhalten.
2. Es genügt nicht, ein Modell lediglich lokal zu installieren. Wenn man ständig neue und aktuelle Informationen verarbeiten will, muss man mit Hilfe von Workflows dem KI-Modell Informationen zuführen. Im Rahmen eines Workflows müssen der KI Instrumente an die Seite gestellt werden, um die Fehlerhaftigkeit zu reduzieren.
3. Auf der administrativen Ebene ist die KI noch nicht alltagstauglich. Die meisten KI-Dienstleister bieten ihre Dienste in einer Cloud an, weil die lokalen Rechenkapazitäten regelmäßig nicht reichen.

VII. KI-Strategien

Die Anforderungen sind praktischer Natur.

1. Kosten

Wegen hoher Energiepreise liegen die KI-Lösungen nicht im Bereich des Klotzens; zumal aufgrund der sich verfestigenden wirtschaftlichen Rezession auch die Budgets allenthalben beschränkt sind, sowohl in Privathaushalten als auch im gewerblichen Umfeld.

2. Bedarfsgerechtheit

Das Gebot der Sparsamkeit erfordert eine maßgeschneiderte KI, die den Bedarf des Kunden ziemlich genau trifft.

Taktisch bedeutet dies, ein preisgünstiges und sparsames KI-System aufzubauen und dies modular dem Bedarf entsprechend auszubauen.

(1) Analyse

Es muss von Anfang an klar sein, in welchen Bereichen die KI konkrete Aufgaben übernehmen muss und welche Ressourcen benötigt werden. Hat die KI eine verwaltende, mathematische, informationsbeschaffende, lektorierende oder z.B. eine übersetzende Aufgabe? Je nach Aufgabe und Qualitätsanspruch müssen im Rahmen eines Workflows KI-Modelle, unterstützende Werkzeuge und Zugänge implementiert werden.

Es muss abgewogen werden, inwieweit die lokale KI die Aufgaben selbst erbringen muss und kann. Über API-Schnittstellen lassen sich Aufgaben auch an die großen KI-Modelle oder an Workflows in einer Cloud abgeben. Es stellen sich hier aber besonders Fragen nach Abhängigkeiten, Datenschutz, Firmengeheimnisse und Kosten.

(2) Umsetzung

KI ist Neuland. Es gibt viel Hype & Hysterie, aber nur sehr wenige praktische Erfahrungen. Und die Erfahrungen sind zudem teilweise noch ernüchternd, bzw. es ist erkennbar, dass Optimierungsbedarf besteht.

Viele Universitäten, einige Großkonzerne mit eigenen Rechenzentren, Cloud-Anbieter und wenige große private Schulungsunternehmen haben erste KI-Modelle oder erste Workflows entwickelt. Ein Teil davon ist auch veröffentlicht.

Die meisten Lösungen sind primär auf Workflows in einer Cloud ausgerichtet und häufig auch innerbetriebliche Großlösungen. Naturgemäß erfährt man als Außenstehender über reale Erfolge und Misserfolge in diesen Kreisen eher wenig. Am ehesten wird über konkrete Erfolge im öffentlich-wissenschaftlichen Bereich berichtet, weil diese Institutionen auf öffentliche Gelder angewiesen sind. Nichtsdestotrotz wollen viele Personen und Unternehmen keine Cloud-Lösung, weil sie die Abhängigkeiten nicht wollen, weil sie die Datengewalt aus der Hand geben würden oder weil hohe Kostenentwicklungen fürchten.

Lokale und kostengünstige Lösungen – ohne Datentransfer oder gar -verlust aus einem Unternehmen oder Privathaushalt heraus -, insbesondere in kleinen Betrieben oder Haushalten, gibt es derzeit nicht, weil die Hardware dazu bislang fehlte. Im universitären Experimentierumfeld gibt es zwar erste Workflows, die sich aber noch im Rahmen des Prinzips trial & error bewähren müssen. Lösungen „von der Stange“ oder routinierte Lösungen müssen aber erst noch entwickelt werden und sich bewähren. Allerdings wird die Grundlage auch erst jetzt mit den ersten preisgünstigen KI-Computer-Systemen gelegt.