Kurz gesagt: Bei mir ist aus einzelnen KI-Experimenten Schritt für Schritt eine kleine Infrastruktur geworden: ein KI-Server für die Rechenarbeit, ein Mini-PC, der Abläufe steuert, eine NAS für Daten und Backups und ein Webserver für Websites und Social Media. Jedes Gerät hat eine klare Aufgabe. Die wichtigsten Lehren: Rechnen und Steuern trennen, Fakten von Skripten liefern lassen und nicht mehr Modelle betreiben, als man wirklich braucht.
Die Geräte und ihre Aufgaben
KI-Server: ASUS Ascent GX10
Der ASUS Ascent GX10 mit 128 GB gemeinsamem Speicher ist die Rechenbasis. Er macht nur, was viel Leistung braucht:
- Sprachmodelle über Ollama: ein großes Qwen-Modell für meinen Agenten und Gemma 4 31B für deutsche Texte
- vLLM für Massenaufgaben: Wenn tausende Produkttexte entstehen sollen, verarbeitet vLLM viele Anfragen parallel. Wie viel das bringt, zeigt mein Test lokaler KI-Modelle.
- Open WebUI als Chat-Oberfläche im Browser
- ComfyUI für Bilder, nur mit Modellen unter Apache-2.0-Lizenz und nur hinter einem passwortgeschützten Zugang
- Rendern der Quiz-Videos
Die zentralen Zeitpläne und der Status der Automatisierungen liegen auf dem Steuerrechner. Der KI-Server hält weiterhin seine eigene Dienstkonfiguration und Modelldateien, übernimmt aber nicht die Ablaufsteuerung.
Steuerrechner: GEEKOM MiniAir 11
Der kleine Mini-PC läuft rund um die Uhr und steuert alles, was regelmäßig passieren soll. Darauf läuft der Agent Hermes mit:
- Watchern, also regelmäßigen Prüfprogrammen, für Shopware-News, Freelance-Projekte und meine Websites
- dem wöchentlichen Ablauf für die Quiz-Shorts
- der Pipeline für die Shopware-News-Videos
Alle Meldungen und Freigaben laufen über Telegram.
NAS
Die NAS hält Daten, die bleiben sollen: Backups meines Webservers, das Archiv aller Videos mit Quellen und Skripten, meine Dokumente in Paperless-ngx und meine Fotos in Immich.
Webserver
Auf meinem Webserver laufen meine Websites und Postiz, über das ich Beiträge für YouTube, LinkedIn, Instagram und andere Netzwerke plane.
Laptop
Am Laptop, einem TUXEDO-Notebook mit Linux, entwickle ich. Dort arbeite ich mit KI-Coding-Assistenten, teste in Docker und prüfe jede Änderung, bevor sie committet wird. Lokale Modelle direkt im Editor, etwa mit Zed, teste ich gerade.
So hängt alles zusammen
- Mini-PC → KI-Server: Hermes ruft die Modelle auf dem GX10 über die lokale Schnittstelle auf und lässt dort Videos rendern.
- NAS: Die Video-Archive schreibt der Mini-PC auf die NAS, die Backups des Webservers holt sich die NAS selbst ab.
- Mini-PC → Webserver: Fertige Beiträge und Videos gehen über Postiz an die sozialen Netzwerke.
- Laptop und Handy: Ich erreiche alles über VPN, Meldungen und Freigaben kommen per Telegram.
Was ich beim Aufbau gelernt habe
Rechnen und Steuern trennen. Der starke Rechner rechnet, der kleine entscheidet. So kann ich den KI-Server neu starten oder umbauen, ohne dass Zeitpläne verloren gehen.
Feste Daten aus überprüfbaren Quellen übernehmen. Sprachmodelle können Links verändern und Daten erfinden. Deshalb übernehmen Skripte URLs und Termine aus den vorgesehenen Quellen; die KI hilft bei Bewertung und Formulierung. Auch diese Skripte brauchen Tests, und fehlerhafte Quelldaten bleiben fehlerhaft. Warum das so wichtig ist, steht in Wann klassische Automatisierung besser ist als KI.
Speicher ist die knappste Ressource. Einmal habe ich einem großen Modell beim Start zu viel Speicher zugeteilt, und der KI-Server war fast eine halbe Stunde nicht mehr erreichbar. Seitdem gibt es feste Obergrenzen, und große Modelle werden nicht parallel geladen, wenn es eng wird.
Weniger Modelle sind mehr. Nach vielen Tests betreibe ich nur noch die Modelle, die sich bewährt haben. Fünf Varianten desselben Modells bringen keinen Vorteil, nur Speicherverbrauch und Verwirrung.
Nichts offen ins Netz stellen. Die Modell-Schnittstellen sind nur im eigenen Netz erreichbar, von unterwegs über VPN. Jedes Werkzeug mit Weboberfläche bekommt einen Passwortschutz. Und die Automatisierung bekommt eigene, eingeschränkte Zugänge, etwa einen SSH-Schlüssel, der auf dem KI-Server nur das Rendern erlaubt.
Lizenzen beachten. Gerade bei Bildmodellen ist nicht jedes Modell für die geschäftliche Nutzung freigegeben. Ich lade nur Modelle, deren Lizenz das erlaubt.
Alles dokumentieren. Modelle, Integrationen und Werkzeuge ändern sich ständig. Ohne Notizen dazu, was wo läuft und warum, verliert man schnell den Überblick.
Wo ich noch Potenzial sehe
Besonders spannend finde ich die Verbindung von lokaler KI mit wiederkehrenden Aufgaben: Recherche, Dokumentenorganisation, Codeanalyse und Produktdaten. Für jeden Anwendungsfall entscheide ich neu, ob Automatisierung wirklich Zeit spart oder nur zusätzliche Wartung verursacht.
Fazit
Mein Aufbau ist kein Beweis dafür, dass jeder einen eigenen KI-Server braucht. Wie du entscheidest, was lokal und was in der Cloud laufen sollte, beschreibe ich in Lokale KI oder Cloud. Er zeigt aber, was möglich wird, wenn Modelle, Werkzeuge und Automatisierungen zusammenarbeiten. Der größte Gewinn ist nicht eine einzelne spektakuläre Antwort, sondern ein System, das Schritt für Schritt zu meiner Arbeit passt.
Häufige Fragen
Was kostet so eine Infrastruktur?
Der größte Posten ist der KI-Server. Mini-PC und NAS kosten deutlich weniger, und den Webserver brauche ich ohnehin. Dazu kommen Strom und vor allem Zeit für Einrichtung und Pflege.
Kann man so etwas auch kleiner anfangen?
Ja. Ein einzelner Rechner mit Ollama und ein paar Skripten reicht für den Anfang. Die Aufteilung auf mehrere Geräte lohnt sich erst, wenn viele Abläufe dauerhaft laufen sollen.
Läuft bei dir alles lokal?
Nein. Für viele Aufgaben nutze ich weiter Cloud-KI, etwa beim Entwickeln. Lokal läuft, was viele Anfragen hat, vertrauliche Daten betrifft oder rund um die Uhr laufen soll.