← Bauphysik

Installationsleitfaden · Architektur: docs/server/LOCAL_AI_OFFICE_SERVER.md

Lokalen Office-AI-Rechner einrichten

Ziel ist eine Proxmox-gehostete Ubuntu-Server-VM mit lokalem LLM, privaten Benutzerbereichen, SFTP-Zugriff per Total Commander, einer gemeinsamen Job-/Live-Chat-Queue und später einer eigenen Office-AI-Weboberfläche.

Rechteprinzip: Der Admin darf das System administrieren. Jeder Mitarbeiter sieht per SFTP ausschließlich seinen eigenen privaten Bereich. Das LLM erhält niemals direkten Zugriff auf den gesamten Benutzerbaum.

1. Konten und Rechte

KontoZugriffDateirechte
adminSSH + SFTP per Schlüssel, sudoSystemadministration
MitarbeiterSFTP-only, kein Terminalnur eigener Chroot
office-storagekein Loginkontrollierter Zugriff auf private Benutzerunterordner
local-llm / Ollama / Job-Runnerkein Benutzerloginkein direkter Zugriff auf private Benutzerordner

Ein Mitarbeiter kai erhält:

/srv/knp-ai/users/kai/      root:root, Chroot
├── uploads/                   kai + office-storage
├── inbox/                     kai + office-storage
└── sessions/                  kai + office-storage

In Total Commander sieht Kai dadurch nur:

/
├── uploads/
├── inbox/
└── sessions/

2. Konfiguration herunterladen

local-llm.env.example herunterladen und als local-llm.env speichern. Zusätzlich user.env.example als user.env speichern und dort Benutzernamen sowie getrennte SFTP- und knp.ai-Webpasswörter eintragen. user.env danach mit chmod 600 schützen und niemals committen.

3. Installationsreihenfolge

  1. 01-bootstrap-ubuntu.sh – Ubuntu aktualisieren, technische Konten/Gruppen und sichere Verzeichnisstruktur anlegen; optional user.env als zweiten Parameter übergeben und alle Mitarbeiter direkt provisionieren.
  2. 02-install-llm-stack.sh – Docker, Ollama, Modell und isoliertes localhost-API-Gateway installieren.
  3. 08-provision-office-users.sh – falls nicht schon in Schritt 01 geschehen: alle Mitarbeiter aus user.env als SFTP-only-Konten provisionieren.
  4. ops/local-llm/09-install-knp-ai.sh (aus dem übertragenen Repo-Stand, kein Einzeldownload: braucht backend/src und knp-ai-merge-env.sh) – eigene knp.ai-Weboberfläche installieren, Webkonten aus user.env provisionieren und Nginx/systemd einrichten.
  5. 03-install-document-tools.sh – PDF-/DOCX-Werkzeuge installieren.
  6. 03-prepare-documents.py – Testdokumente vorbereiten.
  7. 04-ask-documents.py bzw. 04-run-search.sh – Terminal-MVP testen.
  8. 05-enable-openwebui.sh – optionaler technischer Vergleichstest; für Anwender nicht erforderlich.
  9. 07-harden-ssh.sh – nach geprüftem Admin-Key-Login SSH härten und SFTP-Chroot-Regeln aktivieren.
  10. 06-lockdown-firewall.sh – ganz zuletzt, nach sämtlichen Downloads und Funktionstests, Internet-Egress sperren.
Falls die Ollama-API unter 127.0.0.1:11434 nicht erreichbar ist: Bei bestehender Modellinstallation das aktuelle Skript 02 erneut herunterladen und mit sudo bash 02-install-llm-stack.sh ./local-llm.env --repair-only ausführen. Dabei bleiben Modelle und Daten erhalten. Ollama bleibt im extern isolierten Docker-Netz; ein separater API-Gateway-Container stellt die lokale API bereit. Danach mit curl -fsS http://127.0.0.1:11434/api/tags prüfen.
Wichtig: Schritt 07 erst ausführen, nachdem der SSH-Key-Login des Admins in einer zweiten Sitzung erfolgreich getestet wurde. Die bestehende Admin-Sitzung bis zum erneuten Test offen lassen.

4. Mitarbeiter gesammelt anlegen

sudo bash 08-provision-office-users.sh ./local-llm.env ./user.env

Das Skript legt für jeden Eintrag aus user.env den Chroot /srv/knp-ai/users/<username> an, erstellt uploads, inbox und sessions, setzt POSIX-ACLs für office-storage und vergibt USER_XX_SFTP_PASSWORD. Das getrennte USER_XX_WEB_PASSWORD wird von Schritt 09 für knp.ai verwendet. Alternativ kann user.env bereits als zweiter Parameter an Schritt 01 übergeben werden.

Der Mitarbeiter verbindet sich danach in Total Commander per SFTP:

Host:      SERVER_LAN_IP
Port:      22
Benutzer:  kai
Passwort:  beim Anlegen gesetzt
Protokoll: SFTP

Das Webkonto verwendet denselben stabilen Benutzernamen, aber ein getrenntes WEB_PASSWORD. SFTP- und Web-Passwort werden nicht synchronisiert.

5. knp.ai – eigene Anwenderoberfläche

Die eigentliche Oberfläche heißt knp.ai. Sie ist als eigener Dienst im Repository angelegt und ersetzt Open WebUI für den normalen Anwenderbetrieb. Der aktuelle MVP bietet Login, Live-Chat, private Uploads/Downloads, eine serielle Auftragswarteschlange und persönliche Ergebnisse.

Browser
  ↓  http://knp.ai
interner DNS
  ↓  knp.ai → 192.168.123.248
Nginx
  ↓  127.0.0.1:8090
knp.ai Backend
  ├── Auth / Sessions
  ├── private Dateien
  ├── Job-Queue
  ├── Live-Chat
  └── SQLite State
  ↓
Ollama 127.0.0.1:11434
  ↓
RTX 3090

Installation nach Übertragung des Repo-/Release-Ordners:

cd <Repo-Ordner>
sudo bash ops/local-llm/09-install-knp-ai.sh ./local-llm.env ./user.env ./knp-ai
DNS: Die Büro-PCs verwenden bereits 192.168.223.240 als DNS-Server. Dort muss intern knp.ai auf 192.168.123.248 zeigen. Danach geben Anwender nur http://knp.ai ein.

6. Open WebUI nur als technischer Test

Open WebUI bleibt optional für technische Vergleiche, ist aber nicht mehr die geplante Anwenderplattform. Echte vertrauliche Büro-Daten sollen über knp.ai und die kontrollierten Backend-Dienste laufen.

6a. Ausbau der knp.ai-UI/API

Der MVP wird schrittweise zur vollständigen Office-AI-Anwendung erweitert: Dateiauswahl je Auftrag, isolierte Job-Workspaces, sichere Output-Zustellung, Live-Session-Leases/Heartbeat, Streaming, Session-Retention und Audit-Logging.

7. Private Dateiablage und Job-Verarbeitung

/users/kai/uploads/angebot.pdf
        ↓ Benutzer wählt Datei
office-storage
        ↓ kontrollierte Kopie
/runtime/jobs/<job_id>/input/
        ↓
Job-Runner + LLM
        ↓
/runtime/jobs/<job_id>/output/bericht.pdf
        ↓ publish_output()
office-storage / delivery
        ↓
/users/kai/inbox/bericht.pdf
        ↓
temporären Workspace löschen

Bereits zugestellte Dateien in inbox werden beim Session-Cleanup niemals automatisch gelöscht.

8. Gemeinsame Daten

Gemeinsame Fachinformationen liegen getrennt von privaten Benutzerdaten und werden dem Job ausschließlich read-only bereitgestellt, z. B.:

/srv/knp-ai/public/
├── normen/
├── fachliteratur/
├── vorlagen/
└── wissen/

9. Sicherheitskontrollen vor Produktivbetrieb

10. knp.ai im Büronetz

Die Anwendung läuft auf der Ubuntu-VM unter 192.168.123.248. Im internen DNS wird knp.ai auf diese Adresse aufgelöst; Nginx nimmt den Request auf Port 80 an und leitet ihn nur lokal an die knp.ai-Anwendung auf 127.0.0.1:8090 weiter.

Da .ai eine öffentliche TLD ist, ist das technisch Split-DNS. Vor Produktivbetrieb sollte geprüft werden, ob KNP die öffentliche Domain kontrolliert; andernfalls wäre z. B. ai.knp-bauphysik.de langfristig kollisionsfreier.

11. Nächster Entwicklungsschritt

knp.ai ist als eigener Dienst bereits angelegt. Die nächsten Entwicklungsschritte sind dateibezogene Job-Workspaces, sichere Output-Zustellung, Live-Session-Leases/Heartbeat, Dokumentensuche/RAG, Session-Retention, Admin-Funktionen und internes HTTPS.