Lokal & Server · KI auf dem eigenen Server
KI auf dem eigenen Server.Die Werkzeuge im Vergleich.
Für KI auf dem eigenen Server nutzen Planungsbüros vor allem Ollama, LM Studio, GPT4All, Jan, LocalAI und die Weboberfläche Open WebUI. Alle rechnen lokal, es verlassen also keine Daten das Haus. Das ist wichtig, wenn Sie vertrauliche Vergabeunterlagen, Leistungsverzeichnisse oder Referenzen auswerten. Für den Einzelplatz eignen sich Werkzeuge mit Oberfläche wie LM Studio oder GPT4All, für den Serverbetrieb mit mehreren Nutzern eher Ollama oder LocalAI mit Open WebUI als Oberfläche.
Kurz beantwortet · Stand September 2026
01 Überblick
Sechs Werkzeuge im direkten Überblick.
| Produkt | Projekt / Hersteller | Zielgruppe | Kernfunktionen | Schnittstellen / Formate | Hosting / Betrieb | Stärke je Einsatzfall |
|---|---|---|---|---|---|---|
| Ollama | Ollama, Open Source (MIT) | IT-affine Büros, Serverbetrieb | Modelle per Befehl laden, GPU-Beschleunigung, Modellbibliothek | OpenAI-kompatible API (Port 11434), GGUF | Windows, macOS, Linux; als Hintergrunddienst | Backend für eigene Anwendungen und mehrere Nutzer über die API |
| LM Studio | Element Labs, proprietär, kostenlos nutzbar | Einzelplatz, Einstieg ohne Terminal | Grafische Oberfläche, Modell-Browser (Hugging Face), Chat mit Dokumenten, MCP | OpenAI- und Anthropic-kompatible API, GGUF, MLX (Apple Silicon) | Desktop; zusätzlich headless-Server (lms / llmster) | Schneller Einstieg am Arbeitsplatz, Modelle testen |
| GPT4All | Nomic AI, Open Source | Einzelplatz, Datenschutz, offline | Chat-Oberfläche, LocalDocs (Suche über eigene Ordner), offline nutzbar | Lokale Dokumente (PDF, Text), GGUF | Desktop: Windows, macOS, Linux | Chatten mit eigenen Dokumenten ohne Internet |
| Jan | janhq, Open Source (AGPLv3), Engine llama.cpp | Einzelplatz, Alternative zu Cloud-Chat | Chat, Dokumente, Engine llama.cpp (lokaler Server) | OpenAI-kompatible API (lokaler Server), GGUF | Desktop: Windows, macOS, Linux | Offene Chat-Anwendung am Arbeitsplatz |
| LocalAI | LocalAI, Open Source (MIT) | Serverbetrieb, IT | OpenAI-Ersatz, viele Backends, Text und weitere Modalitäten | OpenAI-kompatible API, GGUF u. a., Docker | Server / Container | OpenAI-Ersatz auf eigenem Server für mehrere Anwendungen |
| Open WebUI | Open WebUI, quelloffen (Open-WebUI-Lizenz, BSD-3 mit Branding-Klausel) | Teams, mehrere Nutzer | Weboberfläche, Nutzer- und Rollenverwaltung, Dokumentensuche (RAG) | Bindet OpenAI-kompatible Backends ein (z. B. Ollama) | Server / Docker | Gemeinsame Oberfläche fürs Büro (Frontend, kein eigenes Modell) |
KI-Audit · 10 Minuten · kostenfrei
Wie viele passende Verfahren hat Ihr Büro im letzten Quartal gar nicht gesehen?
Das Audit fragt, wie Ihr Büro heute arbeitet, und zeigt, wo Sie am besten anfangen. Dazu bekommen Sie eine Einschätzung, was sich verlagern lässt.
02 Auswahl
Woran Sie die Wahl festmachen.
- Betriebsart: Läuft das Werkzeug am Einzelplatz oder als Dienst auf dem Server, den mehrere im Büro nutzen?
- Oberfläche: Reicht eine Kommandozeile, oder brauchen Ihre Mitarbeiter eine grafische Oberfläche ohne Einarbeitung?
- Hardware: Welche Modellgröße läuft auf Ihrer Grafikkarte (VRAM) noch flüssig? Kleine Modelle laufen auch auf der CPU, dann langsamer.
- Schnittstellen: Eine OpenAI-kompatible API erlaubt die Anbindung an eigene Anwendungen und an Oberflächen wie Open WebUI.
- Dokumentensuche (RAG): Sollen eigene PDF und Ordner durchsuchbar sein? GPT4All (LocalDocs) und Open WebUI bringen das mit.
- Formate: GGUF ist der verbreitete Standard, MLX läuft nur auf Macs mit Apple-Silicon.
- Betrieb und Updates: Wer pflegt Modelle, Updates und Backups? Auf dem Server gehört das in die IT-Routine.
03 Grenzen
Grenzen gegenüber Cloud und Nutzen bei Ausschreibungen.
Lokale Modelle sind meist kleiner als die großen Cloud-Modelle. Bei sehr komplexen Aufgaben und sehr langen Texten ist die Cloud oft stärker, und das Kontextfenster kann geringer ausfallen. Dafür fallen keine laufenden Nutzungskosten je Anfrage an, sondern einmalig die Hardware und der Betrieb. Ohne angeschlossene Dokumentensuche kennt ein Modell zudem nur seinen Trainingsstand, nicht Ihre aktuellen Projekte.
Der Vorteil beim Thema Ausschreibungen liegt beim Datenschutz. Vergabeunterlagen, interne Kalkulationen und Referenzprojekte bleiben auf Ihrem Server. Es findet keine Übermittlung an einen externen Anbieter statt, eine Auftragsverarbeitung nach Art. 28 DSGVO mit einem KI-Anbieter entfällt. Verantwortlich bleiben Sie trotzdem für Zugriffsrechte, Backup und Betriebssicherheit im eigenen Netz.
Typische Einsatzfälle im Planungsbüro sind das Zusammenfassen langer Vergabeunterlagen, das Entwerfen von Bieterfragen, ein erster Abgleich der Eignungskriterien und Textbausteine für Angebote. Die Ergebnisse sind Entwürfe. Ein Mensch muss sie fachlich prüfen, denn auch lokale Modelle können irren.
04 Fragen
Häufige Fragen kurz beantwortet.
Brauche ich eine teure Grafikkarte für KI auf dem eigenen Server?
Nicht zwingend. Kleine, quantisierte Modelle laufen auch auf der CPU, dann aber langsamer. Für flüssiges Arbeiten mit mittelgroßen Modellen und mehreren Nutzern ist eine Grafikkarte mit ausreichend VRAM sinnvoll. Die passende Größe hängt vom gewählten Modell ab.
Sind lokale KI-Modelle so gut wie große Cloud-Dienste?
Bei sehr komplexen Aufgaben sind die großen Cloud-Modelle in der Regel stärker und haben größere Kontextfenster. Für Zusammenfassungen, Textentwürfe und Dokumentensuche im Büro reichen gute lokale Modelle oft aus. Prüfen Sie das an einem eigenen Testsatz mit typischen Aufgaben.
Sind meine Vergabeunterlagen bei lokaler KI wirklich sicher?
Bei rein lokalem Betrieb verlassen die Daten Ihren Server nicht, es gibt keine Übermittlung an einen externen Anbieter. Sie bleiben aber verantwortlich für Zugriffsrechte, Verschlüsselung, Backup und die Betriebssicherheit im eigenen Netz.
Quelle: GWB, VgV, UVgO in der geltenden Fassung; Delegierte Verordnungen (EU) 2025/2150–2152 (Schwellenwerte 2026/2027); Bekanntmachungsservice oeffentlichevergabe.de; eigene Auswertung der offenen Bekanntmachungsdaten, August 2026. Stand September 2026. Keine Rechtsberatung, maßgeblich ist der jeweilige Gesetzes- oder Normtext.
05 Weiter
Im Themennetz weiterlesen.
Cloud, Hybrid oder lokal
Betriebsmodelle für die Projektablage im Planungsbüro von Microsoft 365 über Nextcloud bis eigener Server im Vergleich.
CRM: Cloud oder lokal?
Auswahlhilfe, ob ein CRM in der Cloud oder auf dem eigenen Server läuft und wie die Anbindung an Outlook und Exchange gelingt.
File-Server und NAS im Vergleich
Windows-Fileserver, Synology und QNAP als Projektablage: Rechte, Suche, Snapshots und Grenzen für CAD und BIM.
Zehn Minuten.Dann wissen Sie, wo Ihr Büro ansetzt.
Das KI-Audit fragt, wie Ihr Büro heute arbeitet, und zeigt, wo Sie am besten anfangen. Kein Verkaufsgespräch, keine Software-Miete.
Bis zu 60 Prozent Förderung, Deckel 60.000 Euro. Keine Software-Miete: Code, Daten und Cockpit gehören dem Büro.
Aus der Praxis, laufend auf LinkedIn
Wie Planungs- und Ingenieurbüros KI wirklich einführen: Projekte, Zahlen, Fehler, die man sich sparen kann.