Open WebUI mit Docker als internes Chat-Frontend

Open WebUI bietet eine Chat-Oberfläche, die Sie im eigenen Netz betreiben und an lokale Sprachmodelle anbinden. Dieser Leitfaden zeigt, wie Sie den Container starten, mit Ollama verbinden und die Verbindung prüfen.

Niklas Schult4 Min. Lesezeit

Illustration: Eine offene Holzkiste mit einer Sprechblase aus Pappe, per Schlauch an einen Wasserhahn angeschlossen, steht für ein internes Chat-Frontend.

Was Sie am Ende haben und was Sie brauchen

Am Ende läuft auf einem Server in Ihrem Netz eine Weboberfläche für Chats mit Sprachmodellen. Sie ist über einen Port erreichbar und spricht mit einem Ollama-Server. Die Dokumentation beschreibt Open WebUI als selbst betriebene Plattform, die vollständig offline laufen kann.

Vorab benötigen Sie einen Rechner mit installiertem Docker und einen erreichbaren Ollama-Server. Ein Server mit OpenAI-kompatibler Schnittstelle genügt ebenfalls. Wie Sie Modelle auf dem Ollama-Server selbst bereitstellen, behandelt die Dokumentation an dieser Stelle nicht, das setzen wir voraus. Einen Überblick zum Betrieb eigener Modelle finden Sie auf der Seite zu lokaler KI.

Die README nennt neben Docker noch einen Weg über Python und eine Desktop-Anwendung für macOS, Windows und Linux. Dieser Leitfaden beschränkt sich auf Docker, weil sich der Container auf einem Server im Firmennetz leicht betreiben und später aktualisieren lässt. Die Python-Variante öffnet die Oberfläche übrigens unter Port 8080, der Container dagegen im folgenden Beispiel unter Port 3000.

Schritt 1: Den Container starten

Der folgende Befehl startet das Standardabbild im Hintergrund. Er legt ein benanntes Volume für die Daten an, ordnet Port 3000 des Hosts dem Port 8080 im Container zu und startet den Container nach einem Neustart automatisch. Die Option für host.docker.internal erlaubt dem Container, den Host unter diesem Namen zu erreichen.

Shell
docker run -d -p 3000:8080 \
  --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/backend/data \
  --name open-webui --restart always \
  ghcr.io/open-webui/open-webui:main

Danach öffnen Sie http://localhost:3000 im Browser. Kollegen erreichen die Oberfläche über den Namen oder die Adresse des Servers statt localhost. Wie Sie Konten und Anmeldung einrichten, beschreibt die Quelle nicht, sie verweist dafür auf die Dokumentation.

Das benannte Volume open-webui enthält die Daten der Anwendung unter dem Pfad /app/backend/data. Solange Sie dieses Volume behalten, bleiben Ihre Daten erhalten, wenn Sie den Container ersetzen. Planen Sie deshalb von Beginn an ein, dieses Volume in Ihre Datensicherung aufzunehmen.

Schritt 2: Ollama oder einen anderen Server verbinden

Läuft Ollama auf einem anderen Server, setzen Sie beim Start die Umgebungsvariable OLLAMA_BASE_URL. Sie gehört wie alle Optionen vor den Abbildnamen. Der Befehl ersetzt den ersten Start, entfernen Sie deshalb zuvor den bestehenden Container gleichen Namens.

Shell
docker run -d -p 3000:8080 \
  -e OLLAMA_BASE_URL=http://your-ollama-server:11434 \
  -v open-webui:/app/backend/data \
  --name open-webui --restart always \
  ghcr.io/open-webui/open-webui:main

Für einen OpenAI-kompatiblen Server nennt die Dokumentation die Variable OPENAI_API_KEY. Eine Variable für die Adresse eines solchen Servers führt die README nicht auf, sie verweist auf die weitere Dokumentation. Sollen keine Modelle von Hugging Face geladen werden, setzen Sie HF_HUB_OFFLINE=1.

Der Platzhalter your-ollama-server steht für den Namen oder die Adresse Ihres Ollama-Servers im Netz. Port 11434 übernimmt das Beispiel aus der Dokumentation. Passen Sie beides an Ihre Umgebung an, bevor Sie den Befehl ausführen.

Abbild und Grafikkarte wählen

Die README listet mehrere Abbild-Varianten. Das Abbild main enthält die lokalen KI-Abhängigkeiten, slim ist schlanker und nutzt externe Dienste für Einbettungen, Dokumentenextraktion und Sprache. Mit cuda läuft Open WebUI mit CUDA-Beschleunigung, und ollama bündelt Open WebUI mit Ollama in einem Abbild. Das Abbild dev enthält den jeweils neuesten Entwicklungsstand.

Für cuda und ollama aktiviert die Option --gpus all den Zugriff auf Nvidia-Grafikkarten. Sie setzt das Nvidia Container Toolkit voraus. Eine vollständige Befehlszeile für diese Varianten zeigt die README nicht, Sie ergänzen die Option in Ihrem Startbefehl vor dem Abbildnamen und wählen dort den passenden Tag.

Prüfen, Fehler suchen und Updates

Zur Kontrolle rufen Sie die Adresse im Browser auf und prüfen, ob Ihr Modell in der Auswahl erscheint. Der folgende Befehl zeigt im Protokoll des Containers, ob Verbindungsfehler auftreten.

Shell
docker logs open-webui

Bei Verbindungsproblemen verweist die README auf eine eigene Anleitung zur Fehlersuche, für Aktualisierungen auf einen Update-Leitfaden. Typische Ursachen sind eine falsche Adresse in OLLAMA_BASE_URL oder ein Port, den die Firewall sperrt. Das beruht auf Erfahrung, die Quelle nennt es nicht ausdrücklich. Für Docker Compose und Kubernetes gibt es laut README gesonderte Installationsanleitungen.

Einordnung im Unternehmen

Ein solches Frontend braucht jemanden, der Updates einspielt, das Volume sichert und Zugänge verwaltet. Die Lizenz verlangt laut README, dass die Open-WebUI-Kennzeichnung erhalten bleibt, prüfen Sie die Bedingungen vor dem Einsatz. Ob personenbezogene Daten in Chats anfallen, klären Sie mit Ihrer Datenschutzstelle, Hinweise dazu bietet die Seite zu DSGVO und KI.

Wer über den Chat hinaus Antworten mit Fundstelle aus Firmenwissen braucht, findet bei souveraen.ai eine Plattform, die auch On-Premise läuft, siehe Private Spark. Als Vergleich zu bekannten Diensten dient die Seite ChatGPT-Alternative.

Quellen

Weitere Beiträge

Alle Beiträge

KI-API-Zugänge bei Resellern: Was die Dragos-Tests zeigen

Sicherheitsforscher von Dragos haben mit rund zwei Millionen Testanfragen gezeigt, dass Zwischenhändler und kompromittierte Anbieter Anfragen an KI-Modelle mitlesen. Wer KI per Schnittstelle nutzt, sollte daher klären, über wen die eigenen Daten tatsächlich laufen.

Datenschutz4 Min.

Text Generation Inference mit Docker selbst betreiben

Mit Text Generation Inference betreiben Sie ein offenes Sprachmodell als Container auf einem eigenen Server. Anfragen bleiben im Firmennetz, sodass keine Texte an einen Cloud-Anbieter gehen.

Anleitung4 Min.

Haftung bei Cloud-Ausfall: Wer trägt das Risiko?

Der Ausfall von Exchange Online und Outlook am 12. November 2026 dauerte etwa 36 Stunden und traf viele Betriebe. Wer dafür einstehen muss, betrifft jede Firma, die Cloud- und KI-Dienste nutzt.

Regulierung4 Min.

Testen Sie es mit Ihren eigenen Dokumenten.

3 Tage kostenlos, danach ab 24,90 € je Nutzer und Monat. Monatlich kündbar.

3 Tage kostenlos, danach ab 24,90 € je Nutzer und Monat.3 Tage kostenlos
3 Tage kostenlos testen