llama-server im eigenen Netzwerk als OpenAI-Schnittstelle
Der llama-server aus dem Projekt llama.cpp stellt ein GGUF-Modell über eine OpenAI-kompatible Schnittstelle bereit und läuft auch ohne Grafikkarte. Bestehende Werkzeuge können so ein lokales Modell nutzen, ohne dass Texte das Firmennetz verlassen.

Was Sie am Ende haben und was Sie brauchen
Am Ende läuft auf einem Server in Ihrem Netz ein Prozess, der ein GGUF-Modell lädt und per HTTP Antworten liefert. Die README des llama.cpp-Servers beschreibt dafür kompatible Routen für Chat, Responses und Embeddings. Die Inferenz funktioniert laut Dokumentation auf GPU und auf CPU, mit F16 und mit quantisierten Modellen.
Vorab benötigen Sie ein installiertes llama.cpp, in dem die Datei llama-server vorhanden ist, oder einen Container mit dem Image ghcr.io/ggml-org/llama.cpp:server. Dazu kommt eine bereits heruntergeladene GGUF-Datei oder ein Modellname auf Hugging Face. Die Installation von llama.cpp selbst zeigt die README nicht, sie wird hier vorausgesetzt.
Server mit einem GGUF-Modell starten
Der erste Aufruf lädt eine lokale Modelldatei. Mit -m geben Sie den Pfad an, mit -c die Größe des Kontexts in Token. Ohne Angabe liest der Server den Kontext aus dem Modell, was auf einem Server ohne GPU viel Arbeitsspeicher belegen kann.
llama-server -m /srv/models/mein-modell.gguf -c 4096 --alias firmenmodellDer Parameter --alias vergibt einen Namen, den Clients in der Schnittstelle verwenden. Mit -t legen Sie die Zahl der CPU-Threads fest, der Standard ist -1. Die Zahl paralleler Anfragen steuert -np, wobei der Standard -1 eine automatische Wahl bedeutet.
Alternativ lädt der Server ein Modell selbst herunter. Dafür dient --hf-repo im Format Nutzer/Modell, optional mit Angabe der Quantisierung. Fehlt sie, nimmt der Server Q4_K_M oder die erste Datei im Repository. Mit --offline erzwingen Sie später, dass nur der Zwischenspeicher genutzt wird und kein Netzzugriff stattfindet.
Die Dokumentation nennt außerdem --threads-http für die Zahl der Threads, die HTTP-Anfragen verarbeiten, und -to für das Zeitlimit beim Lesen und Schreiben. Dieses Limit steht standardmäßig auf 3600 Sekunden. Bei langen Antworten auf schwacher Hardware lohnt ein Blick auf diesen Wert, bevor Sie Verbindungsabbrüche suchen.
Im Firmennetz erreichbar machen und absichern
Nach der Dokumentation hört der Server standardmäßig nur auf 127.0.0.1. Andere Rechner im Netz erreichen ihn erst, wenn Sie mit --host eine Adresse angeben. Sobald er von außen erreichbar ist, sollten Sie einen Schlüssel setzen, denn ohne --api-key ist keine Authentifizierung aktiv.
llama-server -m /srv/models/mein-modell.gguf -c 4096 \
--alias firmenmodell \
--host 0.0.0.0 --port 8080 \
--api-key-file /etc/llama/keys.txtDie Schlüsseldatei enthält einen Schlüssel pro Zeile, Zeilen mit einer Raute am Anfang gelten als Kommentar. Für verschlüsselte Verbindungen nennt die README --ssl-key-file und --ssl-cert-file mit PEM-Dateien. Ein vorgeschalteter Proxy ist in der Dokumentation nicht beschrieben, ob Sie einen einsetzen, entscheiden Sie selbst.
Mehrere Schlüssel können Sie auch direkt mit --api-key als kommagetrennte Liste übergeben. Eine Datei hat den Vorteil, dass die Schlüssel nicht in der Prozessliste des Servers auftauchen. So lässt sich pro Team oder Anwendung ein eigener Schlüssel vergeben und bei Bedarf einzeln entfernen.
Als Container mit Docker Compose betreiben
Die README enthält ein Beispiel für Docker Compose. Alle Einstellungen lassen sich dort über Umgebungsvariablen setzen, etwa LLAMA_ARG_MODEL für den Modellpfad und LLAMA_ARG_PORT für den Port. Setzen Sie Argument und Variable gleichzeitig, hat das Argument Vorrang.
services:
llamacpp-server:
image: ghcr.io/ggml-org/llama.cpp:server
ports:
- 8080:8080
volumes:
- ./models:/models
environment:
LLAMA_ARG_MODEL: /models/my_model.gguf
LLAMA_ARG_CTX_SIZE: 4096
LLAMA_ARG_N_PARALLEL: 2
LLAMA_ARG_PORT: 8080Das Beispiel stammt aus der Dokumentation und bindet den Ordner models in den Container ein. Ob der Server im Container auf allen Adressen lauscht, zeigt die README nicht. Prüfen Sie das beim ersten Start und setzen Sie gegebenenfalls LLAMA_ARG_HOST.
Prüfen, ob die Schnittstelle antwortet
Die README listet Chat-Completions im OpenAI-Format als Funktion auf. Der genaue Pfad steht im gelesenen Ausschnitt nicht. Üblich ist /v1/chat/completions, das Sie gegen Ihre Version prüfen sollten. Der folgende Aufruf sendet eine Frage mit dem Schlüssel aus der Datei.
curl http://localhost:8080/v1/chat/completions \
-H "Content-Type: application/json" \
-H "Authorization: Bearer IHR_SCHLUESSEL" \
-d '{"model":"firmenmodell","messages":[{"role":"user","content":"Hallo"}]}'Kommt eine JSON-Antwort mit Text zurück, tragen Sie in Ihren Werkzeugen die Basisadresse des Servers und den Schlüssel ein. Für die Überwachung bietet der Server den Schalter --metrics, der einen Prometheus-kompatiblen Endpunkt aktiviert. Der Slots-Endpunkt ist standardmäßig eingeschaltet.
Stolperfallen und Einordnung im Betrieb
Die Dokumentation nennt mehrere Punkte. Die Optionen --tools, --agent und MCP sind als experimentell markiert und sollen nicht in nicht vertrauenswürdigen Umgebungen aktiviert werden. Die CORS-Einstellung steht standardmäßig auf *, und die eingebaute Weboberfläche ist eingeschaltet, was Sie mit --no-webui ändern. Mit --default-Schaltern wie --gpt-oss-20b-default können Gewichte aus dem Internet geladen werden.
Im Betrieb muss jemand Modelldateien, Schlüssel und Updates von llama.cpp pflegen. Datenschutzrechtlich zählt, wo der Server steht und wer Zugriff auf Protokolle hat. Die Option --log-prompts-dir ist laut README nur zur Fehlersuche gedacht. Wer eine fertige Plattform sucht, findet bei souveraen.ai eine OpenAI-kompatible Entwickler-API und einen Betrieb im eigenen Netz als Private Spark. Mehr zum Thema finden Sie unter lokale KI, die Datenschutzfragen behandelt der Beitrag zu DSGVO und KI.
Quellen
- llama.cpp server README, llama.cpp


