LiteLLM Proxy als internes KI-Gateway einrichten
Der LiteLLM Proxy stellt lokale und externe Sprachmodelle über eine einzige OpenAI-kompatible Schnittstelle bereit. Ihre Entwickler brauchen dann nur noch einen Zugang, und die IT verwaltet Schlüssel und Zugriffe an einer zentralen Stelle.

Was Sie am Ende haben und was Sie vorher brauchen
Am Ende läuft auf einem Server ein LiteLLM Proxy, der unter Port 4000 erreichbar ist und Anfragen im OpenAI-Format entgegennimmt. Hinter dem Proxy stehen ein lokales Modell über Ollama und ein Cloud-Modell von OpenAI. Eine Python-Anwendung ruft beide über denselben Client auf und wechselt lediglich den Modellnamen.
Sie benötigen eine aktuelle Python-Umgebung und das Werkzeug uv, das die README für die Installation verwendet. Für das lokale Modell muss ein Ollama-Dienst laufen, dessen Einrichtung die README offenlässt. Für das Cloud-Modell brauchen Sie einen API-Schlüssel des Anbieters. Wie sich lokale Modelle im Unternehmen betreiben lassen, beschreibt unsere Seite zu lokaler KI.
LiteLLM ist laut README ein quelloffenes Gateway für über 100 Modellanbieter und lässt sich selbst betreiben. Es gibt zwei Wege: das Python SDK direkt im Code oder den Proxy als zentralen Dienst für ein Team. Diese Anleitung beschreibt den Proxy, weil er Schlüssel und Zugriffe an einer Stelle bündelt.
Proxy installieren und Konfiguration vorbereiten
Die README von LiteLLM installiert den Proxy mit uv als eigenes Werkzeug. Der Zusatz proxy in den eckigen Klammern holt die Pakete, die für den Serverbetrieb nötig sind.
uv tool install 'litellm[proxy]'
litellm --model gpt-6.1-solDie README zeigt den Start mit einem einzelnen Modell über den Parameter --model. Wie eine Konfigurationsdatei mit mehreren Modellen aufgebaut ist und wie der Proxy sie einliest, steht dort nicht. Dafür verweist die README auf die Proxy-Dokumentation, die Sie vor dem Einsatz heranziehen sollten.
Die Tabelle der README nennt die Anbieterkennungen ollama_chat für Ollama und openai für OpenAI. Als Modellbezeichnung für OpenAI verwendet die README openai/gpt-6.1-sol. Welches lokale Modell Sie über Ollama bereitstellen, entscheiden Sie selbst. Planen Sie zwei Namen ein, die Ihre Anwender später ansprechen, etwa einen für das interne und einen für das externe Modell.
Den Schlüssel des Cloud-Anbieters setzen Sie als Umgebungsvariable und nicht in einer Datei, die im Repository landen könnte. Die README verwendet dafür OPENAI_API_KEY, so wie es auch das SDK-Beispiel zeigt.
Proxy starten und per Python aufrufen
Der Aufruf erfolgt mit dem gewöhnlichen OpenAI-Client aus Python. Sie setzen base_url auf den Proxy und wählen über model den gewünschten Namen. Die README verwendet im Beispiel einen Platzhalter als api_key. In Ihrer Umgebung tragen Sie dort einen virtuellen Schlüssel des Proxys ein.
import openai
client = openai.OpenAI(api_key="anything", base_url="http://0.0.0.0:4000")
response = client.chat.completions.create(
model="gpt-6.1-sol",
messages=[{"role": "user", "content": "Hello!"}],
)
print(response.choices[0].message.content)Ersetzen Sie den Modellnamen durch die Namen, die Sie in Ihrer Proxy-Konfiguration festgelegt haben, sobald mehrere Modelle bereitstehen. Der Code Ihrer Anwendung bleibt dabei gleich, nur der Wert von model ändert sich. Genau darin liegt der Nutzen eines gemeinsamen Gateways: Ein Wechsel des Anbieters erfordert keine Änderung am Client.
Prüfen, ob der Proxy antwortet
Der Test ist bestanden, wenn das Skript eine Antwort ausgibt. Bleibt sie aus, prüfen Sie zuerst, ob der Proxy auf Port 4000 läuft. Bei einem lokalen Modell ist meist der Ollama-Dienst nicht erreichbar, bei einem Cloud-Modell fehlt oder irrt der Schlüssel in der Umgebung.
Alternativ senden Sie dieselbe Anfrage mit curl an den Endpunkt /v1/chat/completions, wie es die README für den Auto Router zeigt. Dort wird der virtuelle Schlüssel im Header Authorization als Bearer-Wert übergeben. So lassen sich Netzwerk und Anwendung getrennt prüfen. Ein Fehler im curl-Aufruf deutet auf den Proxy, ein Fehler nur im Skript auf die Anwendung.
curl http://localhost:4000/v1/chat/completions \
-H "Authorization: Bearer $LITELLM_API_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"gpt-6.1-sol","messages":[{"role":"user","content":"Hello!"}]}'Typische Stolpersteine laut README
Für den Produktivbetrieb sind laut README Docker-Images mit dem Zusatz -stable gedacht. Diese haben vor der Veröffentlichung Lasttests über 12 Stunden durchlaufen. Alle Images in der GitHub Container Registry sind zudem mit cosign signiert, und die README beschreibt die Prüfung mit cosign verify gegen einen festen Commit des öffentlichen Schlüssels.
Beim SDK gilt: Installieren Sie pro Umgebung nur eine der Verteilungen litellm oder litellm-core, weil beide dieselben Dateien belegen. Für den Proxy ist litellm richtig. Die Terraform-Beispiele der README erlauben unverschlüsselten Zugriff nur über allow_plaintext_alb oder allow_plaintext_lb und kennzeichnen das als Option für Entwicklung und Test.
Einordnung im Unternehmen
Der Proxy ist ein Dienst, den jemand betreiben muss. Dazu gehören Updates, die Verwaltung der Schlüssel und die Vergabe von Zugriffen über virtuelle Schlüssel. Die README nennt Ausgabenverfolgung, Schutzmechanismen und eine Verwaltungsoberfläche, SSO gehört zur kostenpflichtigen Enterprise-Stufe. Datenschutzrechtlich ist zu klären, welche Daten bei Cloud-Anbietern ankommen, dazu mehr unter DSGVO und KI und Sicherheit.
souveraen.ai bietet eine OpenAI-kompatible Entwickler-API und einen Modellkatalog mit lokalen, in Deutschland gehosteten und externen EU-Modellen. Wer kein eigenes Gateway pflegen möchte, findet dort eine fertige Schnittstelle, ergänzt um die Modellauswahl per Smart Routing.
Quellen
- LiteLLM README, LiteLLM


