Ollama per REST-API und Python im Unternehmen nutzen
Ein Ollama-Server im eigenen Netz beantwortet Anfragen über eine einfache HTTP-Schnittstelle. Wer sie aus Python anspricht, baut ein lokales Sprachmodell in eigene Werkzeuge ein, ohne Firmendaten an einen externen Dienst zu senden.

Was Sie am Ende haben und was Sie vorher brauchen
Am Ende dieser Anleitung ruft ein Python-Skript einen lokalen Ollama-Server auf, stellt eine Frage im Chat und liest die Antwort samt Laufzeitdaten aus. Grundlage ist die API-Referenz von Ollama. Sie enthält auch den Hinweis, dass die API-Dokumentation künftig unter docs.ollama.com/api weitergeführt wird.
Sie brauchen einen laufenden Ollama-Server, der unter http://localhost:11434 antwortet, und ein bereits geladenes Modell. In den Beispielen der Referenz heißt es llama3.2. Für Python genügt das Paket requests. Die Referenz zeigt ihre Beispiele mit curl, und die Python-Aufrufe unten übertragen diese Anfragen eins zu eins.
Modellnamen folgen dem Muster Modell:Tag, etwa llama3:70b. Fehlt der Tag, gilt latest. Alle Zeitangaben in den Antworten stehen in Nanosekunden, was Sie beim Auswerten berücksichtigen müssen.
Schritt 1: Erreichbarkeit und lokale Modelle prüfen
Der Endpunkt GET /api/tags listet alle Modelle auf, die lokal auf dem Server liegen. Das folgende Skript ruft ihn ab und gibt Name und Parametergröße jedes Modells aus. So sehen Sie sofort, ob der Server erreichbar ist und welchen Modellnamen Sie später angeben müssen.
import requests
BASE = "http://localhost:11434"
# List all models that are available locally
antwort = requests.get(f"{BASE}/api/tags", timeout=10)
antwort.raise_for_status()
for m in antwort.json()["models"]:
print(m["name"], m["details"]["parameter_size"])Die Antwort der Referenz enthält je Modell weitere Angaben, etwa die Größe, das Format gguf und die Quantisierungsstufe. Diese Felder helfen bei der Inventur, wenn mehrere Modelle auf einem Server liegen. Wer ein Modell genauer prüfen möchte, nutzt den Endpunkt POST /api/show mit dem Modellnamen im Feld model.
Schritt 2: Eine Chat-Anfrage senden
Der Endpunkt POST /api/chat erzeugt die nächste Nachricht eines Gesprächs. Standardmäßig streamt er die Antwort als Folge von JSON-Objekten. Setzen Sie den Parameter stream auf false, erhalten Sie ein einziges Objekt, das sich in einem Skript einfacher verarbeiten lässt. Die Rolle einer Nachricht ist system, user, assistant oder tool.
payload = {
"model": "llama3.2",
"messages": [
{"role": "system", "content": "Antworte knapp auf Deutsch."},
{"role": "user", "content": "Was ist ein Auftragsverarbeiter?"},
],
"stream": False,
"options": {"temperature": 0, "seed": 101},
}
# Send the chat request and print the answer
r = requests.post(f"{BASE}/api/chat", json=payload, timeout=120)
r.raise_for_status()
daten = r.json()
print(daten["message"]["content"])Im Feld options setzen Sie Modellparameter zur Laufzeit. Für reproduzierbare Ausgaben nennt die Referenz einen festen seed, die Beispiele kombinieren ihn mit temperature 0. Für ein Gespräch mit Verlauf hängen Sie die bisherigen Nachrichten, auch die des Assistenten, an die Liste messages an.
Die Referenz beschreibt außerdem, dass Sie über den Parameter tools Funktionen anbieten können, sofern das Modell dies unterstützt. Das Modell liefert dann Werkzeugaufrufe zurück, und das Ergebnis geben Sie mit der Rolle tool an den Verlauf zurück. Für einen ersten Test genügt der einfache Chat, den Werkzeugaufruf ergänzen Sie später.
Schritt 3: Geschwindigkeit auswerten und Verlauf führen
Die Antwort enthält Statistikfelder wie eval_count und eval_duration. Laut Referenz berechnen Sie die Erzeugungsgeschwindigkeit in Token pro Sekunde als eval_count geteilt durch eval_duration mal 10 hoch 9. Das folgende Stück macht daraus eine Kennzahl, die Sie beim Vergleich von Servern oder Modellen heranziehen können.
# eval_duration is given in nanoseconds
tps = daten["eval_count"] / daten["eval_duration"] * 10**9
print(f"{tps:.1f} Token pro Sekunde")
# Keep the history for a follow-up question
verlauf = payload["messages"] + [daten["message"]]Weitere Felder der Antwort sind load_duration für das Laden des Modells sowie prompt_eval_count und prompt_eval_duration für die Verarbeitung der Eingabe. Wer Messungen vergleicht, sollte die Ladezeit getrennt betrachten, weil sie bei der ersten Anfrage nach einer Pause deutlich ins Gewicht fallen kann.
Wie prüfen Sie, dass alles lokal und korrekt läuft?
Der erste Test ist die Modellliste aus Schritt 1, der zweite eine Chat-Antwort, in der das Feld done auf true steht. Wiederholen Sie die Anfrage mit identischem seed und temperature 0, denn die Referenz nennt dies als Weg zu reproduzierbaren Ausgaben. Ob der Datenverkehr das Haus verlässt, belegt die API-Referenz nicht. Dafür prüfen Sie die Netzwerkfreigaben und die Firewall Ihres Servers selbst.
Die Dokumentation nennt einige typische Stolperstellen. Ein Modell bleibt nach einer Anfrage standardmäßig 5 Minuten im Speicher (keep_alive, Standard 5m), deshalb dauert die erste Anfrage nach einer Pause länger. Mit einer leeren messages-Liste laden Sie ein Modell vorab, und mit keep_alive auf 0 entladen Sie es wieder. Verlangen Sie das Format json, fordern Sie im Prompt ausdrücklich JSON an, sonst kann das Modell viele Leerzeichen erzeugen. Der Parameter context beim Endpunkt generate gilt als veraltet.
Wo sich das im Unternehmen einordnet
Ein Ollama-Server braucht einen Verantwortlichen für Modellpflege, Updates und Speicherbedarf. Die Referenz beschreibt keine Anmeldung an der Schnittstelle, deshalb sollten Sie den Zugriff über das Netz und vorgelagerte Dienste regeln. Welche Daten verarbeitet werden dürfen, klären Datenschutz und IT gemeinsam. Hintergründe finden Sie auf den Seiten zu lokaler KI und zur DSGVO bei KI.
Wer Server, Zugriffsrechte und Quellenanbindung nicht selbst betreiben will, findet bei souveraen.ai die gleiche Software als Private Spark im eigenen Netz oder gehostet in Deutschland. Eine OpenAI-kompatible Entwickler-API bindet Modelle und Firmenwissen in eigene Anwendungen ein.
Quellen
- Ollama API reference, Ollama


