Ollama per REST-API und Python im Unternehmen nutzen

Ein Ollama-Server im eigenen Netz beantwortet Anfragen über eine einfache HTTP-Schnittstelle. Wer sie aus Python anspricht, baut ein lokales Sprachmodell in eigene Werkzeuge ein, ohne Firmendaten an einen externen Dienst zu senden.

Niklas Schult4 Min. Lesezeit

Isometrische Darstellung eines kompakten KI-Rechners im Büro

Was Sie am Ende haben und was Sie vorher brauchen

Am Ende dieser Anleitung ruft ein Python-Skript einen lokalen Ollama-Server auf, stellt eine Frage im Chat und liest die Antwort samt Laufzeitdaten aus. Grundlage ist die API-Referenz von Ollama. Sie enthält auch den Hinweis, dass die API-Dokumentation künftig unter docs.ollama.com/api weitergeführt wird.

Sie brauchen einen laufenden Ollama-Server, der unter http://localhost:11434 antwortet, und ein bereits geladenes Modell. In den Beispielen der Referenz heißt es llama3.2. Für Python genügt das Paket requests. Die Referenz zeigt ihre Beispiele mit curl, und die Python-Aufrufe unten übertragen diese Anfragen eins zu eins.

Modellnamen folgen dem Muster Modell:Tag, etwa llama3:70b. Fehlt der Tag, gilt latest. Alle Zeitangaben in den Antworten stehen in Nanosekunden, was Sie beim Auswerten berücksichtigen müssen.

Schritt 1: Erreichbarkeit und lokale Modelle prüfen

Der Endpunkt GET /api/tags listet alle Modelle auf, die lokal auf dem Server liegen. Das folgende Skript ruft ihn ab und gibt Name und Parametergröße jedes Modells aus. So sehen Sie sofort, ob der Server erreichbar ist und welchen Modellnamen Sie später angeben müssen.

Python
import requests

BASE = "http://localhost:11434"

# List all models that are available locally
antwort = requests.get(f"{BASE}/api/tags", timeout=10)
antwort.raise_for_status()
for m in antwort.json()["models"]:
    print(m["name"], m["details"]["parameter_size"])

Die Antwort der Referenz enthält je Modell weitere Angaben, etwa die Größe, das Format gguf und die Quantisierungsstufe. Diese Felder helfen bei der Inventur, wenn mehrere Modelle auf einem Server liegen. Wer ein Modell genauer prüfen möchte, nutzt den Endpunkt POST /api/show mit dem Modellnamen im Feld model.

Schritt 2: Eine Chat-Anfrage senden

Der Endpunkt POST /api/chat erzeugt die nächste Nachricht eines Gesprächs. Standardmäßig streamt er die Antwort als Folge von JSON-Objekten. Setzen Sie den Parameter stream auf false, erhalten Sie ein einziges Objekt, das sich in einem Skript einfacher verarbeiten lässt. Die Rolle einer Nachricht ist system, user, assistant oder tool.

Python
payload = {
    "model": "llama3.2",
    "messages": [
        {"role": "system", "content": "Antworte knapp auf Deutsch."},
        {"role": "user", "content": "Was ist ein Auftragsverarbeiter?"},
    ],
    "stream": False,
    "options": {"temperature": 0, "seed": 101},
}

# Send the chat request and print the answer
r = requests.post(f"{BASE}/api/chat", json=payload, timeout=120)
r.raise_for_status()
daten = r.json()
print(daten["message"]["content"])

Im Feld options setzen Sie Modellparameter zur Laufzeit. Für reproduzierbare Ausgaben nennt die Referenz einen festen seed, die Beispiele kombinieren ihn mit temperature 0. Für ein Gespräch mit Verlauf hängen Sie die bisherigen Nachrichten, auch die des Assistenten, an die Liste messages an.

Die Referenz beschreibt außerdem, dass Sie über den Parameter tools Funktionen anbieten können, sofern das Modell dies unterstützt. Das Modell liefert dann Werkzeugaufrufe zurück, und das Ergebnis geben Sie mit der Rolle tool an den Verlauf zurück. Für einen ersten Test genügt der einfache Chat, den Werkzeugaufruf ergänzen Sie später.

Schritt 3: Geschwindigkeit auswerten und Verlauf führen

Die Antwort enthält Statistikfelder wie eval_count und eval_duration. Laut Referenz berechnen Sie die Erzeugungsgeschwindigkeit in Token pro Sekunde als eval_count geteilt durch eval_duration mal 10 hoch 9. Das folgende Stück macht daraus eine Kennzahl, die Sie beim Vergleich von Servern oder Modellen heranziehen können.

Python
# eval_duration is given in nanoseconds
tps = daten["eval_count"] / daten["eval_duration"] * 10**9
print(f"{tps:.1f} Token pro Sekunde")

# Keep the history for a follow-up question
verlauf = payload["messages"] + [daten["message"]]

Weitere Felder der Antwort sind load_duration für das Laden des Modells sowie prompt_eval_count und prompt_eval_duration für die Verarbeitung der Eingabe. Wer Messungen vergleicht, sollte die Ladezeit getrennt betrachten, weil sie bei der ersten Anfrage nach einer Pause deutlich ins Gewicht fallen kann.

Wie prüfen Sie, dass alles lokal und korrekt läuft?

Der erste Test ist die Modellliste aus Schritt 1, der zweite eine Chat-Antwort, in der das Feld done auf true steht. Wiederholen Sie die Anfrage mit identischem seed und temperature 0, denn die Referenz nennt dies als Weg zu reproduzierbaren Ausgaben. Ob der Datenverkehr das Haus verlässt, belegt die API-Referenz nicht. Dafür prüfen Sie die Netzwerkfreigaben und die Firewall Ihres Servers selbst.

Die Dokumentation nennt einige typische Stolperstellen. Ein Modell bleibt nach einer Anfrage standardmäßig 5 Minuten im Speicher (keep_alive, Standard 5m), deshalb dauert die erste Anfrage nach einer Pause länger. Mit einer leeren messages-Liste laden Sie ein Modell vorab, und mit keep_alive auf 0 entladen Sie es wieder. Verlangen Sie das Format json, fordern Sie im Prompt ausdrücklich JSON an, sonst kann das Modell viele Leerzeichen erzeugen. Der Parameter context beim Endpunkt generate gilt als veraltet.

Wo sich das im Unternehmen einordnet

Ein Ollama-Server braucht einen Verantwortlichen für Modellpflege, Updates und Speicherbedarf. Die Referenz beschreibt keine Anmeldung an der Schnittstelle, deshalb sollten Sie den Zugriff über das Netz und vorgelagerte Dienste regeln. Welche Daten verarbeitet werden dürfen, klären Datenschutz und IT gemeinsam. Hintergründe finden Sie auf den Seiten zu lokaler KI und zur DSGVO bei KI.

Wer Server, Zugriffsrechte und Quellenanbindung nicht selbst betreiben will, findet bei souveraen.ai die gleiche Software als Private Spark im eigenen Netz oder gehostet in Deutschland. Eine OpenAI-kompatible Entwickler-API bindet Modelle und Firmenwissen in eigene Anwendungen ein.

Quellen

Weitere Beiträge

Alle Beiträge

KI-API-Zugänge bei Resellern: Was die Dragos-Tests zeigen

Sicherheitsforscher von Dragos haben mit rund zwei Millionen Testanfragen gezeigt, dass Zwischenhändler und kompromittierte Anbieter Anfragen an KI-Modelle mitlesen. Wer KI per Schnittstelle nutzt, sollte daher klären, über wen die eigenen Daten tatsächlich laufen.

Datenschutz4 Min.

Text Generation Inference mit Docker selbst betreiben

Mit Text Generation Inference betreiben Sie ein offenes Sprachmodell als Container auf einem eigenen Server. Anfragen bleiben im Firmennetz, sodass keine Texte an einen Cloud-Anbieter gehen.

Anleitung4 Min.

Haftung bei Cloud-Ausfall: Wer trägt das Risiko?

Der Ausfall von Exchange Online und Outlook am 12. November 2026 dauerte etwa 36 Stunden und traf viele Betriebe. Wer dafür einstehen muss, betrifft jede Firma, die Cloud- und KI-Dienste nutzt.

Regulierung4 Min.

Testen Sie es mit Ihren eigenen Dokumenten.

3 Tage kostenlos, danach ab 24,90 € je Nutzer und Monat. Monatlich kündbar.

3 Tage kostenlos, danach ab 24,90 € je Nutzer und Monat.3 Tage kostenlos
3 Tage kostenlos testen