vLLM Quickstart: Offenes Sprachmodell auf dem eigenen Server

vLLM startet ein offenes Sprachmodell als Server, der das Protokoll der OpenAI-Schnittstelle versteht. Anfragen aus Ihren Anwendungen beantwortet dann Ihre eigene Hardware, ein externer Anbieter erhält sie nicht.

Niklas Schult4 Min. Lesezeit

Illustration: Ein Stecker in einer Steckdose, an dessen Kabel ein kleines Vorhängeschloss hängt, als Sinnbild für einen geschützten eigenen Server.

Was Sie am Ende haben und was Sie brauchen

Am Ende läuft auf einem Linux-Server ein Sprachmodell, das Sie per HTTP im Firmennetz ansprechen. Bestehende Anwendungen, die für die OpenAI-Schnittstelle geschrieben wurden, lassen sich darauf umstellen. Dieses Beispiel nutzt das kleine Modell Qwen/Qwen2.5-1.5B-Instruct, damit sich der Ablauf schnell prüfen lässt.

Laut der vLLM-Dokumentation zum Quickstart benötigen Sie Linux und Python in den Versionen 3.11 bis 3.14. Für NVIDIA-Grafikkarten genügt die Installation per pip, empfohlen wird der Umgebungsmanager uv. Andere Plattformen wie AMD, Intel, Google TPU, Ascend und Apple Silicon haben eigene Installationswege, die hier nicht behandelt werden. Das Modell lädt vLLM standardmäßig von Hugging Face herunter, der Server braucht dafür beim ersten Start Internetzugang.

vLLM in einer eigenen Python-Umgebung installieren

Die folgenden Befehle legen mit uv eine Python-Umgebung in der Version 3.12 an, aktivieren sie und installieren vLLM. Der Schalter --torch-backend=auto wählt anhand des installierten CUDA-Treibers die passende PyTorch-Variante. Der letzte Befehl lädt vorkompilierte Kerne.

Shell
uv venv --python 3.12 --seed
source .venv/bin/activate
uv pip install vllm --torch-backend=auto
vllm download-kernels

Ohne den Befehl vllm download-kernels lädt und kompiliert vLLM diese Kerne beim Start. Auf Hopper-Karten und neueren kann das mehrere Minuten dauern. Wer lieber conda verwendet, legt mit conda create eine Umgebung an und installiert uv per pip hinein. Danach gilt derselbe Befehl uv pip install.

Soll eine bestimmte PyTorch-Variante gelten, setzen Sie statt auto einen konkreten Wert, etwa cu126. Das geht entweder über den Schalter --torch-backend oder über die Umgebungsvariable UV_TORCH_BACKEND. Für einen kurzen Test ohne dauerhafte Umgebung nennt die Dokumentation außerdem uv run mit der Option --with vllm.

Den Server starten und den Endpunkt abfragen

Der Befehl vllm serve startet den OpenAI-kompatiblen Server mit dem genannten Modell. Standardmäßig lauscht er auf http://localhost:8000. Mit --host und --port legen Sie die Adresse fest, und mit --api-key verlangen Sie einen Schlüssel im Header. Sie dürfen mehrere Schlüssel nach --api-key angeben, was einen Schlüsselwechsel im laufenden Betrieb erleichtert.

Shell
vllm serve Qwen/Qwen2.5-1.5B-Instruct --api-key ersetzen-sie-diesen-wert

Der Server hostet jeweils ein Modell. Er wendet standardmäßig die Datei generation_config.json aus dem Modell-Repository an, sofern sie existiert. Wollen Sie die Standardwerte von vLLM, übergeben Sie --generation-config vllm.

Statt des Schalters können Sie den Schlüssel auch über die Umgebungsvariable VLLM_API_KEY setzen. Der Server bietet unter anderem Endpunkte zum Auflisten der Modelle sowie für Completions und Chat Completions. Außerdem nutzt er standardmäßig eine Chat-Vorlage, die im Tokenizer hinterlegt ist.

Wie prüfe ich, ob der Server antwortet?

Zuerst fragen Sie die Liste der Modelle ab. Kommt das geladene Modell zurück, läuft der Server. Haben Sie ihn mit --api-key gestartet, ergänzen Sie den Header für die Autorisierung.

Shell
curl http://localhost:8000/v1/models

Danach senden Sie eine Chat-Anfrage. Das folgende Python-Skript nutzt das Paket openai und zeigt auf die eigene Adresse statt auf einen externen Anbieter. Setzen Sie als api_key den Wert, den Sie beim Start vergeben haben. Die Dokumentation verwendet im Beispiel ohne Schlüssel den Platzhalter EMPTY.

Python
from openai import OpenAI

client = OpenAI(
    api_key="EMPTY",
    base_url="http://localhost:8000/v1",
)
response = client.chat.completions.create(
    model="Qwen/Qwen2.5-1.5B-Instruct",
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "Tell me a joke."},
    ],
)
print(response)

Erscheint eine Antwort des Modells, ist der Endpunkt einsatzbereit. Für andere Rechner im Netz wählen Sie über --host eine passende Adresse und schützen den Zugang mit einem Schlüssel.

Die Dokumentation zeigt dieselbe Abfrage auch mit curl gegen den Pfad /v1/chat/completions. Dort geben Sie im JSON-Körper das Modell und eine Liste von Nachrichten mit den Rollen system und user an. Für einfache Texte ohne Dialog gibt es den Pfad /v1/completions, bei dem Sie statt der Nachrichten einen Prompt und mit max_tokens die Länge der Antwort festlegen.

Typische Stolpersteine aus der Dokumentation

  • Die Methode llm.generate wendet die Chat-Vorlage eines Instruct-Modells nicht automatisch an. Bei der Offline-Nutzung verwenden Sie llm.chat oder wenden die Vorlage selbst an.
  • Die Kerne werden ohne vllm download-kernels beim Start geladen und kompiliert, was den ersten Start verlängert.
  • Die Standardwerte aus generation_config.json können Sampling-Parameter überschreiben. Mit --generation-config vllm schalten Sie das ab.
  • Bei Modellen aus ModelScope setzen Sie vor dem Start die Umgebungsvariable VLLM_USE_MODELSCOPE.

Die Aufmerksamkeitsberechnung wählt vLLM selbst. Mit --attention-backend, etwa FLASH_ATTN auf NVIDIA, lässt sie sich festlegen. Das lohnt sich nur bei einem konkreten Anlass.

Einordnung im Unternehmen

Ein solcher Server gehört in ein abgesichertes Netz, mit Schlüssel und klar benannter Zuständigkeit für Updates, Modellwahl und Hardware. Da die Anfragen den eigenen Server nicht verlassen, entfällt die Weitergabe an einen Anbieter. Ob der Betrieb Ihre Datenschutzvorgaben erfüllt, klären Sie mit Ihrer Datenschutzbeauftragten. Mehr zum Hintergrund finden Sie unter lokale KI und DSGVO und KI.

souveraen.ai gibt es auch als Private Spark auf einer NVIDIA DGX Spark im Firmennetz. Zusätzlich bietet die Plattform eine OpenAI-kompatible Entwickler-API. Wer selbst betreibt, übernimmt Wartung und Absicherung, was Sie vorab einplanen sollten.

Quellen

Weitere Beiträge

Alle Beiträge

KI-API-Zugänge bei Resellern: Was die Dragos-Tests zeigen

Sicherheitsforscher von Dragos haben mit rund zwei Millionen Testanfragen gezeigt, dass Zwischenhändler und kompromittierte Anbieter Anfragen an KI-Modelle mitlesen. Wer KI per Schnittstelle nutzt, sollte daher klären, über wen die eigenen Daten tatsächlich laufen.

Datenschutz4 Min.

Text Generation Inference mit Docker selbst betreiben

Mit Text Generation Inference betreiben Sie ein offenes Sprachmodell als Container auf einem eigenen Server. Anfragen bleiben im Firmennetz, sodass keine Texte an einen Cloud-Anbieter gehen.

Anleitung4 Min.

Haftung bei Cloud-Ausfall: Wer trägt das Risiko?

Der Ausfall von Exchange Online und Outlook am 12. November 2026 dauerte etwa 36 Stunden und traf viele Betriebe. Wer dafür einstehen muss, betrifft jede Firma, die Cloud- und KI-Dienste nutzt.

Regulierung4 Min.

Testen Sie es mit Ihren eigenen Dokumenten.

3 Tage kostenlos, danach ab 24,90 € je Nutzer und Monat. Monatlich kündbar.

3 Tage kostenlos, danach ab 24,90 € je Nutzer und Monat.3 Tage kostenlos
3 Tage kostenlos testen