vLLM Quickstart: Offenes Sprachmodell auf dem eigenen Server
vLLM startet ein offenes Sprachmodell als Server, der das Protokoll der OpenAI-Schnittstelle versteht. Anfragen aus Ihren Anwendungen beantwortet dann Ihre eigene Hardware, ein externer Anbieter erhält sie nicht.

Was Sie am Ende haben und was Sie brauchen
Am Ende läuft auf einem Linux-Server ein Sprachmodell, das Sie per HTTP im Firmennetz ansprechen. Bestehende Anwendungen, die für die OpenAI-Schnittstelle geschrieben wurden, lassen sich darauf umstellen. Dieses Beispiel nutzt das kleine Modell Qwen/Qwen2.5-1.5B-Instruct, damit sich der Ablauf schnell prüfen lässt.
Laut der vLLM-Dokumentation zum Quickstart benötigen Sie Linux und Python in den Versionen 3.11 bis 3.14. Für NVIDIA-Grafikkarten genügt die Installation per pip, empfohlen wird der Umgebungsmanager uv. Andere Plattformen wie AMD, Intel, Google TPU, Ascend und Apple Silicon haben eigene Installationswege, die hier nicht behandelt werden. Das Modell lädt vLLM standardmäßig von Hugging Face herunter, der Server braucht dafür beim ersten Start Internetzugang.
vLLM in einer eigenen Python-Umgebung installieren
Die folgenden Befehle legen mit uv eine Python-Umgebung in der Version 3.12 an, aktivieren sie und installieren vLLM. Der Schalter --torch-backend=auto wählt anhand des installierten CUDA-Treibers die passende PyTorch-Variante. Der letzte Befehl lädt vorkompilierte Kerne.
uv venv --python 3.12 --seed
source .venv/bin/activate
uv pip install vllm --torch-backend=auto
vllm download-kernelsOhne den Befehl vllm download-kernels lädt und kompiliert vLLM diese Kerne beim Start. Auf Hopper-Karten und neueren kann das mehrere Minuten dauern. Wer lieber conda verwendet, legt mit conda create eine Umgebung an und installiert uv per pip hinein. Danach gilt derselbe Befehl uv pip install.
Soll eine bestimmte PyTorch-Variante gelten, setzen Sie statt auto einen konkreten Wert, etwa cu126. Das geht entweder über den Schalter --torch-backend oder über die Umgebungsvariable UV_TORCH_BACKEND. Für einen kurzen Test ohne dauerhafte Umgebung nennt die Dokumentation außerdem uv run mit der Option --with vllm.
Den Server starten und den Endpunkt abfragen
Der Befehl vllm serve startet den OpenAI-kompatiblen Server mit dem genannten Modell. Standardmäßig lauscht er auf http://localhost:8000. Mit --host und --port legen Sie die Adresse fest, und mit --api-key verlangen Sie einen Schlüssel im Header. Sie dürfen mehrere Schlüssel nach --api-key angeben, was einen Schlüsselwechsel im laufenden Betrieb erleichtert.
vllm serve Qwen/Qwen2.5-1.5B-Instruct --api-key ersetzen-sie-diesen-wertDer Server hostet jeweils ein Modell. Er wendet standardmäßig die Datei generation_config.json aus dem Modell-Repository an, sofern sie existiert. Wollen Sie die Standardwerte von vLLM, übergeben Sie --generation-config vllm.
Statt des Schalters können Sie den Schlüssel auch über die Umgebungsvariable VLLM_API_KEY setzen. Der Server bietet unter anderem Endpunkte zum Auflisten der Modelle sowie für Completions und Chat Completions. Außerdem nutzt er standardmäßig eine Chat-Vorlage, die im Tokenizer hinterlegt ist.
Wie prüfe ich, ob der Server antwortet?
Zuerst fragen Sie die Liste der Modelle ab. Kommt das geladene Modell zurück, läuft der Server. Haben Sie ihn mit --api-key gestartet, ergänzen Sie den Header für die Autorisierung.
curl http://localhost:8000/v1/modelsDanach senden Sie eine Chat-Anfrage. Das folgende Python-Skript nutzt das Paket openai und zeigt auf die eigene Adresse statt auf einen externen Anbieter. Setzen Sie als api_key den Wert, den Sie beim Start vergeben haben. Die Dokumentation verwendet im Beispiel ohne Schlüssel den Platzhalter EMPTY.
from openai import OpenAI
client = OpenAI(
api_key="EMPTY",
base_url="http://localhost:8000/v1",
)
response = client.chat.completions.create(
model="Qwen/Qwen2.5-1.5B-Instruct",
messages=[
{"role": "system", "content": "You are a helpful assistant."},
{"role": "user", "content": "Tell me a joke."},
],
)
print(response)Erscheint eine Antwort des Modells, ist der Endpunkt einsatzbereit. Für andere Rechner im Netz wählen Sie über --host eine passende Adresse und schützen den Zugang mit einem Schlüssel.
Die Dokumentation zeigt dieselbe Abfrage auch mit curl gegen den Pfad /v1/chat/completions. Dort geben Sie im JSON-Körper das Modell und eine Liste von Nachrichten mit den Rollen system und user an. Für einfache Texte ohne Dialog gibt es den Pfad /v1/completions, bei dem Sie statt der Nachrichten einen Prompt und mit max_tokens die Länge der Antwort festlegen.
Typische Stolpersteine aus der Dokumentation
- Die Methode llm.generate wendet die Chat-Vorlage eines Instruct-Modells nicht automatisch an. Bei der Offline-Nutzung verwenden Sie llm.chat oder wenden die Vorlage selbst an.
- Die Kerne werden ohne vllm download-kernels beim Start geladen und kompiliert, was den ersten Start verlängert.
- Die Standardwerte aus generation_config.json können Sampling-Parameter überschreiben. Mit --generation-config vllm schalten Sie das ab.
- Bei Modellen aus ModelScope setzen Sie vor dem Start die Umgebungsvariable VLLM_USE_MODELSCOPE.
Die Aufmerksamkeitsberechnung wählt vLLM selbst. Mit --attention-backend, etwa FLASH_ATTN auf NVIDIA, lässt sie sich festlegen. Das lohnt sich nur bei einem konkreten Anlass.
Einordnung im Unternehmen
Ein solcher Server gehört in ein abgesichertes Netz, mit Schlüssel und klar benannter Zuständigkeit für Updates, Modellwahl und Hardware. Da die Anfragen den eigenen Server nicht verlassen, entfällt die Weitergabe an einen Anbieter. Ob der Betrieb Ihre Datenschutzvorgaben erfüllt, klären Sie mit Ihrer Datenschutzbeauftragten. Mehr zum Hintergrund finden Sie unter lokale KI und DSGVO und KI.
souveraen.ai gibt es auch als Private Spark auf einer NVIDIA DGX Spark im Firmennetz. Zusätzlich bietet die Plattform eine OpenAI-kompatible Entwickler-API. Wer selbst betreibt, übernimmt Wartung und Absicherung, was Sie vorab einplanen sollten.
Quellen
- vLLM quickstart, vLLM documentation


