Inference Manager: Lokale KI-Modelle unter Ubuntu verwalten

Canonical hat auf dem Ubuntu Summit den Inference Manager vorgestellt, ein Werkzeug zur Verwaltung lokal laufender KI-Modelle. Für Unternehmen mit eigenen Servern ist das interessant, weil Installation und Anbindung an bestehende Programme einheitlicher werden.

Niklas Schult4 Min. Lesezeit

Illustration: Eine Rezeptionsklingel auf einem Tresen vor einem Schubladenständer mit drei Kieselsteinen, darüber eine kleine Lampe.

Was Canonical vorgestellt hat

Canonical hat den Inference Manager auf der hauseigenen Tagung Ubuntu Summit gezeigt, wie heise online berichtet. Das Werkzeug stellt den Kommandozeilenbefehl inference bereit, der Modelle auf dem eigenen Rechner installiert und verfügbar macht. Programme greifen anschließend über eine HTTP-Schnittstelle auf die Inferenz zu.

Laut Canonical ist diese Schnittstelle zur OpenAI-API kompatibel. Bestehende Clients lassen sich dadurch direkt anbinden. Alle installierten Modelle sind über den TCP-Port 8400 erreichbar, etwa für Chat-Assistenten auf dem Desktop, für Coding-Agenten im Editor oder für Programme zur Spracherkennung.

Auf dem Ubuntu Summit machte Canonical das Konzept mit einer Carrera-Bahn erlebbar, bei der KI-Modelle die Autos steuerten. In einer Webapplikation ließen sich verschiedene Modelle auswählen, und die Fahrer reagierten auf Sprachbefehle. Die Vorführung sollte zeigen, dass sich unterschiedliche Modelle über dieselbe Schnittstelle austauschen lassen.

Hintergrund: Inference-Snaps und Open-Weight-Modelle

Snap ist das hauseigene Paketformat von Ubuntu. Im Snap Store liegen verschiedene KI-Modelle, die vollständig auf dem eigenen Gerät laufen und keine Internetverbindung benötigen. Auf diesen sogenannten Inference-Snaps baut auch Myna auf, ein Diktierprogramm, das mit Ubuntu 26.10 erschienen ist.

Canonical will bei Ubuntu auf lokal laufende Open-Weight-Modelle setzen. Genannt werden kontextsensitive Hilfe bei der Fehlersuche, bessere Spracherkennung für die Barrierefreiheit und Automatisierungen durch agentische Abläufe. Die KI-Funktionen sollen als Opt-in kommen und sich jederzeit deinstallieren lassen.

Myna schreibt das Diktat auf Desktopsystemen in beliebige Textfelder. Der Inference Manager bietet nun eine einheitliche Schnittstelle, über die solche Programme ihre Modelle ansprechen. Teile der Open-Source-Gemeinschaft diskutieren den Einsatz von KI kontrovers, was die Entscheidung für freiwillige Funktionen erklärt.

Für Administratoren bedeutet das: Ein Programm muss nicht mehr selbst wissen, wo und wie ein Modell installiert ist. Es spricht die gemeinsame Schnittstelle an, und der Inference Manager stellt das passende Modell bereit. Ob und wie sich dieses Prinzip in größeren Umgebungen mit vielen Arbeitsplätzen bewährt, lässt die Quelle offen.

So installieren und verwalten Sie Modelle

Der Inference Manager wird als Snap ausgeliefert und ist ab sofort im Snap Store verfügbar. Die Installation gelingt über das App Center oder mit dem Befehl sudo snap install inference. Danach installieren Sie Modelle mit Befehlen wie inference install smollm2 und nutzen sie über die Schnittstelle. Für einen ersten Test eignet sich folgender Ablauf:

  1. Inference Manager auf einem Testsystem per Snap installieren.
  2. Ein kleines Modell wie smollm2 mit inference install einrichten.
  3. Einen vorhandenen Client auf Port 8400 zeigen lassen und die Antworten prüfen.
  4. Notieren, welche Modelle installiert sind und wer sie verwenden darf.

Die Quelle nennt weder Befehle für Updates noch Details zur Rechteverwaltung. Lesen Sie deshalb die Dokumentation von Canonical, bevor Sie das Werkzeug produktiv einsetzen. Ein Testsystem hilft dabei, Verhalten und Ressourcenbedarf einzuschätzen, ohne den Betrieb zu stören.

Weil die Schnittstelle zur OpenAI-API kompatibel ist, können Sie im Test einen Client verwenden, den Ihr Team bereits kennt. Sie ändern dort lediglich die Adresse des Servers auf den lokalen Rechner und den Port 8400. So lässt sich ohne großen Aufwand vergleichen, wie ein lokales Modell auf typische Aufgaben antwortet.

Was Unternehmen vor dem Einsatz prüfen sollten

Lokal laufende Modelle verlassen den eigenen Rechner nicht, wenn sie ohne Internetverbindung arbeiten. Für Datenschutz und Berufsgeheimnisse ist das ein wichtiger Ansatz, doch eine Prüfung ersetzt er nicht. Klären Sie, welche Daten die Modelle verarbeiten, wer Zugriff hat und ob die Schnittstelle im Netz nur intern erreichbar ist. Mehr zu den Grundlagen finden Sie auf unserer Seite zu lokaler KI und zu DSGVO und KI.

  • Lizenz des jeweiligen Modells lesen, denn Open-Weight bedeutet nicht automatisch freie Nutzung im Unternehmen.
  • Hardware abschätzen: Größere Modelle brauchen leistungsfähige Grafikkarten und viel Speicher.
  • Port 8400 per Firewall auf berechtigte Rechner beschränken.
  • Zuständigkeit für Updates und Modellauswahl festlegen.
  • Den Einsatz mit Datenschutzbeauftragten abstimmen, bei Berufsgeheimnisträgern auch mit Blick auf § 203 StGB.

Ein einzelnes Verwaltungswerkzeug liefert noch keine Benutzerverwaltung, keine Quellenangaben und keine Anbindung an Firmendokumente. Diese Aufgaben müssen Sie anderweitig lösen.

Hinzu kommt der laufende Betrieb. Jemand muss entscheiden, welche Modelle freigegeben werden, und prüfen, ob die Antworten für den jeweiligen Zweck taugen. Ohne klare Zuständigkeit entsteht schnell ein Wildwuchs aus Modellen, die niemand mehr überblickt.

Wo eine Plattform den Betrieb ergänzt

Wer Modelle, Rechte und Anbindungen nicht selbst zusammenstellen möchte, kann eine Plattform nutzen. souveraen.ai von der clouditiv GmbH läuft wahlweise gehostet in Deutschland oder on-premise im eigenen Netz. Der Modellkatalog umfasst lokale Modelle, Modelle im Hosting in Deutschland und externe Modelle in der EU mit Zero Data Retention. Antworten nennen ihre Fundstelle, und Agenten warten vor Schreibzugriffen auf eine Freigabe, siehe Agenten mit Freigabe.

Quellen

Weitere Beiträge

Alle Beiträge

Text Generation Inference mit Docker selbst betreiben

Mit Text Generation Inference betreiben Sie ein offenes Sprachmodell als Container auf einem eigenen Server. Anfragen bleiben im Firmennetz, sodass keine Texte an einen Cloud-Anbieter gehen.

Anleitung4 Min.

Haftung bei Cloud-Ausfall: Wer trägt das Risiko?

Der Ausfall von Exchange Online und Outlook am 12. November 2026 dauerte etwa 36 Stunden und traf viele Betriebe. Wer dafür einstehen muss, betrifft jede Firma, die Cloud- und KI-Dienste nutzt.

Regulierung4 Min.

Testen Sie es mit Ihren eigenen Dokumenten.

3 Tage kostenlos, danach ab 24,90 € je Nutzer und Monat. Monatlich kündbar.

3 Tage kostenlos, danach ab 24,90 € je Nutzer und Monat.3 Tage kostenlos
3 Tage kostenlos testen