Lösung · K6 (K6)
vLLM
Anbieter: vLLM-Projekt (PyTorch Foundation)github.com/vllm-project/vllm
Aufbauklasse: Serving-Laufzeit für offene Modelle unter Apache 2.0, ausgelegt auf Durchsatz und Speichereffizienz. Der Standard für den Produktionsbetrieb eigener Modelle. Erbt die Stufe der Umgebung, in der sie läuft.
Aufbau · Serving · Durchsatz · Apache-2.0 · OSS
Souveränitäts-Profil
Baustein · ohne eigene Schutzstufe
Läuft auf einer der Lösungsklassen K0 bis K5 und erbt deren Stufe samt Profil. Welche Stufe erreicht wird, entscheidet also das Backend, nicht dieser Baustein.
Recht (r)
erbt
Technik (t)
erbt
Autonomie (a)
erbt
Datenblatt
- Jurisdiktion
- EU
- Betriebsmodell
- self-hostbar (OSS), beliebiges Backend
- AVV verfügbar
- n/a
- Training auf Kundendaten
- nein
- Offene Gewichte
- nein
- Selbst betreibbar
- ja
- Zuletzt geprüft
- 2026-09-14
Wofür sie taugt
Die Maschine, die ein heruntergeladenes Modell zu einer belastbaren Schnittstelle macht. Für den Produktionsbetrieb: viele gleichzeitige Anfragen, gute Auslastung der Grafikkarten, OpenAI-kompatible Schnittstelle, damit vorhandene Anwendungen ohne Umbau daran sprechen können.
Grenzen
Ein Baustein, keine Lösung. vLLM bringt kein Modell mit, keine Benutzeroberfläche und keine Zugriffssteuerung. Die Souveränität dieses Bausteins ist die Souveränität der Umgebung, in die Sie ihn stellen.
Der Betrieb ist anspruchsvoller als der Einstieg vermuten lässt. Speicherbedarf, Parallelität und Modellformate wollen verstanden werden, und Sicherheitsaktualisierungen an einer selbst betriebenen Inferenz-Schnittstelle sind Ihre Aufgabe. Wer nur ausprobieren will, fährt mit Ollama oder llama.cpp schneller.
Zur Lizenz: Apache 2.0, am 14.09.2026 in den Projektdaten nachgesehen, das Projekt ist sehr aktiv.
Weiterführend
- Quellcode (repo)
Quellen1
- Quellcode und Lizenz von vLLM (GitHub-Projektdaten) anbieter-doku · abgerufen 2026-09-14 · belegt: zertifikate
Prüfhistorie
- 2026-09-14 Eintrag neu angelegt. Die Serving-Laufzeiten standen bisher nur als Nebensatz in der K4-Kategoriezeile und fehlten als eigene Bausteine. Lizenz Apache 2.0 am 14.09.2026 über die GitHub-Projektdaten geprüft. (github.com/vllm-project/vllm)
Nächster Schritt
Welche Schutzstufe Ihr Vorhaben verlangt, hängt von Ihren Daten, der Rechtslage und dem Einsatzzweck ab. Die Peilung ermittelt Ihre Mindeststufe in vier Schritten (KI-VO, Daten, Branche, Unabhängigkeit) und zeigt anschließend alle Lösungen, die sie erfüllen.