Lösung · K6 (K6)
llama.cpp
Anbieter: ggml-Projektgithub.com/ggml-org/llama.cpp
Aufbauklasse: Inferenz in C und C++ unter MIT-Lizenz, läuft auch ohne Grafikkarte. Die Grundlage, auf der viele andere Werkzeuge aufsetzen. Erbt die Stufe der Umgebung, in der sie läuft.
Aufbau · Serving · CPU-fähig · MIT · OSS
Souveränitäts-Profil
Baustein · ohne eigene Schutzstufe
Läuft auf einer der Lösungsklassen K0 bis K5 und erbt deren Stufe samt Profil. Welche Stufe erreicht wird, entscheidet also das Backend, nicht dieser Baustein.
Recht (r)
erbt
Technik (t)
erbt
Autonomie (a)
erbt
Datenblatt
- Jurisdiktion
- EU
- Betriebsmodell
- self-hostbar (OSS), beliebiges Backend
- AVV verfügbar
- n/a
- Training auf Kundendaten
- nein
- Offene Gewichte
- nein
- Selbst betreibbar
- ja
- Zuletzt geprüft
- 2026-09-14
Wofür sie taugt
Modelle auf vorhandener Hardware betreiben, notfalls ohne Grafikkarte: quantisierte Modelle laufen auf gewöhnlichen Servern und sogar auf Arbeitsplatzrechnern. Für Häuser, die klein anfangen wollen, ohne vorher Hardware zu kaufen.
Grenzen
Quantisierung kostet Qualität. Der Weg auf schwache Hardware führt über verkleinerte Modelle, und das ist ein Handel: weniger Speicherbedarf gegen schlechtere Antworten. Wie viel schlechter, hängt vom Modell und vom Verfahren ab und gehört ausprobiert, nicht angenommen.
Ein Baustein, keine Lösung. Es ist eine Bibliothek mit einem beigelegten Server, keine Plattform. Zugriffssteuerung, Oberfläche und Betrieb kommen von woanders.
Zur Lizenz: MIT, am 14.09.2026 in den Projektdaten nachgesehen, das Projekt ist sehr aktiv.
Weiterführend
- Quellcode (repo)
Quellen1
- Quellcode und Lizenz von llama.cpp (GitHub-Projektdaten) anbieter-doku · abgerufen 2026-09-14 · belegt: zertifikate
Prüfhistorie
- 2026-09-14 Eintrag neu angelegt. Die Serving-Laufzeiten standen bisher nur als Nebensatz in der K4-Kategoriezeile und fehlten als eigene Bausteine. Lizenz MIT am 14.09.2026 über die GitHub-Projektdaten geprüft. (github.com/ggml-org/llama.cpp)
Nächster Schritt
Welche Schutzstufe Ihr Vorhaben verlangt, hängt von Ihren Daten, der Rechtslage und dem Einsatzzweck ab. Die Peilung ermittelt Ihre Mindeststufe in vier Schritten (KI-VO, Daten, Branche, Unabhängigkeit) und zeigt anschließend alle Lösungen, die sie erfüllen.