Alle Lösungen

AI21 Jamba (API / Open-Weight / On-Prem)

bis Stufe 1 · andere

Israelischer Anbieter: Israel hat EU-Angemessenheitsbeschluss (seit 2011), Transfers daher ohne SCC zulässig. Jamba ist Open-Weight (HF) und on-prem/VPC deploybar → dann faktisch bis Stufe 3 souverän. Zertifikate vor Einsatz prüfen.

API · Open-Weight · On-Prem · EU-Angemessenheit-IL

Cohere Command / North (API + On-Prem)

bis Stufe 1 · andere

Kanadischer Anbieter (EU-Angemessenheit). North komplett on-prem/air-gapped betreibbar (kein Anbieter-Datenzugriff) → dann bis Stufe 3. Stärkstes Self-Hosting-Profil der proprietären API-Anbieter.

API · On-Prem · air-gapped · Kanada-Angemessenheit

Mistral · La Plateforme / Le Chat (Vibe) Enterprise

bis Stufe 2 · EU

Führender EU-LLM-Anbieter, EU-Datenhaltung, nicht Cloud-Act-unterworfen. Viele Modelle Apache 2.0 (self-hostbar), Flaggschiffe teils proprietär; Le Chat Enterprise als Workspace.

EU · Open-Weight · self-hostbar · Anwender-Plattform

Open Telekom Cloud · AI Foundation Services

bis Stufe 2 · EU

OpenAI-kompatible API mit 15-30+ Open-Source-LLMs (Llama 3.3, Mistral, DeepSeek R1) auf dt. Telekom-Infrastruktur; private Instanzen möglich. Souveränes Modell SOOFI im Aufbau. Zertifikate (C5/ISO) plausibel, vor Einsatz verifizieren.

EU · Open-Weight · reguliert · SOOFI

Exoscale · Managed/Dedicated Inference

bis Stufe 2 · EU

Schweizer IaaS (A1/Telekom-Austria) mit europäischer Inferenz auf eigener GPU-Hardware und GPU-Instanzen für Self-Hosting. Verfügbar ist die dedizierte Variante (eigene Endpunkte, OpenAI-kompatibel); der Modell-Katalog nach Verbrauch ist angekündigt, aber noch nicht verfügbar.

EU · CH · Open-Weight · GPU

Gcore Everywhere Inference

bis Stufe 2 · EU

Luxemburger Anbieter: verwaltete Inferenz plus GPU-Cloud (H100/H200/B200) und Stack für private KI. Sitz und Vertragspartner in der EU; eine zugesagte EU-Datenregion für den Inferenz-Dienst nennt der Anbieter öffentlich nicht.

EU · managed-Inferenz · GPU · Edge

Dust (dust.tt)

bis Stufe 2 · EU

Franz. „Multiplayer"-AI-Agent-/Workspace-Plattform (50+ Integrationen), modell-agnostisch, EU-Datenresidenz wählbar; Open-Source-Kern dokumentiert self-hostbar.

Anwender-Plattform · Agenten · EU-Residency · OSS-Kern

Aleph Alpha · PhariaAI

bis Stufe 2 · EU

Souveräne KI-Plattform (Pharia-Modelle), Betrieb auf dt. Infrastruktur (STACKIT), on-prem/air-gapped möglich (dann bis Stufe 3). Hinweis: Cohere übernimmt Aleph Alpha (angekündigt 04/2026; Schwarz-Gruppe finanziert mit): künftige Residenz-Garantien und Open-Weight-Lizenz prüfen.

EU · souverän · self-hostbar

3DS Outscale · LLMaaS / AI Factories

bis Stufe 2 · EU

Hochzertifizierter franz. Souveränitäts-Cloud (erste SecNumCloud-3.2-Public-Cloud) mit eigenem LLMaaS und GPU-„AI Factories" für Self-Hosting.

EU · souverän · SecNumCloud · LLMaaS

plusserver · plusAI

bis Stufe 2 · EU

Dt. souveräner Multi-Cloud-Anbieter mit eigener mittelstandsorientierter KI-Plattform plusAI plus GPU-Compute/OpenStack für Self-Hosting. BSI C5 (inkl. Confidential Computing), Gaia-X-Gründungsmitglied.

EU · souverän · Mittelstand · Gaia-X

Self-hosted Open-Weights · EU/permissiv (Mistral, Teuken) · Ollama/vLLM

bis Stufe 3 · EU · Lösungsart

EU-Modelle mit permissiver Lizenz (Mistral Apache 2.0; Teuken/OpenGPT-X, EuroLLM) selbst betrieben: Daten verlassen die Kontrolle nie. Runtimes: vLLM (Produktion), Ollama/LM Studio (Einstieg). Achtung: kann KI-VO-Anbieterrolle auslösen.

Open-Weight · On-Prem · Apache-2.0 · souverän

Self-hosted Open-Weights · international (Llama, Qwen, Gemma 4, DeepSeek, Phi)

bis Stufe 3 · EU · Lösungsart

International führende Open-Weights selbst betrieben (volle techn. Kontrolle). Lizenz-/Herkunfts-Vorsicht: Llama 4 schließt EU-Firmen bei Multimodal aus + Custom-Lizenz; Gemma erst ab v4 Apache 2.0; Qwen/DeepSeek permissiv, aber China-Herkunft als Governance-Kriterium.

Open-Weight · On-Prem · Lizenz-Vorsicht

Hetzner (GPU-Server für Self-Hosting)

bis Stufe 3 · EU

Dt. Low-Cost-GPU-/Server-Anbieter (RTX 4000 Ada bis RTX PRO 6000 Blackwell). Reine Infrastruktur für Self-Hosting eigener Open-Weights (Ollama/vLLM); kein eigener KI-Dienst.

Infrastruktur · GPU · DE · Low-Cost

Nebius (GPU-Cloud)

bis Stufe 3 · EU

Niederländisch/finnischer GPU-Hyperscaler (NVIDIA-Vollstack) für Training/Inferenz eigener Modelle; Daten in der EU. Reine GPU-Infrastruktur, kein kuratierter LLM-Dienst; NVIDIA-finanziert.

Infrastruktur · GPU · EU · börsennotiert

Mithril BlindLlama (EU, Alpha)

bis Stufe 3 · EU

Franz. Open-Source-Ansatz für vertrauliche Inferenz (TPM-Attestation). EU-Jurisdiktion, aber explizit Alpha: NICHT produktionsreif; nur zum Beobachten.

TEE · EU · OSS · Alpha-nicht-produktiv

LiteLLM (AI-Gateway, OSS)

Baustein · erbt die Stufe · EU

Aufbauklasse: OSS-Gateway vor dem LLM: Routing über 100+ APIs, Kosten/Budgets, Logging; PII-Maskierung via Presidio. Erbt die Stufe des Backends. Patch-Management beachten (Lücke 06/2026).

Aufbau · Gateway · Routing · PII-via-Presidio · +1

Portkey AI Gateway (OSS)

Baustein · erbt die Stufe · EU

Aufbauklasse: OSS-Gateway (Apache 2.0), Routing zu 1.600+ Modellen, 50+ Guardrails, Observability. Erbt Backend-Stufe. Seit 2026 zu Palo Alto Networks, Lizenzpolitik beobachten.

Aufbau · Gateway · Routing · Guardrails · +1

Kong AI Gateway

Baustein · erbt die Stufe · EU

Aufbauklasse: Multi-LLM-Routing über AI-Proxy-Plugin; self-hostbar. OSS-Kern eingeschränkt: Semantic Caching/Analytics/Compliance erfordern Kong Enterprise.

Aufbau · Gateway · Routing · Open-Core

Apache APISIX (ai-proxy)

Baustein · erbt die Stufe · EU

Aufbauklasse: voll-OSS-Gateway mit Multi-Modell-Routing, Token-Rate-Limiting, Prompt-Transformation. PII-Maskierung nicht out-of-the-box.

Aufbau · Gateway · Routing · OSS

Microsoft Presidio (PII-Baustein, OSS)

Baustein · erbt die Stufe · EU

Aufbauklasse (Baustein, kein Routing-Gateway): OSS-PII-Erkennung/-Pseudonymisierung, läuft vollständig lokal; typ. in ein Gateway eingebunden. Keine 100%-Erkennung.

Aufbau · PII-Maskierung · OSS · Baustein

Open WebUI

Baustein · erbt die Stufe · EU

Populärstes self-hosted Chat-Frontend (RAG, Tools, MCP). Lizenz seit v0.6.6 source-available (Branding-Klausel); interne Nutzung frei. Erbt Backend-Stufe.

Aufbau · Chat-UI · RAG · source-available

LibreChat

Baustein · erbt die Stufe · EU

Self-hosted Multi-Modell-Chat-UI (RAG, Agenten, MCP); MIT-Lizenz (sauberes Open Source). Erbt Backend-Stufe.

Aufbau · Chat-UI · RAG · MIT

Jan (Desktop)

Baustein · erbt die Stufe · EU

Desktop-Chat-UI, 100% offline, OpenAI-kompatible lokale API; Apache 2.0. Ideal für streng regulierte Offline-Arbeitsplätze.

Aufbau · Chat-UI · offline · Apache-2.0

AnythingLLM

Baustein · erbt die Stufe · EU

Self-hosted All-in-one mit Fokus auf privater Dokument-RAG (Workspaces) + Agenten; MIT-Lizenz. Erbt Backend-Stufe.

Aufbau · RAG · Dokumente · MIT

Dify

Baustein · erbt die Stufe · EU

LLMOps-Plattform: RAG + Agenten + Workflow-Builder; Lizenz source-available (kein Multi-Tenant-SaaS ohne Genehmigung, Branding). Interne Nutzung frei. Erbt Backend-Stufe.

Aufbau · RAG · Agenten · Workflow · +1

RAGFlow

Baustein · erbt die Stufe · EU

RAG-Engine mit tiefer Dokumentenstruktur-Erkennung + Agenten; Apache 2.0 (echtes Open Source). Erbt Backend-Stufe.

Aufbau · RAG · Dokumente · Apache-2.0

Flowise

Baustein · erbt die Stufe · EU

Visueller Agenten-/Flow-Builder (Low-Code); Community Edition Apache 2.0, Governance-Features (SSO/RBAC) kostenpflichtig. Erbt Backend-Stufe.

Aufbau · Agenten · Low-Code · Apache-2.0-CE

n8n

Baustein · erbt die Stufe · EU

Führende Workflow-Automation mit KI-/Agenten-Knoten (400+ Integrationen); dt. Anbieter. „Sustainable Use License" (intern frei, kein Weiterverkauf als Service). Erbt Backend-Stufe.

Aufbau · Automation · Agenten · DE · +1