Alle Lösungen

ChatGPT (Free/Plus), Gemini, Copilot (Consumer)

bis Stufe 0 · US · Lösungsart

Nur für öffentliche, unkritische Inhalte; kein AVV im Consumer-Tarif, Eingaben ggf. fürs Training.

öffentlich · kein AVV

Microsoft Foundry · EU Data Zone (vormals Azure OpenAI / Azure AI Foundry)

bis Stufe 1 · US

Managed OpenAI-/Foundry-Modelle in EU Data Zone; AVV, kein Training. Echtes Zero Data Retention nur auf Antrag (Enterprise). Cloud-Act-Restrisiko.

AVV · EU-Region · ZDR-auf-Antrag · Cloud-Act-Risiko

AWS Bedrock (EU, Frankfurt)

bis Stufe 1 · US

Multi-Vendor-Marktplatz (Claude, Llama, Mistral, Nova) in EU-Region; AVV, kein Training (Default). Souveräne AWS-EU-Region (DE) seit 01/2026, aber nur Amazon Nova. Cloud-Act-Restrisiko.

AVV · EU-Region · Multi-Modell · Cloud-Act-Risiko

Google Vertex AI (EU)

bis Stufe 1 · US

Gemini in EU-Region/Multi-Region; AVV, kein Training (Default). Neueste Modelle teils nur über EU-Multi-Region. Cloud-Act-Restrisiko.

AVV · EU-Region · Cloud-Act-Risiko

OpenAI Platform API (EU Data Residency)

bis Stufe 1 · US

Direkte GPT-API mit EU-Datenresidenz (in-region, ZDR für berechtigte Projekte), Aufpreis ~10%. US-Mutter, Cloud-Act-Restrisiko bleibt.

API · EU-Residency · ZDR-möglich · Cloud-Act-Risiko

Anthropic Claude API

bis Stufe 1 · US

Claude direkt per API; native API ohne EU-Datenresidenz (US). EU-Residenz nur über AWS Bedrock / Google Vertex. AVV, kein Training (Default), ZDR optional.

API · keine-native-EU-Residency · ZDR-möglich

xAI Grok API

bis Stufe 1 · US

Grok-API des US-Anbieters. Kein Training auf Geschäftskundendaten laut Anbieter-FAQ (anders als die Verbraucher-App Grok), Aufbewahrung 30 Tage. EU-Residenz nicht belegt. Schwächste Zertifikatslage der Gruppe.

API · Aufbewahrung-30-Tage · keine-EU-Residenz

AI21 Jamba (API / Open-Weight / On-Prem)

bis Stufe 1 · andere

Israelischer Anbieter: Israel hat EU-Angemessenheitsbeschluss (seit 2011), Transfers daher ohne SCC zulässig. Jamba ist Open-Weight (HF) und on-prem/VPC deploybar → dann faktisch bis Stufe 3 souverän. Zertifikate vor Einsatz prüfen.

API · Open-Weight · On-Prem · EU-Angemessenheit-IL

Cohere Command / North (API + On-Prem)

bis Stufe 1 · andere

Kanadischer Anbieter (EU-Angemessenheit). North komplett on-prem/air-gapped betreibbar (kein Anbieter-Datenzugriff) → dann bis Stufe 3. Stärkstes Self-Hosting-Profil der proprietären API-Anbieter.

API · On-Prem · air-gapped · Kanada-Angemessenheit

Microsoft Copilot (vormals Microsoft 365 Copilot)

bis Stufe 1 · US

In M365 eingebetteter Assistent (GPT + zunehmend Claude). EU Data Boundary, aber „Flex Routing" kann 2026 außerhalb der EU routen; Anthropic-Modelle außerhalb EU-Boundary. Konfiguration prüfen.

Anwender-Plattform · EU-Data-Boundary · Flex-Routing-Vorsicht

ChatGPT Enterprise / Business

bis Stufe 1 · US

Generischer Enterprise-Chat-Assistent; Datenresidenz inkl. Europa, kein Training (Enterprise/Business). US-Mutter, Cloud-Act-Restrisiko.

Anwender-Plattform · EU-Residency · kein-Training

Google Gemini for Workspace / Enterprise

bis Stufe 1 · US

In Google Workspace integrierter Assistent mit konfigurierbarer EU-Datenresidenz und Sovereign-Controls. US-Mutter, Cloud-Act-Restrisiko.

Anwender-Plattform · EU-Region · Sovereign-Controls

Anthropic Claude for Enterprise / Teams

bis Stufe 1 · US

Enterprise-Assistent (stark für Code/Analyse); EU-Datenresidenz limitiert (primär US). Für DSGVO gesondert bewerten.

Anwender-Plattform · EU-Residency-limitiert

Glean (Enterprise Search/Assistant)

bis Stufe 1 · US

US-Enterprise-Search und Assistent über Unternehmenswissen mit nativen Berechtigungen. Anbieter nennt Regionen in AMER, EMEA und APAC sowie einen Betrieb in der eigenen Cloud des Kunden; eine europäische Region wird in der Dokumentation nicht namentlich genannt.

Anwender-Plattform · US-Hosting · Enterprise-Search

Perplexity Enterprise

bis Stufe 1 · US

Recherche-/Antwort-Assistent mit Enterprise-Ausbau; US-Hosting, EU-Transfers via SCC/DPF. DSGVO-Aufstellung schwächer als EU-Anbieter; Tracking-Kritik.

Anwender-Plattform · US-Hosting · Recherche-Assistent

Langdock

bis Stufe 1 · EU

Dt. modell-agnostische KI-Workspace-Plattform (40+ LLMs hinter einer Oberfläche), EU-Hosting, AVV, kein Training. Läuft auf Azure (EU-Region), daher faktisch Compliance-Niveau.

Anwender-Plattform · model-agnostisch · DACH

neuroflash

bis Stufe 1 · EU

Dt. KI-Content- und Schreibplattform (Schwerpunkt Marketing und Text), nutzt fremde Sprachmodelle. Personenbezogene Daten in der EU; die KI-Anfragen selbst laufen laut Datenschutzerklärung in der EU und in den USA bei externen Anbietern, abgesichert über das EU-US-Rahmenwerk.

Anwender-Plattform · Marketing/Text · DE

Cognigy (NiCE)

bis Stufe 1 · andere

Enterprise-Conversational- und Agentic-AI für Kundenservice (Sprache und Chat), Sitz Düsseldorf, außergewöhnlich stark zertifiziert (inkl. ISO 42001, BSI C5 Type II, AIC4). Seit 09/2025 Tochter der israelischen NiCE Ltd. (NASDAQ-notiert), Israel hat einen EU-Angemessenheitsbeschluss.

Anwender-Plattform · Conversational-AI · Mutter ausserhalb der EU

Mistral · Studio / Vibe Enterprise (vormals La Plateforme / Le Chat)

bis Stufe 2 · EU

Führender EU-LLM-Anbieter, EU-Datenhaltung, nicht Cloud-Act-unterworfen. Viele Modelle Apache 2.0 (self-hostbar), Flaggschiffe teils proprietär; Le Chat Enterprise als Workspace.

EU · Open-Weight · self-hostbar · Anwender-Plattform

IONOS AI Model Hub

bis Stufe 2 · EU

Deutsche DSGVO-konforme Plattform mit kuratiertem Open-Weight-Katalog (Llama 3.3, Teuken-7B, Mistral). Modelle gehostet (API), Fine-Tuning via Studio.

EU · BSI C5 · Open-Weight · Teuken

OVHcloud AI Endpoints

bis Stufe 2 · EU · SEAL-3

40+ Open-Source-Modelle als Managed Endpoints (Llama 3.3, Mixtral); DSGVO-konform. SEAL-3 über Post-Telecom/CleverCloud-Konsortium (EU-Vergabe 04/2026).

EU · Open-Weight · SEAL-3

Scaleway Generative APIs

bis Stufe 2 · EU · SEAL-3

Mehrsprachiger Open-Weight-Katalog (Mistral, Llama, Qwen, Gemma) als Managed APIs. SEAL-3 als Einzelanbieter (EU-Vergabe 04/2026). SecNumCloud ist beantragt, aber nicht erteilt.

EU · Open-Weight · SEAL-3

T Cloud Public · AI Foundation Services

bis Stufe 2 · EU

OpenAI-kompatible API mit Open-Source-LLMs auf dt. Telekom-Infrastruktur, private Instanzen möglich. Achtung: nur Kategorie-1-Modelle laufen souverän im EU/EWR-Raum, Kategorie 2 wird an Microsoft Azure und Google Cloud weitergereicht. Die Plattform heißt seit Januar 2026 T Cloud Public.

EU · Open-Weight · reguliert · SOOFI

Exoscale · Managed/Dedicated Inference

bis Stufe 2 · EU

Schweizer IaaS (A1/Telekom-Austria) mit europäischer Inferenz auf eigener GPU-Hardware und GPU-Instanzen für Self-Hosting. Verfügbar ist die dedizierte Variante (eigene Endpunkte, OpenAI-kompatibel); der Modell-Katalog nach Verbrauch ist angekündigt, aber noch nicht verfügbar.

EU · CH · Open-Weight · GPU

Gcore Everywhere Inference

bis Stufe 2 · EU

Luxemburger Anbieter: verwaltete Inferenz plus GPU-Cloud (H100/H200/B200) und Stack für private KI. Sitz und Vertragspartner in der EU; eine zugesagte EU-Datenregion für den Inferenz-Dienst nennt der Anbieter öffentlich nicht.

EU · managed-Inferenz · GPU · Edge

DeepL API (Übersetzung / Write)

bis Stufe 2 · EU

Echter dt. Anbieter (Verarbeitung DE/Island), BSI-C5; EU-Datenresidenz seit 05/2026 als Add-on bzw. Enterprise inkl. Spezialisiert auf Übersetzung/Textqualität, kein generischer LLM-Ersatz.

EU · DE-Anbieter · spezialisiert · BSI-C5

Sana AI

bis Stufe 1 · andere

Schwedischer Enterprise-Wissensassistent + Agents über Unternehmensdaten (native Berechtigungen, SSO/SCIM); EU-/Schweden-Datenresidenz optional.

Anwender-Plattform · Enterprise-Search · EU-Residency

Dust (dust.tt)

bis Stufe 2 · EU

Franz. „Multiplayer"-AI-Agent-/Workspace-Plattform (50+ Integrationen), modell-agnostisch, EU-Datenresidenz wählbar; Open-Source-Kern dokumentiert self-hostbar.

Anwender-Plattform · Agenten · EU-Residency · OSS-Kern

Parloa AI Agent Management

bis Stufe 2 · EU

Berliner AI-Agent-Plattform für Kundenservice und Sprachdialog (SAP-Partner), modell-agnostisch orchestriert, regionale Rechenzentren. Zertifikatslage inzwischen belegt; zum Training trifft der Anbieter öffentlich keine Aussage.

Anwender-Plattform · Contact-Center · Agenten

Mindverse Studio

bis Stufe 2 · EU

Dt. KI-Plattform mit Verarbeitung ausschließlich auf Servern in Deutschland; nach eigener Beschreibung modell-unabhängige Anwendungsschicht, kein eigenes Modell. Zertifikate und Trainings-Angaben öffentlich weiterhin unbelegt. (Nicht mit US-„MindStudio" verwechseln.)

Anwender-Plattform · DE · Unsicherheit

amber (Wissensassistent)

bis Stufe 2 · EU

Deutscher Wissensassistent aus Aachen: Suche, Chat und Agenten über mehr als 70 angebundene Quellen, Betrieb auf der T Cloud, Betrieb im eigenen Haus möglich. Ausdrückliche Zusage gegen Training auf Kundendaten. Welche Sprachmodelle darunter arbeiten, sagt der Anbieter öffentlich nicht.

Wissenssuche · DE · On-Prem-Option · Mittelstand · +1

Live Intelligence (Orange Business)

bis Stufe 2 · EU

Französische KI-Arbeitsplattform von Orange Business mit Chat, Agentenbaukasten und einem Katalog aus europäischen und US-Modellen. Die Plattform läuft in Frankreich; wo die Anfragen an GPT, Claude und Gemini verarbeitet werden, ist nicht belegt. Deshalb Stufe 2 mit Vorbehalt, nicht 3.

EU · Anwender-Plattform · Multi-Modell · FR · +1

Sherlock (CloudFerro)

bis Stufe 2 · EU

Polnischer Modell-Dienst von CloudFerro, dem Betreiber großer europäischer Erdbeobachtungs-Clouds: ausschließlich offene Modelle, verarbeitet in Polen, über eine OpenAI-kompatible Schnittstelle. Europäischer Vertragspartner und leichter Wechsel, deshalb Stufe 2. Der Vertrag bleibt hinter den Aussagen der Produktseite zurück.

EU · Open-Weight · LLMaaS · PL · +1

Noxtua (Beck-Noxtua)

bis Stufe 2 · EU

Deutsche Rechts-KI für Kanzleien und Rechtsabteilungen, als Beck-Noxtua mit den Inhalten des Verlags C.H.Beck. Das Standardmodell läuft auf deutscher Infrastruktur ohne US-Hyperscaler; die Frontier-Kategorie nutzt eine Google-Umgebung. Stufe 2 gilt für den Standardweg.

EU · DE-Anbieter · Recht · spezialisiert · +1

StackIT (Schwarz Digits)

bis Stufe 2 · EU · SEAL-3

Dt. souveräne Cloud (RZ nur DE/AT, dt. Eigentum); SEAL-3 (EU-Vergabe 04/2026). KI v.a. über Partner PhariaAI (Aleph Alpha), kein breiter Eigen-Modellkatalog.

EU · souverän · SEAL-3

Aleph Alpha · PhariaAI

bis Stufe 2 · EU

Souveräne KI-Plattform (Pharia-Modelle), Betrieb auf dt. Infrastruktur (STACKIT), on-prem/air-gapped möglich (dann bis Stufe 3). Hinweis: Cohere übernimmt Aleph Alpha (angekündigt 04/2026; Schwarz-Gruppe finanziert mit): künftige Residenz-Garantien und Open-Weight-Lizenz prüfen.

EU · souverän · self-hostbar

S3NS · PREMI3NS

bis Stufe 2 · EU · SEAL-2

Souveränes Betreibermodell (EU-betrieben) auf Google-Technik: Souveränität über Betrieb/Jurisdiktion, Technologiebasis aber US. SEAL-2. DE-Region für Ende 2026 angekündigt.

EU · souveränes-Betreibermodell · SEAL-2 · Label-Vorsicht

Delos Cloud (öffentliche Verwaltung)

bis Stufe 2 · EU

Lehrfall Sovereign-Label ungleich Souveränität: Betrieb in Deutschland durch Arvato Systems mit sicherheitsüberprüftem Personal, Technologiebasis aber Azure; KI über OpenAI for Germany (US-Modelle). Primär öffentliche Verwaltung.

Label-Vorsicht · Azure-basiert · Public-Sector

3DS Outscale · LLMaaS / AI Factories

bis Stufe 2 · EU

Hochzertifizierter franz. Souveränitäts-Cloud (erste SecNumCloud-3.2-Public-Cloud) mit eigenem LLMaaS und GPU-„AI Factories" für Self-Hosting.

EU · souverän · SecNumCloud · LLMaaS

Cloud Temple · LLMaaS

bis Stufe 2 · EU

Stark zertifizierter franz. Souveränitäts-Cloud mit eigenem SecNumCloud-qualifiziertem LLMaaS (32 Modelle, von Chat und Programmierung über Bild bis Übersetzung); Daten werden nach Anbieterangabe nach der Verarbeitung weder verwertet noch gespeichert.

EU · souverän · SecNumCloud · LLMaaS

Clever Cloud · Clever AI

bis Stufe 2 · EU · SEAL-3

Souveräner franz. PaaS; KI als Multi-Modell-Gateway „Clever AI" (Mistral, OVH, Scaleway, Cloud Temple u.a.). SEAL-3 (EU-Vergabe 04/2026).

EU · souverän · Aggregator · SEAL-3

Clarence (Proximus / LuxConnect)

bis Stufe 2 · EU · SEAL-2

Luxemburger Souveränitäts-Cloud als vom Internet getrennte („disconnected") Umgebung auf Google-Cloud-Technik, lokal betrieben. Teil des Proximus-Konsortiums mit SEAL-2 in der EU-Vergabe 04/2026.

EU · souverän · disconnected · SEAL-2

Proximus NXT (Sovereign Cloud)

bis Stufe 2 · EU · SEAL-2

Belgischer Souveränitäts-Cloud; KI über europäische Partner (Mistral, S3NS, Clarence) statt Eigenentwicklung. SEAL-2 (EU-Vergabe 04/2026).

EU · souverän · Partner-KI · SEAL-2

plusserver · plusKI

bis Stufe 2 · EU

Dt. souveräner Multi-Cloud-Anbieter mit eigener mittelstandsorientierter KI-Plattform plusKI plus GPU-Compute/OpenStack für Self-Hosting. Gaia-X-Gründungsmitglied. Zertifikate für die KI-Plattform sind öffentlich nicht belegt.

EU · souverän · Mittelstand · Gaia-X

SAP Generative AI Hub / EU AI Cloud

bis Stufe 2 · EU

Dt. Enterprise-KI-Plattform: Generative AI Hub (Multi-Modell: SAP-eigene + Claude, Gemini, Cohere) plus „EU AI Cloud" als souveräne Full-Stack-Variante (mit Cohere). Für SAP-zentrierte Unternehmen.

EU · Enterprise · EU-AI-Cloud · Cohere

Numspot (Managed AI Platform)

bis Stufe 2 · EU

Franz. JV als dritte SecNumCloud-Säule; Managed-AI-Platform im Qualifizierungsprozess (2026). KI eher Betriebsplattform als eigener LLM-Dienst. Status „in Qualifizierung", verifizieren.

EU · souverän · SecNumCloud-in-Qualifizierung · Unsicherheit

AWS European Sovereign Cloud (Bedrock / SageMaker)

bis Stufe 2 · EU

Eigenständige AWS-Partition unter deutschem Recht, betrieben von EU-Ansässigen in der EU, mit Bedrock und SageMaker ab Start. Technik und Konzernmutter bleiben US-amerikanisch, deshalb Stufe 2 statt 3.

EU · souveränes-Betreibermodell · DE-Region · US-Konzernmutter · +1

Self-hosted Open-Weights · EU/permissiv (Mistral, Teuken) · Ollama/vLLM

bis Stufe 3 · EU · Lösungsart

EU-Modelle mit permissiver Lizenz (Mistral Apache 2.0; Teuken/OpenGPT-X, EuroLLM-22B, dazu Apertus aus der Schweiz) selbst betrieben: Daten verlassen die Kontrolle nie. Runtimes: vLLM (Produktion), Ollama/LM Studio (Einstieg). Achtung: kann KI-VO-Anbieterrolle auslösen.

Open-Weight · On-Prem · Apache-2.0 · souverän

Self-hosted Open-Weights · international (Llama, Qwen, Gemma 4, DeepSeek, Phi)

bis Stufe 3 · EU · Lösungsart

International führende Open-Weights selbst betrieben (volle techn. Kontrolle). Lizenz-/Herkunfts-Vorsicht: Llama 4 schließt EU-Firmen bei Multimodal aus + Custom-Lizenz; Gemma erst ab v4 Apache 2.0; Qwen/DeepSeek permissiv, aber China-Herkunft als Governance-Kriterium.

Open-Weight · On-Prem · Lizenz-Vorsicht

Nextcloud Assistant (mit lokalem Modell)

bis Stufe 3 · EU

KI-Assistent der deutschen Nextcloud-Plattform, der mit der App llm2 vollständig im eigenen Haus läuft, auf offenen Modellen und ohne Verbindung nach außen. Stufe 3 gilt für diesen lokalen Betrieb; derselbe Assistent kann auch an externe Anbieter angeschlossen werden.

On-Prem · Open-Weight · AGPL-3.0 · Anwender-Plattform · +1

Hetzner (GPU-Server für Self-Hosting)

bis Stufe 3 · EU

Dt. Low-Cost-GPU-/Server-Anbieter (RTX 4000 Ada bis RTX PRO 6000 Blackwell). Reine Infrastruktur für Self-Hosting eigener Open-Weights (Ollama/vLLM); kein eigener KI-Dienst.

Infrastruktur · GPU · DE · Low-Cost

Industrial AI Cloud (Deutsche Telekom / T-Systems)

bis Stufe 3 · EU

Deutsches KI-Rechenzentrum mit rund 10.000 NVIDIA-Blackwell-Karten, betrieben von der Deutschen Telekom in München, seit Februar 2026 für Kunden offen. Rechenleistung statt fertiger Modell-Dienst; Vertragswerk und Zertifikate öffentlich nicht belegt.

Infrastruktur · GPU · DE · Industrie · +1

Nebius (GPU-Cloud)

bis Stufe 3 · EU

Niederländisch/finnischer GPU-Hyperscaler (NVIDIA-Vollstack) für Training/Inferenz eigener Modelle; Daten in der EU. Reine GPU-Infrastruktur, kein kuratierter LLM-Dienst; NVIDIA-finanziert.

Infrastruktur · GPU · EU · börsennotiert

Paradigm (LightOn)

bis Stufe 3 · EU

Französische KI-Plattform für Unternehmen (Chat, Dokumentensuche, Agenten) des börsennotierten Herstellers LightOn, betreibbar bis zur vollständig vom Netz getrennten Installation im eigenen Haus. Stufe 3 gilt für den Eigenbetrieb; die geteilte SaaS-Variante in der EU entspricht Stufe 2.

EU · On-Prem · air-gapped · Anwender-Plattform · +1

Confidential Computing / TEE bei Hyperscaler (GPU)

bis Stufe 1 · US · Lösungsart

Vertrauliche GPU-Inferenz in versiegelter Enklave (CPU+GPU-Attestation), GA bei Azure/Google. Technischer Abfluss-Schutz Stufe-3-Niveau (T hoch), aber Jurisdiktion bleibt US (R Stufe 1), Mischfall. AWS Nitro ohne GPU-Passthrough.

TEE · Attestation · Mischfall-T-hoch-R-US

Confidential Computing / TEE · EU-Anbieter (Edgeless Privatemode)

bis Stufe 3 · EU

Dt. Anbieter: vertrauliche Inferenz in versiegelter Enklave, weder Betreiber noch Unterbau sehen Klartext. T hoch UND R EU: der seltene Vollschutz. Das Produkt heißt seit dem Umbau Privatemode (vormals Continuum), OpenAI-kompatible API.

TEE · Attestation · T-hoch-R-EU

Tinfoil (vertrauliche Inferenz)

bis Stufe 1 · US

US-Anbieter: vertrauliche Inferenz auf NVIDIA Hopper UND Blackwell (Multi-GPU-CC), Runtime-Attestation + Transparency-Logs. T hoch, aber R US: Mischfall.

TEE · Attestation · Multi-GPU · Mischfall-T-hoch-R-US

Verda Confidential Computing

bis Stufe 3 · EU

Finnischer GPU-Anbieter mit vertraulichen Instanzen auf RTX PRO 6000, B200 und B300: CPU und Grafikkarte laufen verschlüsselt, die Attestierung prüfen Sie selbst. Europäischer Vertragspartner und technischer Schutz gegen den Betreiber, deshalb Stufe 3. Gilt nur für die vertraulichen Instanzen, nicht für die gewöhnlichen GPU-Server desselben Anbieters.

TEE · Attestation · T-hoch-R-EU · GPU · +1

Apple Private Cloud Compute (Referenz)

bis Stufe 0 · US

Goldstandard für nachweisbare Abschottung (stateless, verifiable transparency), aber NUR Referenzarchitektur, nicht als Drittanbieter-Inferenzdienst nutzbar.

TEE · Referenzarchitektur · nicht-beziehbar

vLLM

Baustein · erbt die Stufe · EU

Aufbauklasse: Serving-Laufzeit für offene Modelle unter Apache 2.0, ausgelegt auf Durchsatz und Speichereffizienz. Der Standard für den Produktionsbetrieb eigener Modelle. Erbt die Stufe der Umgebung, in der sie läuft.

Aufbau · Serving · Durchsatz · Apache-2.0 · +1

Ollama

Baustein · erbt die Stufe · EU

Aufbauklasse: Serving-Laufzeit für offene Modelle unter MIT-Lizenz, ausgelegt auf einfachen Einstieg. Ein Befehl, ein laufendes Modell. Erbt die Stufe der Umgebung, in der sie läuft.

Aufbau · Serving · Einstieg · MIT · +1

llama.cpp

Baustein · erbt die Stufe · EU

Aufbauklasse: Inferenz in C und C++ unter MIT-Lizenz, läuft auch ohne Grafikkarte. Die Grundlage, auf der viele andere Werkzeuge aufsetzen. Erbt die Stufe der Umgebung, in der sie läuft.

Aufbau · Serving · CPU-fähig · MIT · +1

LiteLLM (AI-Gateway, OSS)

Baustein · erbt die Stufe · EU

Aufbauklasse: OSS-Gateway vor dem LLM: Routing über 100+ APIs, Kosten/Budgets, Logging; PII-Maskierung via Presidio. Erbt die Stufe des Backends. Patch-Management beachten (Lücke 06/2026).

Aufbau · Gateway · Routing · PII-via-Presidio · +1

Portkey AI Gateway (OSS)

Baustein · erbt die Stufe · EU

Aufbauklasse: OSS-Gateway (Apache 2.0), Routing zu 1.600+ Modellen, 50+ Guardrails, Observability. Erbt Backend-Stufe. Seit 2026 zu Palo Alto Networks, Lizenzpolitik beobachten.

Aufbau · Gateway · Routing · Guardrails · +1

Agent Router (vormals Envoy AI Gateway)

Baustein · erbt die Stufe · EU

Aufbauklasse: OSS-Gateway unter Apache 2.0 auf Grundlage von Envoy Gateway, vereinheitlicht den Zugriff auf mehrere Modell-Anbieter. Stiftungsnahe Governance statt Einzelunternehmen. Erbt die Stufe des Backends.

Aufbau · Gateway · Routing · Apache-2.0 · +1

Kong AI Gateway

Baustein · erbt die Stufe · EU

Aufbauklasse: Multi-LLM-Routing über AI-Proxy-Plugin; self-hostbar. OSS-Kern eingeschränkt: Semantic Caching/Analytics/Compliance erfordern Kong Enterprise.

Aufbau · Gateway · Routing · Open-Core

Apache APISIX (ai-proxy)

Baustein · erbt die Stufe · EU

Aufbauklasse: voll-OSS-Gateway mit Multi-Modell-Routing, Token-Rate-Limiting, Prompt-Transformation. PII-Maskierung nicht out-of-the-box.

Aufbau · Gateway · Routing · OSS

Presidio (PII-Baustein, OSS)

Baustein · erbt die Stufe · EU

Aufbauklasse (Baustein, kein Routing-Gateway): OSS-PII-Erkennung/-Pseudonymisierung, läuft vollständig lokal; typ. in ein Gateway eingebunden. Keine 100%-Erkennung.

Aufbau · PII-Maskierung · OSS · Baustein

NeMo Guardrails

Baustein · erbt die Stufe · EU

Aufbauklasse: Leitplanken-Baukasten von NVIDIA unter Apache 2.0, der Eingaben, Dialogverlauf, abgerufene Inhalte und Ausgaben eines Sprachmodells nach festgelegten Regeln prüft. Läuft vollständig im eigenen Haus. Erbt die Stufe des Backends.

Aufbau · Guardrails · Apache-2.0 · OSS · +1

Phileas (PII-Schwärzung)

Baustein · erbt die Stufe · EU

Aufbauklasse: Java-Bibliothek unter Apache 2.0, die personenbezogene Daten in Text und PDF nach einer festgelegten Richtlinie findet und schwärzt. Läuft vollständig lokal. Getragen von einer einzigen Person. Erbt die Stufe des Backends.

Aufbau · PII-Maskierung · Java · Apache-2.0 · +2

anymize (DSGVO-Anonymisierungs-Proxy)

Baustein · erbt die Stufe · EU

Kaufbarer dt. Vorschalt-Dienst: erkennt personenbezogene Angaben, ersetzt sie durch Platzhalter, bevor etwas an ein Cloud-Modell geht, und setzt sie in der Antwort wieder ein. EU-Hosting in deutschen Rechenzentren; daneben zwei eigene Modelle.

Aufbau · Gateway · PII-Anonymisierung · DE · +1

Open WebUI

Baustein · erbt die Stufe · EU

Populärstes self-hosted Chat-Frontend (RAG, Tools, MCP). Lizenz seit v0.6.6 source-available (Branding-Klausel); interne Nutzung frei. Erbt Backend-Stufe.

Aufbau · Chat-UI · RAG · source-available

LibreChat

Baustein · erbt die Stufe · EU

Self-hosted Multi-Modell-Chat-UI (RAG, Agenten, MCP); MIT-Lizenz (sauberes Open Source). Erbt Backend-Stufe.

Aufbau · Chat-UI · RAG · MIT

Langfuse (LLM-Observability)

Baustein · erbt die Stufe · EU

Aufbauklasse: Plattform für Nachvollziehbarkeit und Bewertung von KI-Anwendungen (Tracing, Evaluierungen, Prompt-Verwaltung), Kern unter MIT, im eigenen Haus betreibbar. Die Berliner Firma gehört seit Januar 2026 zu ClickHouse. Erbt die Stufe des Backends.

Aufbau · Observability · Evaluierung · MIT-Kern · +2

Jan (Desktop)

Baustein · erbt die Stufe · EU

Desktop-Chat-UI, 100% offline, OpenAI-kompatible lokale API; Apache 2.0. Ideal für streng regulierte Offline-Arbeitsplätze.

Aufbau · Chat-UI · offline · Apache-2.0

AnythingLLM

Baustein · erbt die Stufe · EU

Self-hosted All-in-one mit Fokus auf privater Dokument-RAG (Workspaces) + Agenten; MIT-Lizenz. Erbt Backend-Stufe.

Aufbau · RAG · Dokumente · MIT

Dify

Baustein · erbt die Stufe · EU

LLMOps-Plattform: RAG + Agenten + Workflow-Builder; Lizenz source-available (kein Multi-Tenant-SaaS ohne Genehmigung, Branding). Interne Nutzung frei. Erbt Backend-Stufe.

Aufbau · RAG · Agenten · Workflow · +1

Onyx (vormals Danswer)

Baustein · erbt die Stufe · EU

Aufbauklasse: Wissenssuche und Chat über Firmenquellen mit vielen Konnektoren, Kern unter MIT, im eigenen Haus mit eigenem Modell betreibbar. Einer der meistgenutzten offenen RAG-Bausteine. Erbt die Stufe des Backends.

Aufbau · RAG · Enterprise-Search · MIT-Kern · +2

RAGFlow

Baustein · erbt die Stufe · EU

RAG-Engine mit tiefer Dokumentenstruktur-Erkennung + Agenten; Apache 2.0 (echtes Open Source). Erbt Backend-Stufe.

Aufbau · RAG · Dokumente · Apache-2.0

Langflow

Baustein · erbt die Stufe · EU

Aufbauklasse: visueller Baukasten für Agenten und Abläufe unter MIT-Lizenz, sehr aktiv entwickelt. Direkter Ersatz für das eingestellte Flowise. Erbt die Stufe des Backends.

Aufbau · Agenten · Low-Code · MIT · +1

n8n

Baustein · erbt die Stufe · EU

Führende Workflow-Automation mit KI-/Agenten-Knoten (400+ Integrationen); dt. Anbieter. „Sustainable Use License" (intern frei, kein Weiterverkauf als Service). Erbt Backend-Stufe.

Aufbau · Automation · Agenten · DE · +1

Activepieces

Baustein · erbt die Stufe · EU

Aufbauklasse: Workflow-Automation mit KI-Schritten und Agenten, Kern unter MIT, im eigenen Haus betreibbar, auch ohne Internetzugang. Eine offener lizenzierte Alternative zu n8n. Erbt die Stufe des Backends.

Aufbau · Automation · Agenten · MIT-Kern · +2