Alle Lösungen

OpenAI Platform API (EU Data Residency)

bis Stufe 1 · US

Direkte GPT-API mit EU-Datenresidenz (in-region, ZDR für berechtigte Projekte), Aufpreis ~10%. US-Mutter, Cloud-Act-Restrisiko bleibt.

API · EU-Residency · ZDR-möglich · Cloud-Act-Risiko

Anthropic Claude API

bis Stufe 1 · US

Claude direkt per API; native API ohne EU-Datenresidenz (US). EU-Residenz nur über AWS Bedrock / Google Vertex. AVV, kein Training (Default), ZDR optional.

API · keine-native-EU-Residency · ZDR-möglich

xAI Grok API

bis Stufe 1 · US

Grok-API des US-Anbieters. Kein Training auf Geschäftskundendaten laut Anbieter-FAQ (anders als die Verbraucher-App Grok), Aufbewahrung 30 Tage. EU-Residenz nicht belegt. Schwächste Zertifikatslage der Gruppe.

API · Aufbewahrung-30-Tage · keine-EU-Residenz

AI21 Jamba (API / Open-Weight / On-Prem)

bis Stufe 1 · andere

Israelischer Anbieter: Israel hat EU-Angemessenheitsbeschluss (seit 2011), Transfers daher ohne SCC zulässig. Jamba ist Open-Weight (HF) und on-prem/VPC deploybar → dann faktisch bis Stufe 3 souverän. Zertifikate vor Einsatz prüfen.

API · Open-Weight · On-Prem · EU-Angemessenheit-IL

Cohere Command / North (API + On-Prem)

bis Stufe 1 · andere

Kanadischer Anbieter (EU-Angemessenheit). North komplett on-prem/air-gapped betreibbar (kein Anbieter-Datenzugriff) → dann bis Stufe 3. Stärkstes Self-Hosting-Profil der proprietären API-Anbieter.

API · On-Prem · air-gapped · Kanada-Angemessenheit

Mithril BlindLlama (EU, Alpha)

bis Stufe 3 · EU

Franz. Open-Source-Ansatz für vertrauliche Inferenz (TPM-Attestation). EU-Jurisdiktion, aber explizit Alpha: NICHT produktionsreif; nur zum Beobachten.

TEE · EU · OSS · Alpha-nicht-produktiv

LiteLLM (AI-Gateway, OSS)

Baustein · erbt die Stufe · EU

Aufbauklasse: OSS-Gateway vor dem LLM: Routing über 100+ APIs, Kosten/Budgets, Logging; PII-Maskierung via Presidio. Erbt die Stufe des Backends. Patch-Management beachten (Lücke 06/2026).

Aufbau · Gateway · Routing · PII-via-Presidio · +1

Portkey AI Gateway (OSS)

Baustein · erbt die Stufe · EU

Aufbauklasse: OSS-Gateway (Apache 2.0), Routing zu 1.600+ Modellen, 50+ Guardrails, Observability. Erbt Backend-Stufe. Seit 2026 zu Palo Alto Networks, Lizenzpolitik beobachten.

Aufbau · Gateway · Routing · Guardrails · +1

Apache APISIX (ai-proxy)

Baustein · erbt die Stufe · EU

Aufbauklasse: voll-OSS-Gateway mit Multi-Modell-Routing, Token-Rate-Limiting, Prompt-Transformation. PII-Maskierung nicht out-of-the-box.

Aufbau · Gateway · Routing · OSS

Microsoft Presidio (PII-Baustein, OSS)

Baustein · erbt die Stufe · EU

Aufbauklasse (Baustein, kein Routing-Gateway): OSS-PII-Erkennung/-Pseudonymisierung, läuft vollständig lokal; typ. in ein Gateway eingebunden. Keine 100%-Erkennung.

Aufbau · PII-Maskierung · OSS · Baustein

Open WebUI

Baustein · erbt die Stufe · EU

Populärstes self-hosted Chat-Frontend (RAG, Tools, MCP). Lizenz seit v0.6.6 source-available (Branding-Klausel); interne Nutzung frei. Erbt Backend-Stufe.

Aufbau · Chat-UI · RAG · source-available

LibreChat

Baustein · erbt die Stufe · EU

Self-hosted Multi-Modell-Chat-UI (RAG, Agenten, MCP); MIT-Lizenz (sauberes Open Source). Erbt Backend-Stufe.

Aufbau · Chat-UI · RAG · MIT

Jan (Desktop)

Baustein · erbt die Stufe · EU

Desktop-Chat-UI, 100% offline, OpenAI-kompatible lokale API; Apache 2.0. Ideal für streng regulierte Offline-Arbeitsplätze.

Aufbau · Chat-UI · offline · Apache-2.0

AnythingLLM

Baustein · erbt die Stufe · EU

Self-hosted All-in-one mit Fokus auf privater Dokument-RAG (Workspaces) + Agenten; MIT-Lizenz. Erbt Backend-Stufe.

Aufbau · RAG · Dokumente · MIT

Dify

Baustein · erbt die Stufe · EU

LLMOps-Plattform: RAG + Agenten + Workflow-Builder; Lizenz source-available (kein Multi-Tenant-SaaS ohne Genehmigung, Branding). Interne Nutzung frei. Erbt Backend-Stufe.

Aufbau · RAG · Agenten · Workflow · +1

RAGFlow

Baustein · erbt die Stufe · EU

RAG-Engine mit tiefer Dokumentenstruktur-Erkennung + Agenten; Apache 2.0 (echtes Open Source). Erbt Backend-Stufe.

Aufbau · RAG · Dokumente · Apache-2.0