Privacy-First · Source Available · BSL 1.1

Dein LLM-Traffic.
Deine Regeln.

Der privacy-first LLM Proxy und AI Gateway, der deine Prompts nie sieht.

Self-hosted Gateway für OpenAI, Anthropic, Azure, Ollama und vLLM - mit Load Balancing, API Key Management, Usage Tracking und Rate Limiting. Deine Infrastruktur, Zero Knowledge by Design.

Kostenlos starten Auf GitHub ansehen

Star us on GitHub

void-terminal

$ curl http://localhost:8080/v1/chat/completions \

-H "Authorization: Bearer vl_uk_a3f2..." \

-d '{"model":"default","messages":[{"role":"user","content":"hallo"}]}'

[Proxy] Routing to: anthropic (claude-sonnet)

[Auth] Key: "vl_uk_a3f2..." (Aktiv)

[Fiber] Request verarbeitet in 1.2ms

Zero-Knowledge LLM Proxy

VoidLLM speichert, loggt oder persistiert niemals Prompt- oder Antwortinhalte. Nicht als Einstellung - sondern als Architekturentscheidung. Dieses AI Gateway ist ein Zero-Knowledge Pass-Through, DSGVO-konform by Design. Nur Metadaten werden erfasst: wer, welches Modell, wie viele Tokens. Deine Daten bleiben deine.

LLM Gateway Features

Alles was du brauchst, um LLM-API-Zugriff in deiner Organisation zu proxen, routen und kontrollieren.

Unter 2ms Proxy Overhead

In-Memory Auth und Model Resolution. Asynchrones Usage-Logging. Der LLM Proxy braucht unter 2ms - der Flaschenhals ist immer der Upstream-Provider, nie VoidLLM.

Multi-Provider Routing

VoidLLM als OpenAI Proxy, Anthropic Proxy, Azure OpenAI Proxy, vLLM Proxy oder Ollama Proxy nutzen - alles durch ein Gateway. Load Balancing mit automatischem Failover.

Komplettes Web-UI

Das LLM Gateway komplett im Browser verwalten: Playground, API Key Management, Teams, Modelle, Usage Tracking und Einstellungen. Kein separates Admin-Tool nötig.

RBAC integriert

Org → Team → User → Key Hierarchie mit vier Rollen. Most-Restrictive-Wins Limits. Model-Zugriffskontrolle pro Org, Team und Key.

Token-Budgets & Rate Limiting

Tägliche und monatliche Token-Limits. Requests pro Minute und pro Tag. Rate Limits auf Org-, Team- oder Key-Ebene - in Echtzeit vom Proxy durchgesetzt.

Self-Hosted, Ein Binary

Den gesamten LLM Proxy als ein Go-Binary deployen (~25MB). SQLite Standard, PostgreSQL optional. Docker-Image, Helm-Chart oder einfach go run.

Dein AI Gateway,
in Minuten bereit.

Deployen

VoidLLM self-hosted mit Docker, Helm oder go build. Ein Binary, keine externen Abhängigkeiten. Läuft auf jeder Cloud oder On-Premise.

Konfigurieren

LLM-Provider via YAML oder Admin-API hinzufügen. Teams erstellen, API Keys verwalten, Rate Limits und Token-Budgets setzen.

Proxen

Apps auf den Proxy zeigen. Jedes OpenAI-kompatible SDK funktioniert - einfach die Base-URL ändern und Routing starten.

LLM Proxy Preise

Wähle den Plan, der zu deinem Team passt. Jede Stufe enthält den vollständigen Proxy und AI Gateway.

Flat Pricing - keine Kosten pro User, keine Kosten pro Request.

2 Monate sparen bei jährlicher Zahlung: 490€/Jahr Pro, 1.490€/Jahr Enterprise

Community

Kostenlos

Für immer kostenlos

1 Organisation, 3 Teams
Unbegrenzte Benutzer
Multi-Provider Proxy (6 Provider)
Komplettes Web-UI + Playground
Rate Limiting + Token-Budgets
Circuit Breaker + Per-Model Timeouts
Load Balancing + automatisches Failover
MCP Server (Claude Code, Cursor, Windsurf)
Prometheus Metriken
Usage-Export (CSV/JSON)
BSL 1.1 - kostenlos selbst hosten

Loslegen

Beliebteste Wahl

Pro

49€ /Monat

Für Teams in Produktion

Alles aus Community, plus:
Unbegrenzte Organisationen + Teams
Kostenberichte + Budget-Alerts
Cross-Org Analytics
Priorisierter E-Mail-Support (48h)

Kostenlos testen

Enterprise

149€ /Monat

Organisationsweite Kontrolle

Alles aus Pro, plus:
SSO / OIDC (jeder Provider)
Per-Org SSO-Konfiguration
Audit Logs (API + UI)
OpenTelemetry Tracing
Multi-Instanz (Redis)
Dedizierter Slack-Support (24h)