Onyx auf einem custom OpenAI-kompatiblen LLM-Provider betreiben.

Kurzantwort: Add Custom LLM Provider im Admin-Panel.

Onyxs Dokumentation ist eindeutig, dass ein custom Provider funktioniert, solange er OpenAI-kompatible Endpoints exponiert, und die Beispiel-Base-URL-Form ist exakt eine Gateway-Form, https://yourprovider.com/v1. Der Ablauf: öffne das Admin Panel über dein Profil-Icon, geh zu Configuration, dann Language Models, und wähle Add Custom LLM Provider. Vier Entscheidungen zählen in diesem Formular. Display Name ist kosmetisch. Provider Name muss zu einem LiteLLM-Provider-Key passen, weil Onyx Model-Calls darunter über LiteLLM routet; für ein OpenAI-kompatibles Gateway ist das openai. Base URL ist der Gateway-Endpoint inklusive /v1-Suffix. Und der Abschnitt Model Configurations ist, wo du jede Model-ID registrierst, die verfügbar sein soll, exakt so geschrieben, wie der Katalog sie bedient. Speichern, einen Default wählen, und Chats routen sofort über das Gateway.

Admin Panel -> Configuration -> Language Models
  -> Add Custom LLM Provider

Display Name:   APIsRouter
Provider Name:  openai            (LiteLLM provider key)
Base URL:       https://api.apisrouter.com/v1
API Key:        sk-YOUR-APISROUTER-KEY
Model Configurations:
  claude-sonnet-4-6
  claude-haiku-4-5-20251001
  deepseek-v4-pro

Wo das LLM in Onyxs Architektur sitzt.

Onyx (onyx-dot-app auf GitHub, rund 31.000 Stars, früher Danswer) ist eine Open-Source-AI-Plattform für Unternehmenswissen: sie indiziert Quellen wie Slack, Google Drive, Confluence und Dutzende weitere Connectoren, beantwortet dann Fragen darüber über eine Chat-UI, Assistants und Agent-Workflows. Es ist einer der meistdeployten self-hosted Enterprise-Search-Stacks, genau weshalb seine LLM-Rechnung eine Routing-Entscheidung statt eines Defaults verdient. Die Pipeline teilt sich sauber in zwei. Indizierung und Retrieval, inklusive Dokument-Embedding und Reranking, laufen standardmäßig auf Onyxs eigenem Model-Server mit lokalen Modellen; nichts davon berührt deinen LLM-Provider. Antwortgenerierung ist die andere Hälfte: hat das Retrieval die relevanten Passagen zusammengestellt, liest ein LLM sie und schreibt die verankerte Antwort, und dieser Call geht über LiteLLM zu welchem Provider auch immer der Admin konfiguriert hat. Der Custom-Provider-Ablauf tauscht das Ziel genau dieser Hälfte. Weil LiteLLM die Model-ID als reinen String an einen openai-Typ-Provider weiterreicht, können die in Model Configurations registrierten IDs alles sein, was der Endpoint hinter der Base URL bedient: Claude für sorgfältige verankerte Antworten, DeepSeek für Volumen, Gemini für sehr lange Quellenkontexte. Verschiedene Assistants können auf verschiedene Modelle defaulten, sodass ein Support-Assistant und ein Engineering-Assistant über denselben Provider-Eintrag verschiedene Preispunkte fahren können.

Vollständiges Setup, und was unangetastet bleibt.

Das Provider-Formular ist die ganze Integration; es gibt keine Config-Datei zu bearbeiten oder einen Container dafür neu zu bauen. Setze nach dem Speichern das Default-Modell für den Workspace, und überschreibe optional das Modell pro Assistant, wo du unterschiedliche Qualitätsstufen willst. Was bewusst unangetastet bleibt: Connectoren behalten ihre eigenen Credentials, der Index ist unbeeinflusst, und das für die Suche konfigurierte Embedding-Modell bewegt sich nicht. Diese Trennung lohnt es sich auszusprechen, weil sie diese Änderung risikoarm macht. Würde sich das Gateway falsch verhalten, würden Suche und Quellen weiter funktionieren; nur die Antwortgenerierung würde Fehler werfen, und den Default zurückzusetzen auf einen vorherigen Provider ist ein Dropdown. Für Teams, die Deployments automatisieren, kann dieselbe Provider-Definition über Onyxs API geseedet statt durch die UI geklickt werden, aber der Admin-Panel-Pfad ist die dokumentierte und stabile Fläche, und ein einmaliges Setup rechtfertigt selten mehr.

# confirm the gateway lists the ids you plan to register
curl -s https://api.apisrouter.com/v1/models \
  -H "Authorization: Bearer $APISROUTER_API_KEY" | head -50

# confirm a chat completion works end to end
curl -s https://api.apisrouter.com/v1/chat/completions \
  -H "Authorization: Bearer $APISROUTER_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"claude-sonnet-4-6",
       "messages":[{"role":"user","content":"ping"}]}'

Modelle für verankerte Enterprise-Antworten wählen.

Modell-Evaluation in Onyx ist ungewöhnlich konkret: stell dieselbe Frage gegen dieselben Connectoren mit zwei verschiedenen Assistant-Defaults und vergleiche, welche Antwort die richtigen Passagen zitiert. Das Nutzungslog pro Key bepreist beide Kandidaten an deinem echten Frage-Mix.

• Verankertes Antworten ist input-lastig: das Modell liest abgerufene Passagen, die die Antwort, die es schreibt, überragen. Der Preis pro Input-Token setzt daher deine Kosten pro Frage mehr als der Output-Preis.
• claude-sonnet-4-6 ist ein starker Workspace-Default: diszipliniert darin, innerhalb der abgerufenen Quellen zu bleiben, und resistent dagegen, Richtlinien zu erfinden, die nicht in den Dokumenten stehen.
• High-Traffic-Assistants (IT-Helpdesk, HR-FAQ) laufen gut auf claude-haiku-4-5-20251001 oder deepseek-v4-pro, wo Volumenpreise die Kosten pro Sitz vorhersagbar halten.
• Lange Quellendokumente begünstigen Long-Context-IDs; gemini-3.1-pro-preview lohnt einen Test für Assistants, die große Design-Docs oder Verträge in den Kontext ziehen.
• Registriere mehrere IDs in einem Provider-Eintrag und weise sie pro Assistant zu. Qualitätsstufen pro Team schlagen ein globales Kompromissmodell.

Nutzungsbasiert · unter offiziellem Preis

Selected models are priced below official list prices. Exact input, output, cache, and per-request prices are shown for each model.

Fehlerbilder speziell für Onyx.

Provider Name ist kein Freitext-Label. Es muss zu einem LiteLLM-Provider-Key passen, und für ein Gateway ist dieser Key openai. Ein erfundener Name scheitert zur Request-Zeit mit einem LiteLLM-Provider-Fehler, obwohl das Formular anstandslos gespeichert hat. Die Base URL will das /v1-Suffix. Onyxs eigene Dokumentation zeigt Endpoint-Formen, die mit /v1 enden; ohne es löst sich der Chat-Completions-Pfad falsch auf, und Requests bekommen am Gateway 404. Model-IDs leben in Model Configurations. Ein dort nie registriertes Modell kann nicht als Default gewählt werden, und ein Tippfehler in einer registrierten ID zeigt sich bei erster Nutzung, nicht beim Speichern, als model-not-found-Fehler. Die /v1/models-Liste des Gateways ist die maßgebliche Schreibweise. Fehlt in deiner Admin-UI das Base-URL-Feld im Custom-Models-Formular, hast du auf eine gemeldete UI-Regression in manchen 2026er-Releases getroffen, kein fehlendes Feature; ein Upgrade stellt das Feld wieder her. Und denk daran, welche Hälfte du bewegt hast: sehen Suchergebnisse falsch oder veraltet aus, liegt das an Indizierung und Connectoren, die den custom Provider nie berühren. Nur generierte Antworten routen über das Gateway.

Wer Onyx über ein Gateway routet.

• Self-hosted Teams, die Per-Vendor-Konten durch einen Endpoint, einen Key und Nutzung pro Key ersetzen, die sauber auf einen Workspace oder eine Abteilung abbilden.
• Unternehmen, die sich auf Onyx für interne Suche standardisiert haben und Claude-Qualität verankerte Antworten ohne separate Anthropic-Billing-Beziehung wollen.
• Platform-Teams, die mehrere Assistants auf verschiedenen Qualitätsstufen betreiben, bepreist pro Assistant über registrierte Model-IDs auf einem Provider.
• Evaluatoren, die Antwortqualität über Modellfamilien an identischen Korpora vergleichen, wo jeder Kandidat eine registrierte ID statt einer neuen Provider-Integration ist.
• Entwickler ohne Zugang zum Billing eines bestimmten Vendors. Guthabenbasierter Zugang ohne Kartenpflicht entfernt die Sign-up-Abhängigkeit pro Provider.

Endpoint verifizieren und den ersten Chat debuggen.

Die zwei curl-Checks oben decken die Gateway-Hälfte ab, bevor du das Formular anfasst: die IDs, die du registrieren willst, müssen in /v1/models erscheinen, und eine direkte Chat Completion sollte antworten. In Onyx lassen sich Fehler schnell verorten. Ein Provider-Fehler, der LiteLLM nennt, bedeutet, Provider Name ist kein gültiger Key; setze ihn auf openai. Ein Authentifizierungsfehler beim ersten Chat bedeutet, der API Key gehört nicht zum Endpoint in Base URL. Ein model-not-found-Fehler ist ein ID-Mismatch zwischen Model Configurations und dem Katalog. Antworten, die generieren, aber deine Dokumente ignorieren, sind ein Retrieval- oder Connector-Problem, dem LLM-Provider vorgelagert. Sobald Chats laufen, zeigt die APIsRouter-Konsole Modell, Token-Zahlen und Ausgaben pro Anfrage. Für ein Workspace-Tool, wo jede Frage abgerufenen Kontext trägt, ist diese Token-Zahl pro Frage die ehrliche Basis für Kapazitätsplanung, und ein Key pro Workspace macht das Nutzungslog zum Kostenreport auf Abteilungsebene.

Häufige Fragen