FastGPT-Apps auf einer custom OpenAI-kompatiblen Base URL betreiben.

Kurzantwort: ein Channel auf der Seite Model Providers.

Seit v4.8.23 liefert FastGPT eine eigene Model-Aggregation-Schicht (AI Proxy) und eine Model-Konfigurations-UI, sodass ein custom Endpoint kein separates OneAPI-Deployment oder handbearbeitetes config.json mehr braucht. Öffne Account, dann Model Providers, wechsle zum Tab Model Channels, und klicke auf Add Channel. Setze den Protocol Type auf OpenAI, benenne den Channel, trag https://api.apisrouter.com/v1 in das Feld Proxy-Adresse ein (die Base URL, nicht der volle Request-Pfad), füge deinen Key ein, und wähle oder tippe die Model-IDs, die der Channel bedienen soll. Aktiviere zurück auf dem Models-Tab die hinzugefügten IDs und führe den eingebauten Connectivity-Test aus. Ab dann kann jede FastGPT-App, Knowledge Base und jeder Workflow-Node diese Modelle wählen. Die Docs sind zweisprachig und Labels verschieben sich zwischen Releases (doc.fastgpt.io ist der englische Einstieg), also behandle den Ablauf, Channel, Protocol, Base URL, Key, Modelle, als den stabilen Teil, nicht den exakten Wortlaut.

Channel Name:   APIsRouter
Protocol Type:  OpenAI
Proxy URL:      https://api.apisrouter.com/v1
API Key:        sk-YOUR-APISROUTER-KEY
Models:         claude-sonnet-4-6, deepseek-v4-flash,
                glm-5.2, qwen3.7-plus, kimi-k2.6

then: enable the models + run the connection test

Wie FastGPT Modell-Traffic routet.

FastGPT (labring auf GitHub, rund 29.000 Stars) ist eine chinesische Knowledge-Base- und Workflow-Plattform: Datasets mit QA-Extraktion und Vektor-Suche, visuelle Flow-Orchestrierung, und veröffentlichte Apps mit Sharing und API-Zugang. All das löst sich zu Modellen auf, die in der Konfigurationsschicht registriert sind. Ein Channel ist eine Routing-Regel: diese Model-IDs, diese Base URL, dieser Key. Requests verlassen FastGPT als Standard-Chat-Completions mit der Model-ID als reinem String, weshalb ein Multi-Vendor-Gateway als ein einzelner Channel passt. Die Channel-Schicht trägt zudem operative Features, die du sonst selbst bauen müsstest: ein Modell kann für Lastverteilung in mehreren Channels leben, und Model Mapping lässt FastGPT einen Namen nach außen zeigen, während es dem Provider einen anderen ID-String schickt. Für Self-Hoster auf älteren Versionen existiert die direkte Verdrahtung weiterhin: FastGPTs klassisches Umgebungsvariablen-Paar zeigt die Plattform auf jede OpenAI-kompatible Base, OPENAI_BASE_URL und CHAT_API_KEY in der docker-compose-Umgebung, mit Modellen, deklariert in config.json unter llmModels. Es funktioniert, aber die UI ist, wohin das Projekt sich bewegt hat, und neue Deployments sollten dort starten.

Der Asien-Winkel: ein Guthaben für beide Modellwelten.

FastGPTs Nutzerbasis ist stark chinesischsprachig, und typische Deployments mischen regionale Modelle mit westlichen: GLM oder Qwen für chinesische Knowledge Bases, DeepSeek für Volumen, Claude oder GPT, wo Antwort-Politur zählt. Direkt bedient bedeutet dieser Mix Konten bei Zhipu, Alibaba, DeepSeek, Anthropic und OpenAI, jedes mit eigenem Billing, manche von der einen oder anderen Seite der Welt aus schwer zu bezahlen. Über einen Channel ist der Mix nur mehr Add-Channel-Dialoge: glm-5.2, qwen3.7-plus, kimi-k2.6, deepseek-v4-flash und claude-haiku-4-5-20251001 nebeneinander, ein Prepaid-Guthaben, keine Kartenpflicht, IDs direkt aus dem Katalog. Teams in Asien bekommen Claude und GPT ohne westliche Karte; westliche Teams bekommen die chinesischen Modelle ohne regionale Anmeldungen. Dieselbe Knowledge Base kann chinesische Anfragen auf GLM und englische auf Claude beantworten, geroutet pro App. Betreibst du stattdessen die Legacy-Umgebungsvariablen-Verdrahtung, passt derselbe Endpoint direkt hinein; die Base-URL-Konvention schließt das /v1-Suffix ein, und FastGPT hängt Routenpfade wie /chat/completions daran an.

# docker-compose environment, pre-AI-Proxy versions
OPENAI_BASE_URL=https://api.apisrouter.com/v1
CHAT_API_KEY=sk-YOUR-APISROUTER-KEY
# models declared in config.json under llmModels

Modelle für Knowledge Bases und Flows wählen.

Weil jede aktivierte ID über einen Key abrechnet, ist Modellvergleich eine Node-Einstellungs-Änderung. Pinn zwei Kandidaten in zwei Kopien derselben App, lass eine Woche echter Fragen laufen, und lies den Per-Modell-Split in der APIsRouter-Konsole neben deinem eigenen Urteil zur Antwortqualität.

• Dataset-QA und Antwortgenerierung über abgerufene Chunks sind Volumenarbeit: deepseek-v4-flash und glm-5.2 halten die Kosten pro Frage auf zweisprachigen Korpora flach.
• qwen3.7-plus und kimi-k2.6 sind die regionalen Kandidaten, die es zu testen lohnt, wenn Antworten nativ auf Chinesisch klingen müssen; Qualitätsunterschiede zwischen chinesischen Modellen zeigen sich stärker in der Generierung als im Retrieval.
• claude-haiku-4-5-20251001 ist die schnelle westliche Stufe für gemischtsprachige Deployments; steig in den spezifischen Apps, wo Synthesequalität das Produkt ist, auf claude-sonnet-4-6 hoch.
• Workflow-Nodes feuern pro Run, also vervielfacht ein Fünf-Node-Flow, was immer in jedem Node sitzt; setze schnelle IDs in Klassifizierungs- und Routing-Nodes, und Ausgaben in den Antwort-Node.
• Index- und Extraktionsmodelle werden separat von Chat-Modellen konfiguriert; bestätige, dass der Endpoint jede Embedding-ID, die du bindest, tatsächlich bedient, bevor du einen Index darauf neu aufbaust.

Nutzungsbasiert · unter offiziellem Preis

Selected models are priced below official list prices. Exact input, output, cache, and per-request prices are shown for each model.

Fehlerbilder speziell für FastGPT.

Die Base-URL-Konvention stolpert Leute, die von anderen Tools kommen: FastGPT erwartet die /v1-suffixierte Base im Proxy-Feld und hängt /chat/completions selbst an, während sein Custom-Model-Formular (ein anderes Feature, für Einzelmodelle, die Channels umgehen) die volle Request-URL inklusive /v1/chat/completions will. Wisse, in welchem Feld du bist, bevor du einfügst. Ein Modell, das im Channel existiert, aber in Apps nicht wählbar ist, wurde dem Channel hinzugefügt, aber auf der Modell-Seite der Konfiguration nicht aktiviert; die zwei Listen sind getrennt, und der Connectivity-Test beweist nur den Channel. Alte Tutorials sind das größte Risiko. Jahre an FastGPT-Guides nehmen einen OneAPI-Sidecar und config.json-Edits an; auf aktuellen Versionen ersetzt die Model-Providers-UI beide, und beide Ansätze zu mischen (Env-Verdrahtung plus Channels) leitet Requests irgendwohin, wo du nicht hinschaust. Wähle eine Schicht und konfiguriere sie vollständig. Model-not-found-Fehler sind das übliche Freitext-Problem: die ID im Channel muss exakt zur /v1/models-Schreibweise des Gateways passen, Versions-Suffixe eingeschlossen. Kopieren, nicht tippen.

Wer FastGPT über ein Gateway routet.

• Zweisprachige Teams, die GLM, Qwen, Kimi und DeepSeek mit Claude- und GPT-IDs in einem Deployment mischen, ein Guthaben, ein Nutzungslog.
• Teams in Asien, die westliche Frontier-Modelle auf einem Prepaid-Guthaben ohne westliche Karte wollen, und westliche Teams, die chinesische Modelle ohne regionales Billing wollen.
• Self-Hoster, die einen OneAPI-Sidecar ersetzen: das Gateway bedient den Multi-Vendor-Teil, FastGPTs eingebaute Channels den Routing-Teil.
• Agenturen, die Client-Knowledge-Bases auf FastGPT betreiben und jeden Client mit eigenem Key messen, sodass sich Modell-Spend pro Projekt selbst berichtet.
• Builder, die Antwortmodelle auf festen Korpora vergleichen, wo jeder Kandidat ein Channel-Eintrag statt eines Vendor-Kontos ist.

Endpoint verifizieren und die erste Frage debuggen.

Curle zuerst die Modell-Liste und kopiere IDs aus der Ausgabe in den Channel; führe dann eine Chat Completion gegen die ID aus, die du als Default vorsiehst. Bestehen beide, ist die Gateway-Hälfte bewiesen. Nutze in FastGPT den Channel-Connectivity-Test, dann stell eine Frage in einer minimalen App, bevor du Datasets einbeziehst. Authentifizierungsfehler verweisen auf den Channel-Key; Not-found auf ID-Schreibweise; Connection-Fehler auf die Proxy-URL oder Container-Egress, da es der FastGPT-Server ist, der den Endpoint erreichen muss. Scheitert eine Dataset-App, wo eine reine Chat-App funktioniert, liegt das Problem in den eigenen Model-Bindings des Datasets, nicht im Channel. Sobald Fragen laufen, zeigt die APIsRouter-Konsole Modell, Token-Zahlen und Ausgaben pro Anfrage. Knowledge-Base-Traffic besteht aus vielen kleinen, input-lastigen Requests, und die Nutzungsansicht pro Key ist, wo das reale Kostenprofil eines Deployments sichtbar wird, pro Modell, pro Tag, chinesische und westliche IDs auf einer Seite.

curl -s https://api.apisrouter.com/v1/models \
  -H "Authorization: Bearer $APISROUTER_API_KEY" | head -50

curl -s https://api.apisrouter.com/v1/chat/completions \
  -H "Authorization: Bearer $APISROUTER_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"glm-5.2",
       "messages":[{"role":"user","content":"ping"}]}'

Häufige Fragen