Patakbuhin ang Onyx sa isang custom OpenAI-compatible LLM provider.

Mabilisang sagot: Add Custom LLM Provider sa admin panel.

Malinaw ang dokumentasyon ng Onyx na gumagana ang isang custom provider hangga't naglalantad ito ng mga OpenAI-compatible na endpoint, at ang halimbawa nitong hugis ng Base URL ay eksaktong isang gateway-style na https://yourprovider.com/v1. Ang flow: buksan ang Admin Panel mula sa profile icon mo, pumunta sa Configuration, pagkatapos ay Language Models, at piliin ang Add Custom LLM Provider. Apat na desisyon ang mahalaga sa form na iyon. Kosmetiko ang Display Name. Dapat tumugma ang Provider Name sa isang key ng LiteLLM provider, dahil niruruta ng Onyx ang mga tawag sa model sa pamamagitan ng LiteLLM sa ilalim; para sa isang OpenAI-compatible na gateway, ito ay openai. Ang Base URL ay ang gateway endpoint kasama ang /v1 suffix. At ang Model Configurations section ang lugar kung saan mo ire-register ang bawat model id na gusto mong maabot, na binabaybay nang eksakto kung paano ito si-serve ng katalogo. I-save, pumili ng default, at agad na niruruta ng mga chat ang tawag sa pamamagitan ng gateway.

Admin Panel -> Configuration -> Language Models
  -> Add Custom LLM Provider

Display Name:   APIsRouter
Provider Name:  openai            (LiteLLM provider key)
Base URL:       https://api.apisrouter.com/v1
API Key:        sk-YOUR-APISROUTER-KEY
Model Configurations:
  claude-sonnet-4-6
  claude-haiku-4-5-20251001
  deepseek-v4-pro

Kung saan naninirahan ang LLM sa architecture ng Onyx.

Ang Onyx (onyx-dot-app sa GitHub, humigit-kumulang 31K stars, dating Danswer) ay isang open-source na AI platform para sa kaalaman ng kompanya: ini-index nito ang mga source tulad ng Slack, Google Drive, Confluence, at dose-dosenang ibang connector, pagkatapos ay sumasagot ng mga tanong sa kanila sa pamamagitan ng isang chat UI, mga assistant, at agent workflows. Isa ito sa mga pinaka-na-deploy na self-hosted na enterprise search stack, kung kaya't karapat-dapat ang bill nito sa LLM sa isang desisyon sa routing sa halip na isang default. Malinaw na nahahati ang pipeline sa dalawa. Tumatakbo ang indexing at retrieval, kasama ang document embedding at reranking, sa sariling model server ng Onyx gamit ang mga local model bilang default; wala sa mga iyon ang humihipo sa LLM provider mo. Ang generation ng sagot ang kabilang kalahati: kapag naipon na ng retrieval ang mga kaugnay na sipi, binabasa ito ng isang LLM at isinusulat ang naka-ground na sagot, at ang tawag na iyon ay dumadaan sa LiteLLM patungo sa anumang provider na ni-configure ng admin. Ipinapalit ng custom provider flow ang destinasyon ng eksaktong kalahating iyon. Dahil ipinapasa ng LiteLLM ang model id bilang plain string sa isang openai-type na provider, ang mga id na ire-register mo sa Model Configurations ay maaaring anumang si-serve ng endpoint sa likod ng Base URL: Claude para sa maingat na naka-ground na sagot, DeepSeek para sa volume, Gemini para sa napakahabang source context. Maaaring mag-default sa magkaibang model ang magkaibang assistant, kaya maaaring sumakay ang isang support assistant at engineering assistant sa magkaibang price point sa parehong provider entry.

Buong setup, at ang nananatiling hindi nagagalaw.

Ang provider form ang buong integration; walang config file na ie-edit o container na ibi-rebuild para dito. Pagkatapos i-save, itakda ang default model para sa workspace, at opsyonal na i-override ang model per assistant kung saan gusto mo ng magkaibang quality tier. Ang sinasadyang hindi nagagalaw: pinapanatili ng mga connector ang sarili nilang credentials, hindi naaapektuhan ang index, at hindi gumagalaw ang embedding model na na-configure para sa search. Sulit sabihin ang paghihiwalay na iyon dahil ginagawa nitong low-risk na pagbabago ito. Kung kumilos nang hindi maayos ang gateway, gagana pa rin ang search at sources; ang generation ng sagot lamang ang magkakaroon ng error, at isang dropdown lamang ang pagbalik sa dating provider. Para sa mga team na nag-a-automate ng deployment, maaaring i-seed ang parehong provider definition sa pamamagitan ng API ng Onyx sa halip na i-click sa UI, pero ang path ng admin panel ang naka-document at matatag na surface, at bihirang katwirin ng one-time na setup ang higit pa.

# confirm the gateway lists the ids you plan to register
curl -s https://api.apisrouter.com/v1/models \
  -H "Authorization: Bearer $APISROUTER_API_KEY" | head -50

# confirm a chat completion works end to end
curl -s https://api.apisrouter.com/v1/chat/completions \
  -H "Authorization: Bearer $APISROUTER_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"claude-sonnet-4-6",
       "messages":[{"role":"user","content":"ping"}]}'

Pagpili ng mga model para sa naka-ground na sagot ng enterprise.

Kakaibang concrete ang model evaluation sa loob ng Onyx: itanong ang parehong tanong laban sa parehong mga connector gamit ang dalawang magkaibang default ng assistant at ihambing kung aling sagot ang nagbabanggit ng tamang sipi. Pinepresyuhan ng per-key usage log ang dalawang kandidato sa tunay mong pagsasanib ng tanong.

• Input-heavy ang naka-ground na pagsagot: binabasa ng model ang retrieved na sipi na mas malaki kaysa sa sagot na isinusulat nito. Dahil dito, ang presyo per input token ang nagtatakda ng gastos per tanong kaysa sa presyo ng output.
• Isang malakas na default sa workspace ang claude-sonnet-4-6: disiplinado sa pananatili sa loob ng retrieved sources at lumalaban sa pag-imbento ng patakarang wala sa mga dokumento.
• Gumagana nang maayos ang mga high-traffic na assistant (IT helpdesk, HR FAQ) sa claude-haiku-4-5-20251001 o deepseek-v4-pro, kung saan pinapanatiling patag ng volume pricing ang gastos per upuan.
• Pumapabor ang mahahabang source document sa mga long-context na id; sulit subukan ang gemini-3.1-pro-preview para sa mga assistant na kumukuha ng malalaking design doc o kontrata sa context.
• Magparehistro ng ilang id sa isang provider entry at i-assign per assistant. Mas mahusay ang mga quality tier per team kaysa sa isang global na kompromiso na model.

Pay-as-you-go · mas mababa sa opisyal na presyo

Selected models are priced below official list prices. Exact input, output, cache, and per-request prices are shown for each model.

Mga failure mode na specific sa Onyx.

Hindi libreng-text na label ang Provider Name. Dapat itong tumugma sa isang key ng LiteLLM provider, at para sa isang gateway, ang key na iyon ay openai. Nabibigo ang isang gawa-gawang pangalan sa oras ng request na may error ng LiteLLM provider kahit na maayos na na-save ang form. Gusto ng Base URL ang /v1 suffix. Ipinapakita ng sariling dokumentasyon ng Onyx ang mga hugis ng endpoint na nagtatapos sa /v1; kung wala ito, mali ang nire-resolve na chat-completions path at nagbibigay ng 404 ang mga request sa gateway. Naninirahan sa Model Configurations ang mga model id. Ang isang model na hindi mo doon na-register ay hindi mapipili bilang default, at ang isang typo sa isang na-register na id ay lumilitaw bilang model-not-found na error sa unang paggamit, hindi sa oras ng pag-save. Ang listahan ng /v1/models ng gateway ang authoritative na baybay. Kung nawawala ang Base URL field sa custom-models form ng admin UI mo, natamaan mo ang isang naiulat na UI regression sa ilang release ng 2026 sa halip na isang nawawalang feature; ibinabalik ng pag-upgrade ang field. At tandaan kung aling kalahati ang inilipat mo: kung mukhang mali o luma ang mga search result, iyon ay ang indexing at connectors, na kailanman hindi humihipo sa custom provider. Ang mga sagot na na-generate lamang ang niruruta sa pamamagitan ng gateway.

Sino ang nagru-route ng Onyx sa pamamagitan ng isang gateway.

• Mga self-hosted na team na pumapalit sa per-vendor na mga account ng isang endpoint, isang key, at per-key usage na malinis na nakakabit sa isang workspace o departamento.
• Mga enterprise na naka-standardize sa Onyx para sa internal search at gustong makuha ang Claude-quality na naka-ground na sagot nang walang hiwalay na relasyon sa billing ng Anthropic.
• Mga platform team na nagpapatakbo ng ilang assistant sa magkaibang quality tier, pinresyuhan per assistant sa pamamagitan ng mga na-register na model id sa isang provider.
• Mga evaluator na naghahambing ng kalidad ng sagot sa iba't ibang model family sa magkatulad na corpora, kung saan ang bawat kandidato ay isang na-register na id sa halip na isang bagong integration ng provider.
• Mga developer na walang access sa billing ng isang partikular na vendor. Ang top-up based na access na walang kailangang card ay inaalis ang per-provider na sign-up dependency.

I-verify ang endpoint at i-debug ang unang chat.

Sinasaklaw ng dalawang curl check sa itaas ang kalahati ng gateway bago mo hipuin ang form: dapat lumitaw sa /v1/models ang mga id na balak mong i-register, at dapat sumagot ang isang direktang chat completion. Sa loob ng Onyx, mabilis na nakakabit ang mga kabiguan. Ang isang provider error na binabanggit ang LiteLLM ay nangangahulugang hindi valid na key ang Provider Name; itakda ito sa openai. Ang isang authentication error sa unang chat ay nangangahulugang hindi kabilang ang API Key sa endpoint sa Base URL. Ang isang model-not-found na error ay isang hindi pagkakatugma ng id sa pagitan ng Model Configurations at ng katalogo. Ang mga sagot na nagagawa pero binabalewala ang mga dokumento mo ay isang isyu sa retrieval o connector, bago pa ang LLM provider. Kapag dumadaloy na ang mga chat, ipinapakita ng APIsRouter console ang per-request na model, token counts, at gastos. Para sa isang tool ng workspace kung saan bawat tanong ay nagdadala ng retrieved context, ang numerong iyon ng token per tanong ang tapat na batayan para sa capacity planning, at ang isang key per workspace ay ginagawang department-level na cost report ang usage log.

Mga madalas itanong