Jalankan Onyx pada penyedia LLM serasi OpenAI custom.

Jawapan pantas: Add Custom LLM Provider dalam panel admin.

Dokumentasi Onyx jelas menyatakan bahawa penyedia custom berfungsi selagi ia mendedahkan endpoint serasi OpenAI, dan bentuk contoh Base URL-nya tepat gaya gateway https://yourprovider.com/v1. Flow itu: buka Admin Panel daripada ikon profil anda, pergi ke Configuration, kemudian Language Models, dan pilih Add Custom LLM Provider. Empat keputusan penting dalam borang itu. Display Name adalah kosmetik. Provider Name mesti sepadan dengan kunci penyedia LiteLLM, kerana Onyx menghalakan panggilan model melalui LiteLLM di sebalik tabir; untuk gateway serasi OpenAI itu ialah openai. Base URL ialah endpoint gateway termasuk akhiran /v1. Dan bahagian Model Configurations adalah tempat anda mendaftarkan setiap id model yang anda mahu tersedia, dieja tepat seperti dilayani katalog. Simpan, pilih lalai, dan sembang menghalakan melalui gateway serta-merta.

Admin Panel -> Configuration -> Language Models
  -> Add Custom LLM Provider

Display Name:   APIsRouter
Provider Name:  openai            (LiteLLM provider key)
Base URL:       https://api.apisrouter.com/v1
API Key:        sk-YOUR-APISROUTER-KEY
Model Configurations:
  claude-sonnet-4-6
  claude-haiku-4-5-20251001
  deepseek-v4-pro

Di mana LLM duduk dalam seni bina Onyx.

Onyx (onyx-dot-app di GitHub, lebih kurang 31K bintang, sebelum ini Danswer) ialah platform AI sumber terbuka untuk pengetahuan syarikat: ia mengindeks sumber seperti Slack, Google Drive, Confluence, dan berpuluh connector lain, kemudian menjawab soalan atasnya melalui UI sembang, assistant, dan workflow agent. Ia adalah salah satu stack carian enterprise self-hosted yang paling banyak dideploy, itulah tepat sebab bil LLM-nya wajar mendapat keputusan penghalaan dan bukan lalai. Pipeline itu terbahagi bersih kepada dua. Pengindeksan dan retrieval, termasuk embedding dokumen dan reranking, berjalan pada pelayan model Onyx sendiri dengan model tempatan secara lalai; tiada satu pun daripada itu menyentuh penyedia LLM anda. Penjanaan jawapan adalah separuh yang lain: sebaik sahaja retrieval menghimpun petikan berkaitan, LLM membacanya dan menulis respons yang berasaskan, dan panggilan itu pergi melalui LiteLLM ke mana-mana penyedia yang dikonfigurasikan admin. Flow penyedia custom menukar destinasi tepat separuh ini. Kerana LiteLLM meneruskan id model sebagai rentetan biasa kepada penyedia jenis openai, id yang anda daftarkan dalam Model Configurations boleh menjadi apa sahaja yang dilayani endpoint di sebalik Base URL: Claude untuk jawapan berasaskan yang teliti, DeepSeek untuk volum, Gemini untuk konteks sumber yang sangat panjang. Assistant berbeza boleh melalai kepada model berbeza, jadi assistant sokongan dan assistant kejuruteraan boleh menaiki titik harga berbeza melalui entri penyedia yang sama.

Persediaan penuh, dan apa yang kekal tidak disentuh.

Borang penyedia adalah keseluruhan integrasi; tiada fail config untuk disunting atau kontainer untuk dibina semula. Selepas menyimpan, tetapkan model lalai untuk workspace, dan secara pilihan atasi model per assistant di mana anda mahukan tahap kualiti berbeza. Apa yang sengaja kekal tidak disentuh: connector mengekalkan kelayakan mereka sendiri, indeks tidak terjejas, dan embedding model yang dikonfigurasikan untuk carian tidak berpindah. Pemisahan itu berbaloi dijelaskan kerana ia menjadikan ini perubahan berisiko rendah. Jika gateway berkelakuan tidak sepatutnya, carian dan sumber masih akan berfungsi; hanya penjanaan jawapan akan memberi ralat, dan menukar lalai kembali kepada penyedia sebelumnya adalah satu dropdown. Bagi pasukan yang mengautomasikan deployment, takrifan penyedia yang sama boleh disemai melalui API Onyx dan bukan diklik melalui UI, tetapi laluan panel admin adalah permukaan yang didokumentasikan dan stabil, dan persediaan sekali sahaja jarang mewajarkan lebih daripada itu.

# confirm the gateway lists the ids you plan to register
curl -s https://api.apisrouter.com/v1/models \
  -H "Authorization: Bearer $APISROUTER_API_KEY" | head -50

# confirm a chat completion works end to end
curl -s https://api.apisrouter.com/v1/chat/completions \
  -H "Authorization: Bearer $APISROUTER_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"claude-sonnet-4-6",
       "messages":[{"role":"user","content":"ping"}]}'

Memilih model untuk jawapan enterprise berasaskan.

Penilaian model dalam Onyx adalah luar biasa konkrit: tanya soalan yang sama terhadap connector yang sama dengan dua lalai assistant berbeza dan bandingkan jawapan mana yang memetik petikan yang betul. Log penggunaan per-kunci menilai harga kedua-dua calon atas campuran soalan sebenar anda.

• Menjawab berasaskan adalah berat input: model membaca petikan yang diambil yang mengatasi jawapan yang ditulisnya dari segi saiz. Harga per-token-input dengan itu menetapkan kos per soalan anda lebih daripada harga output.
• claude-sonnet-4-6 ialah lalai workspace yang kuat: berdisiplin tentang kekal dalam sumber yang diambil dan tahan terhadap mereka-reka polisi yang tiada dalam dokumen.
• Assistant trafik tinggi (helpdesk IT, FAQ HR) berjalan baik pada claude-haiku-4-5-20251001 atau deepseek-v4-pro, di mana harga volum mengekalkan kos per-seat boleh diramal.
• Dokumen sumber panjang memihak kepada id konteks-panjang; gemini-3.1-pro-preview berbaloi diuji untuk assistant yang menarik dokumen reka bentuk besar atau kontrak ke dalam konteks.
• Daftarkan beberapa id dalam satu entri penyedia dan tetapkan per assistant. Tahap kualiti per pasukan mengatasi satu model kompromi global.

Bayar mengikut penggunaan · bawah harga rasmi

Selected models are priced below official list prices. Exact input, output, cache, and per-request prices are shown for each model.

Mod kegagalan khusus Onyx.

Provider Name bukan label teks bebas. Ia mesti sepadan dengan kunci penyedia LiteLLM, dan untuk gateway kunci itu ialah openai. Nama rekaan gagal pada masa permintaan dengan ralat penyedia LiteLLM walaupun borang disimpan dengan baik. Base URL mahukan akhiran /v1. Dokumentasi Onyx sendiri menunjukkan bentuk endpoint berakhir dengan /v1; tanpanya, laluan chat-completions diselesaikan secara salah dan permintaan menyebabkan 404 pada gateway. Id model wujud dalam Model Configurations. Model yang tidak pernah anda daftarkan di sana tidak boleh dipilih sebagai lalai, dan kesilapan taip dalam id berdaftar muncul sebagai ralat model-not-found pada penggunaan pertama, bukan pada masa simpan. Senarai /v1/models gateway adalah ejaan berwibawa. Jika UI admin anda hilang medan Base URL pada borang custom-models, anda menemui regresi UI yang dilaporkan dalam sesetengah keluaran 2026 dan bukan ciri yang hilang; naik taraf memulihkan medan itu. Dan ingat separuh mana yang anda pindahkan: jika hasil carian kelihatan salah atau basi, itu adalah pengindeksan dan connector, yang tidak pernah menyentuh penyedia custom. Hanya jawapan yang dijana menghalakan melalui gateway.

Siapa yang menghalakan Onyx melalui gateway.

• Pasukan self-hosted yang menggantikan akaun per-vendor dengan satu endpoint, satu kunci, dan penggunaan per-kunci yang memetakan dengan bersih kepada workspace atau jabatan.
• Enterprise yang menyeragamkan Onyx untuk carian dalaman dan mahukan jawapan berasaskan berkualiti Claude tanpa hubungan pengebilan Anthropic yang berasingan.
• Pasukan platform yang menjalankan beberapa assistant pada tahap kualiti berbeza, dihargakan per assistant melalui id model berdaftar pada satu penyedia.
• Penilai yang membandingkan kualiti jawapan merentasi keluarga model atas korpus yang sama, di mana setiap calon adalah id berdaftar dan bukan integrasi penyedia baharu.
• Pembangun tanpa akses kepada pengebilan vendor tertentu. Akses berasaskan top-up tanpa keperluan kad menghapuskan kebergantungan pendaftaran setiap penyedia.

Sahkan endpoint dan nyahpepijat sembang pertama.

Dua semakan curl di atas merangkumi separuh gateway sebelum anda menyentuh borang: id yang anda rancang daftarkan mesti muncul dalam /v1/models, dan chat completion langsung patut menjawab. Dalam Onyx, kegagalan disetempatkan dengan pantas. Ralat penyedia yang menyebut LiteLLM bermaksud Provider Name bukan kunci sah; tetapkannya kepada openai. Ralat pengesahan pada sembang pertama bermaksud API Key tidak tergolong kepada endpoint dalam Base URL. Ralat model-not-found adalah ketidakpadanan id antara Model Configurations dan katalog. Jawapan yang dijana tetapi mengabaikan dokumen anda adalah isu retrieval atau connector, sepenuhnya di hulu penyedia LLM. Sebaik sahaja sembang mengalir, konsol APIsRouter menunjukkan model per permintaan, kiraan token, dan perbelanjaan. Bagi alat workspace di mana setiap soalan membawa konteks yang diambil, nombor token per-soalan itu adalah asas jujur untuk perancangan kapasiti, dan satu kunci per workspace menukar log penggunaan menjadi laporan kos peringkat jabatan.

Soalan lazim