Jalankan Onyx di provider LLM OpenAI-compatible custom.

Jawaban singkat: Add Custom LLM Provider di admin panel.

Dokumentasi Onyx eksplisit bahwa provider custom berfungsi selama ia mengekspos endpoint OpenAI-compatible, dan bentuk contoh Base URL-nya persis gaya gateway https://yourprovider.com/v1. Flow-nya: buka Admin Panel dari ikon profil Anda, masuk ke Configuration, lalu Language Models, dan pilih Add Custom LLM Provider. Empat keputusan penting di form itu. Display Name bersifat kosmetik. Provider Name harus cocok dengan key provider LiteLLM, karena Onyx merutekan panggilan model melalui LiteLLM di baliknya; untuk gateway OpenAI-compatible itu adalah openai. Base URL adalah endpoint gateway termasuk suffix /v1. Dan bagian Model Configurations adalah tempat Anda mendaftarkan setiap id model yang ingin tersedia, dieja persis seperti yang dilayani katalog. Simpan, pilih default, dan chat merutekan melalui gateway seketika.

Admin Panel -> Configuration -> Language Models
  -> Add Custom LLM Provider

Display Name:   APIsRouter
Provider Name:  openai            (LiteLLM provider key)
Base URL:       https://api.apisrouter.com/v1
API Key:        sk-YOUR-APISROUTER-KEY
Model Configurations:
  claude-sonnet-4-6
  claude-haiku-4-5-20251001
  deepseek-v4-pro

Di mana LLM duduk di arsitektur Onyx.

Onyx (onyx-dot-app di GitHub, sekitar 31K bintang, sebelumnya Danswer) adalah platform AI open-source untuk pengetahuan perusahaan: ia mengindeks sumber seperti Slack, Google Drive, Confluence, dan puluhan connector lain, lalu menjawab pertanyaan atasnya lewat UI chat, asisten, dan workflow agent. Ini salah satu stack pencarian enterprise self-hosted yang paling banyak di-deploy, itulah persis sebabnya tagihan LLM-nya pantas mendapat keputusan routing alih-alih default. Pipeline-nya terbagi bersih menjadi dua. Indexing dan retrieval, termasuk embedding dokumen dan reranking, berjalan di model server Onyx sendiri dengan model lokal secara default; tidak ada satupun yang menyentuh provider LLM Anda. Generasi jawaban adalah separuh lainnya: setelah retrieval merakit passage yang relevan, LLM membacanya dan menulis respons yang membumi, dan panggilan itu pergi melalui LiteLLM ke provider mana pun yang dikonfigurasi admin. Flow provider custom menukar destinasi tepat separuh ini. Karena LiteLLM meneruskan id model sebagai string biasa ke provider bertipe openai, id yang Anda daftarkan di Model Configurations bisa berupa apa saja yang dilayani endpoint di balik Base URL: Claude untuk jawaban yang membumi dan cermat, DeepSeek untuk volume, Gemini untuk konteks sumber yang sangat panjang. Asisten berbeda bisa default ke model berbeda, jadi asisten support dan asisten engineering bisa menunggangi titik harga berbeda melalui entri provider yang sama.

Setup lengkap, dan apa yang tetap tidak tersentuh.

Form provider adalah seluruh integrasinya; tidak ada file config untuk diedit atau container untuk dibangun ulang. Setelah disimpan, set model default untuk workspace, dan secara opsional override model per asisten di tempat Anda menginginkan tier kualitas berbeda. Apa yang sengaja tetap tidak tersentuh: connector mempertahankan kredensialnya sendiri, index tidak terpengaruh, dan model embedding yang dikonfigurasi untuk pencarian tidak berpindah. Pemisahan itu layak dijelaskan karena membuat ini perubahan berisiko rendah. Jika gateway-nya berperilaku buruk, pencarian dan sumber tetap akan berfungsi; hanya generasi jawaban yang akan error, dan mengganti default kembali ke provider sebelumnya adalah satu dropdown. Untuk tim yang mengotomasi deployment, definisi provider yang sama bisa disemai lewat API Onyx alih-alih diklik lewat UI, tapi jalur admin panel adalah permukaan yang terdokumentasi dan stabil, dan setup sekali jarang membenarkan lebih dari itu.

# confirm the gateway lists the ids you plan to register
curl -s https://api.apisrouter.com/v1/models \
  -H "Authorization: Bearer $APISROUTER_API_KEY" | head -50

# confirm a chat completion works end to end
curl -s https://api.apisrouter.com/v1/chat/completions \
  -H "Authorization: Bearer $APISROUTER_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"claude-sonnet-4-6",
       "messages":[{"role":"user","content":"ping"}]}'

Memilih model untuk jawaban enterprise yang membumi.

Evaluasi model di dalam Onyx tidak biasa konkret: ajukan pertanyaan yang sama terhadap connector yang sama dengan dua default asisten berbeda dan bandingkan jawaban mana yang mensitasi passage yang benar. Log penggunaan per-key memberi harga kedua kandidat pada campuran pertanyaan nyata Anda.

• Jawaban yang membumi bersifat input-heavy: model membaca passage yang diambil yang jauh lebih besar dari jawaban yang ditulisnya. Harga per-token-input karenanya menentukan biaya per pertanyaan Anda lebih dari harga output.
• claude-sonnet-4-6 adalah default workspace yang kuat: disiplin tetap berada di dalam sumber yang diambil dan tahan terhadap mengarang kebijakan yang tidak ada di dokumen.
• Asisten traffic tinggi (helpdesk IT, FAQ HR) berjalan baik di claude-haiku-4-5-20251001 atau deepseek-v4-pro, di mana harga volume menjaga biaya per-seat tetap bisa diprediksi.
• Dokumen sumber yang panjang menguntungkan id long-context; gemini-3.1-pro-preview layak diuji untuk asisten yang menarik dokumen desain besar atau kontrak ke context.
• Daftarkan beberapa id di satu entri provider dan tetapkan per asisten. Tier kualitas per tim mengalahkan satu model kompromi global.

Bayar sesuai pemakaian · di bawah harga resmi

Selected models are priced below official list prices. Exact input, output, cache, and per-request prices are shown for each model.

Mode kegagalan spesifik Onyx.

Provider Name bukan label teks-bebas. Harus cocok dengan key provider LiteLLM, dan untuk gateway key itu adalah openai. Nama karangan gagal saat waktu request dengan error provider LiteLLM meskipun form-nya tersimpan baik-baik saja. Base URL menginginkan suffix /v1. Dokumentasi Onyx sendiri menampilkan bentuk endpoint yang berakhir di /v1; tanpanya, path chat-completions me-resolve salah dan request ber-404 di gateway. Id model hidup di Model Configurations. Model yang tidak pernah Anda daftarkan di sana tidak bisa dipilih sebagai default, dan salah ketik di id terdaftar muncul sebagai error model-not-found saat pemakaian pertama, bukan saat disimpan. Listing /v1/models gateway adalah ejaan otoritatif. Jika admin UI Anda kehilangan field Base URL di form custom-models, Anda menabrak regresi UI yang dilaporkan di beberapa rilis 2026 alih-alih fitur yang hilang; upgrade mengembalikan field-nya. Dan ingat separuh mana yang Anda pindahkan: jika hasil pencarian terlihat salah atau basi, itu adalah indexing dan connector, yang tidak pernah menyentuh provider custom. Hanya jawaban yang dihasilkan yang merutekan melalui gateway.

Siapa yang merutekan Onyx melalui gateway.

• Tim self-hosted yang menggantikan akun per-vendor dengan satu endpoint, satu key, dan penggunaan per-key yang terpetakan bersih ke workspace atau departemen.
• Enterprise yang menstandarkan Onyx untuk pencarian internal dan menginginkan jawaban membumi berkualitas Claude tanpa hubungan billing Anthropic terpisah.
• Tim platform yang menjalankan beberapa asisten di tier kualitas berbeda, diberi harga per asisten lewat id model terdaftar di satu provider.
• Evaluator yang membandingkan kualitas jawaban lintas keluarga model pada corpus identik, di mana setiap kandidat adalah id terdaftar alih-alih integrasi provider baru.
• Developer tanpa akses ke billing vendor tertentu. Akses berbasis top-up tanpa syarat kartu menghilangkan ketergantungan sign-up per provider.

Verifikasi endpoint dan debug chat pertama.

Dua cek curl di atas mencakup separuh gateway sebelum Anda menyentuh form-nya: id yang Anda rencanakan daftarkan harus muncul di /v1/models, dan chat completion langsung harus menjawab. Di dalam Onyx, kegagalan terlokalisasi dengan cepat. Error provider yang menyebut LiteLLM berarti Provider Name bukan key yang valid; set ke openai. Error autentikasi di chat pertama berarti API Key tidak memiliki endpoint di Base URL. Error model-not-found adalah ketidakcocokan id antara Model Configurations dan katalog. Jawaban yang dihasilkan tapi mengabaikan dokumen Anda adalah masalah retrieval atau connector, sepenuhnya upstream dari provider LLM. Setelah chat mengalir, konsol APIsRouter menunjukkan model per request, hitungan token, dan pengeluaran. Untuk tool workspace di mana setiap pertanyaan membawa context yang diambil, angka token per-pertanyaan itu adalah basis jujur untuk perencanaan kapasitas, dan satu key per workspace mengubah log penggunaan menjadi laporan biaya level-departemen.

Pertanyaan umum