Onyx'i özel bir OpenAI uyumlu LLM sağlayıcı üzerinde çalıştırın.

Hızlı yanıt: admin panelinde Add Custom LLM Provider.

Onyx'in belgeleri, özel bir sağlayıcının OpenAI uyumlu endpoint'ler sunduğu sürece çalışacağı konusunda açıktır ve örnek Base URL şekli tam olarak gateway tarzı bir https://yourprovider.com/v1'dir. Akış şöyle: profil simgenizden Admin Panel'i açın, Configuration'a gidin, ardından Language Models'e gidin ve Add Custom LLM Provider'ı seçin. Bu formda dört karar önemlidir. Display Name kozmetiktir. Provider Name bir LiteLLM sağlayıcı anahtarıyla eşleşmelidir, çünkü Onyx model çağrılarını perde arkasında LiteLLM üzerinden yönlendirir; OpenAI uyumlu bir gateway için bu openai'dir. Base URL, /v1 sonekini içeren gateway endpoint'idir. Ve Model Configurations bölümü, kullanılabilir olmasını istediğiniz her model id'sini, katalogun sunduğu şekilde tam olarak yazarak kaydettiğiniz yerdir. Kaydedin, bir varsayılan seçin ve sohbetler hemen gateway üzerinden yönlendirilsin.

Admin Panel -> Configuration -> Language Models
  -> Add Custom LLM Provider

Display Name:   APIsRouter
Provider Name:  openai            (LiteLLM provider key)
Base URL:       https://api.apisrouter.com/v1
API Key:        sk-YOUR-APISROUTER-KEY
Model Configurations:
  claude-sonnet-4-6
  claude-haiku-4-5-20251001
  deepseek-v4-pro

Onyx'in mimarisinde LLM nerede duruyor.

Onyx (GitHub'da onyx-dot-app, kabaca 31K yıldız, eski adıyla Danswer), şirket bilgisi için açık kaynaklı bir AI platformudur: Slack, Google Drive, Confluence ve düzinelerce başka connector gibi kaynakları indeksler, ardından bir chat arayüzü, asistanlar ve agent iş akışları üzerinden bunlar hakkındaki soruları yanıtlar. En çok dağıtılan self-hosted kurumsal arama yığınlarından biridir, LLM faturasının bir varsayılan yerine bir yönlendirme kararını hak etmesinin tam da nedeni budur. Pipeline temiz bir şekilde ikiye ayrılır. Doküman embedding'i ve reranking dahil indeksleme ve retrieval, varsayılan olarak yerel modellerle Onyx'in kendi model sunucusunda çalışır; bunların hiçbiri LLM sağlayıcınıza dokunmaz. Yanıt üretimi diğer yarısıdır: retrieval ilgili pasajları bir araya getirdikten sonra bir LLM bunları okur ve dayanaklı yanıtı yazar ve bu çağrı, adminin yapılandırdığı sağlayıcıya LiteLLM üzerinden gider. Özel sağlayıcı akışı, tam olarak bu yarının hedefini değiştirir. LiteLLM, model id'sini openai tipi bir sağlayıcıya düz bir string olarak ilettiği için, Model Configurations'da kaydettiğiniz id'ler Base URL'nin arkasındaki endpoint'in sunduğu her şey olabilir: dikkatli, dayanaklı yanıtlar için Claude, hacim için DeepSeek, çok uzun kaynak bağlamları için Gemini. Farklı asistanlar farklı modellere varsayılan olabilir, böylece bir destek asistanı ve bir mühendislik asistanı aynı sağlayıcı girdisi üzerinden farklı fiyat noktalarında gidebilir.

Tam kurulum ve dokunulmadan kalan şey.

Sağlayıcı formu entegrasyonun tamamıdır; bunun için düzenlenecek bir config dosyası veya yeniden derlenecek bir container yoktur. Kaydettikten sonra workspace için varsayılan modeli ayarlayın ve isteğe bağlı olarak farklı kalite katmanları istediğiniz yerlerde model başına asistan bazında geçersiz kılın. Bilerek dokunulmadan bırakılan şey: connector'lar kendi kimlik bilgilerini korur, indeks etkilenmez ve arama için yapılandırılmış embedding modeli değişmez. Bu ayrımı açıkça belirtmeye değer, çünkü bunu düşük riskli bir değişiklik haline getirir. Gateway kötü davransa bile arama ve kaynaklar yine çalışırdı; yalnızca yanıt üretimi hata verirdi ve varsayılanı önceki bir sağlayıcıya geri çevirmek tek bir dropdown'dur. Deploymentları otomatikleştiren ekipler için, aynı sağlayıcı tanımı UI üzerinden tıklanmak yerine Onyx'in API'si üzerinden de oluşturulabilir, ama admin panel yolu belgelenmiş ve kararlı yüzeydir ve tek seferlik bir kurulum nadiren daha fazlasını gerektirir.

# confirm the gateway lists the ids you plan to register
curl -s https://api.apisrouter.com/v1/models \
  -H "Authorization: Bearer $APISROUTER_API_KEY" | head -50

# confirm a chat completion works end to end
curl -s https://api.apisrouter.com/v1/chat/completions \
  -H "Authorization: Bearer $APISROUTER_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"claude-sonnet-4-6",
       "messages":[{"role":"user","content":"ping"}]}'

Dayanaklı kurumsal yanıtlar için model seçmek.

Onyx içinde model değerlendirmesi alışılmadık derecede somuttur: aynı soruyu aynı connector'lara karşı iki farklı asistan varsayılanıyla sorun ve hangi yanıtın doğru pasajları alıntıladığını karşılaştırın. Anahtar başına kullanım günlüğü, her iki adayı da gerçek soru karışımınıza göre fiyatlandırır.

• Dayanaklı yanıtlama input-ağırlıklıdır: model, yazdığı yanıtı gölgede bırakan alınan pasajları okur. Bu yüzden input-token başına fiyat, soru başına maliyetinizi output fiyatından daha çok belirler.
• claude-sonnet-4-6 güçlü bir workspace varsayılanıdır: alınan kaynakların içinde kalma konusunda disiplinlidir ve dokümanlarda olmayan bir politika uydurmaya karşı dirençlidir.
• Yüksek trafikli asistanlar (IT helpdesk, İK SSS) claude-haiku-4-5-20251001 veya deepseek-v4-pro üzerinde iyi çalışır; burada hacim fiyatlandırması koltuk başına maliyeti öngörülebilir tutar.
• Uzun kaynak dokümanlar uzun bağlamlı id'leri destekler; büyük tasarım dokümanlarını veya sözleşmeleri bağlama çeken asistanlar için gemini-3.1-pro-preview test edilmeye değer.
• Bir sağlayıcı girdisinde birden fazla id kaydedin ve bunları asistan başına atayın. Takım başına kalite katmanları, tek bir küresel uzlaşma modelini geride bırakır.

Kullandıkça öde · resmi fiyatların altında

Selected models are priced below official list prices. Exact input, output, cache, and per-request prices are shown for each model.

Onyx'e özgü hata modları.

Provider Name serbest metin bir etiket değildir. Bir LiteLLM sağlayıcı anahtarıyla eşleşmelidir ve bir gateway için bu anahtar openai'dir. Uydurma bir ad, form sorunsuz kaydedilse bile istek anında bir LiteLLM sağlayıcı hatasıyla başarısız olur. Base URL, /v1 sonekini ister. Onyx'in kendi belgeleri /v1 ile biten endpoint şekilleri gösterir; onsuz, chat-completions yolu yanlış çözülür ve istekler gateway'de 404 alır. Model id'leri Model Configurations'da yaşar. Orada hiç kaydetmediğiniz bir model varsayılan olarak seçilemez ve kayıtlı bir id'deki bir yazım hatası, kaydetme anında değil ilk kullanımda bir model-not-found hatası olarak ortaya çıkar. Gateway'in /v1/models listesi otoriter yazımdır. Admin UI'nızda custom-models formunda Base URL alanı eksikse, eksik bir özellik yerine bazı 2026 sürümlerinde bildirilmiş bir UI regresyonuna denk gelmişsinizdir; güncelleme alanı geri getirir. Ve hangi yarıyı taşıdığınızı hatırlayın: arama sonuçları yanlış veya bayat görünüyorsa, bu özel sağlayıcıya hiç dokunmayan indeksleme ve connector'lardır. Yalnızca üretilen yanıtlar gateway üzerinden yönlendirilir.

Onyx'i bir gateway üzerinden kim yönlendirir.

• Satıcı başına hesapları tek bir endpoint, tek bir anahtar ve bir workspace veya departmana temiz bir şekilde eşlenen anahtar başına kullanım ile değiştiren self-hosted ekipler.
• İç arama için Onyx üzerinde standartlaşmış ve ayrı bir Anthropic faturalandırma ilişkisi olmadan Claude kalitesinde dayanaklı yanıtlar isteyen kurumlar.
• Farklı kalite katmanlarında birden fazla asistan çalıştıran, tek bir sağlayıcıda kayıtlı model id'leri üzerinden asistan başına fiyatlandırılan platform ekipleri.
• Aynı korpuslar üzerinde model aileleri arasında yanıt kalitesini karşılaştıran, her adayın yeni bir sağlayıcı entegrasyonu yerine kayıtlı bir id olduğu değerlendiriciler.
• Belirli bir satıcının faturalandırmasına erişimi olmayan geliştiriciler. Kart gerektirmeyen yükleme tabanlı erişim, sağlayıcı başına kayıt bağımlılığını ortadan kaldırır.

Endpoint'i doğrulayın ve ilk sohbeti hata ayıklayın.

Yukarıdaki iki curl kontrolü, forma dokunmadan önce gateway yarısını kapsar: kaydetmeyi planladığınız id'ler /v1/models'de görünmelidir ve doğrudan bir chat completion yanıt vermelidir. Onyx içinde, hatalar hızla yerelleşir. LiteLLM'i adlandıran bir sağlayıcı hatası, Provider Name'in geçerli bir anahtar olmadığı anlamına gelir; onu openai olarak ayarlayın. İlk sohbette bir kimlik doğrulama hatası, API Key'in Base URL'deki endpoint'e ait olmadığı anlamına gelir. Bir model-not-found hatası, Model Configurations ile katalog arasında bir id uyuşmazlığıdır. Üretilen ama dokümanlarınızı görmezden gelen yanıtlar, tamamen LLM sağlayıcısının yukarısında bir retrieval veya connector sorunudur. Sohbetler akmaya başladığında, APIsRouter konsolu istek başına modeli, token sayılarını ve harcamayı gösterir. Her sorunun alınan bağlamı taşıdığı bir workspace aracı için, soru başına bu token sayısı kapasite planlaması için dürüst temeldir ve workspace başına bir anahtar, kullanım günlüğünü departman düzeyinde bir maliyet raporuna dönüştürür.

Sık sorulan sorular