Запустіть Onyx на кастомному OpenAI-сумісному LLM-провайдері.

Коротка відповідь: Add Custom LLM Provider у панелі адміністратора.

Документація Onyx прямо каже, що кастомний провайдер працює, поки він надає OpenAI-сумісні ендпоінти, а приклад форми Base URL — саме у стилі шлюзу: https://yourprovider.com/v1. Потік такий: відкрийте Admin Panel з іконки профілю, перейдіть у Configuration, потім Language Models, і оберіть Add Custom LLM Provider. У цій формі мають значення чотири рішення. Display Name — косметичний. Provider Name має збігатися з ключем провайдера LiteLLM, оскільки Onyx маршрутизує виклики моделі через LiteLLM під капотом; для OpenAI-сумісного шлюзу це openai. Base URL — ендпоінт шлюзу, включно з суфіксом /v1. А розділ Model Configurations — те місце, де ви реєструєте кожен id моделі, який хочете зробити доступним, написаний точно так, як його обслуговує каталог. Збережіть, оберіть типову модель — і чати одразу маршрутизуються через шлюз.

Admin Panel -> Configuration -> Language Models
  -> Add Custom LLM Provider

Display Name:   APIsRouter
Provider Name:  openai            (LiteLLM provider key)
Base URL:       https://api.apisrouter.com/v1
API Key:        sk-YOUR-APISROUTER-KEY
Model Configurations:
  claude-sonnet-4-6
  claude-haiku-4-5-20251001
  deepseek-v4-pro

Де LLM сидить в архітектурі Onyx.

Onyx (onyx-dot-app на GitHub, приблизно 31 тис. зірок, колишній Danswer) — open-source AI-платформа для корпоративних знань: вона індексує джерела на кшталт Slack, Google Drive, Confluence та десятки інших конекторів, потім відповідає на питання над ними через чат-UI, асистентів і агентські workflow. Це один з найпоширеніших self-hosted стеків корпоративного пошуку, і саме тому його рахунок за LLM заслуговує на рішення про маршрутизацію, а не на замовчування. Конвеєр чітко розділяється надвоє. Індексація й пошук, включно з ембедінгом документів і ререйтингом, працюють на власному сервері моделей Onyx з локальними моделями за замовчуванням; жодна з цих операцій не торкається вашого LLM-провайдера. Генерація відповіді — інша половина: щойно пошук збирає релевантні уривки, LLM читає їх і пише обґрунтовану відповідь, і цей виклик іде через LiteLLM до того провайдера, якого налаштував адмін. Потік кастомного провайдера перенаправляє саме цю половину. Оскільки LiteLLM пересилає id моделі як звичайний рядок до провайдера типу openai, id, які ви реєструєте в Model Configurations, можуть бути будь-чим, що обслуговує ендпоінт за Base URL: Claude для ретельних обґрунтованих відповідей, DeepSeek для об'єму, Gemini для дуже довгих контекстів джерел. Різні асистенти можуть за замовчуванням використовувати різні моделі, тож асистент підтримки й асистент інженерії можуть їздити на різних цінових точках через того самого провайдера.

Повне налаштування і що лишається недоторканим.

Форма провайдера — це вся інтеграція; немає файлу конфігурації для редагування чи контейнера для перебудови заради цього. Після збереження встановіть типову модель для робочого простору й, за бажанням, перевизначте модель по асистенту там, де хочете різні рівні якості. Що навмисно лишається недоторканим: конектори зберігають власні облікові дані, індекс не зачіпається, а модель ембедінга, налаштована для пошуку, не переміщується. Цей поділ вартий пояснення, бо він робить цю зміну низькоризиковою. Якби шлюз поводився погано, пошук і джерела все одно б працювали; лише генерація відповіді дала б помилку, а перемикання типового провайдера назад — це один випадний список. Для команд, що автоматизують деплої, той самий запис провайдера можна засіяти через API Onyx замість клацань в UI, але шлях панелі адміністратора — задокументована й стабільна поверхня, а одноразове налаштування рідко виправдовує більше.

# confirm the gateway lists the ids you plan to register
curl -s https://api.apisrouter.com/v1/models \
  -H "Authorization: Bearer $APISROUTER_API_KEY" | head -50

# confirm a chat completion works end to end
curl -s https://api.apisrouter.com/v1/chat/completions \
  -H "Authorization: Bearer $APISROUTER_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"claude-sonnet-4-6",
       "messages":[{"role":"user","content":"ping"}]}'

Вибір моделей для обґрунтованих корпоративних відповідей.

Оцінка моделі всередині Onyx напрочуд конкретна: поставте те саме питання проти тих самих конекторів з двома різними типовими моделями асистентів і порівняйте, яка відповідь цитує правильні уривки. Лог використання за ключем оцінює обох кандидатів на вашому реальному міксі питань.

• Обґрунтоване відповідання вхідно-важке: модель читає отримані уривки, що набагато більші за відповідь, яку вона пише. Тому ціна за вхідний токен визначає вартість питання більше, ніж ціна виводу.
• claude-sonnet-4-6 — сильна типова модель для робочого простору: дисциплінована в тому, щоб триматися отриманих джерел, і стійка до вигадування політики, якої немає в документах.
• Асистенти з високим трафіком (IT-хелпдеск, HR FAQ) добре працюють на claude-haiku-4-5-20251001 чи deepseek-v4-pro, де об'ємні ціни тримають вартість на місце передбачуваною.
• Довгі вихідні документи на користь id з довгим контекстом; gemini-3.1-pro-preview вартий тестування для асистентів, що затягують у контекст великі проєктні документи чи контракти.
• Зареєструйте кілька id в одному записі провайдера і призначте їх по асистенту. Рівні якості по командах кращі за одну глобальну компромісну модель.

Оплата за фактом · нижче офіційних цін

Selected models are priced below official list prices. Exact input, output, cache, and per-request prices are shown for each model.

Збої, специфічні саме для Onyx.

Provider Name — це не вільнотекстова мітка. Він має збігатися з ключем провайдера LiteLLM, а для шлюзу цей ключ — openai. Вигадана назва падає під час запиту з помилкою провайдера LiteLLM, навіть якщо форма зберіглася нормально. Base URL хоче суфікс /v1. Власна документація Onyx показує форми ендпоінтів, що закінчуються на /v1; без нього шлях chat-completions резолвиться неправильно, і запити дають 404 на шлюзі. Id моделей живуть у Model Configurations. Модель, яку ви там ніколи не реєстрували, не може бути обрана як типова, а одруківка в зареєстрованому id проявляється як помилка model-not-found при першому використанні, а не в момент збереження. Список /v1/models шлюзу — авторитетне написання. Якщо у вашому UI адміністратора немає поля Base URL у формі кастомних моделей, ви зіткнулися з задокументованою регресією UI в деяких релізах 2026 року, а не з відсутньою фічею; оновлення повертає поле. І пам'ятайте, яку половину ви перемістили: якщо результати пошуку виглядають неправильними чи застарілими, це індексація й конектори, які ніколи не торкаються кастомного провайдера. Лише згенеровані відповіді маршрутизуються через шлюз.

Хто спрямовує Onyx через шлюз.

• Self-hosted команди, що замінюють облікові записи на кожного постачальника одним ендпоінтом, одним ключем і використанням за ключем, що чітко мапиться на робочий простір чи відділ.
• Підприємства, що стандартизувалися на Onyx для внутрішнього пошуку й хочуть обґрунтованих відповідей якості Claude без окремих білінгових стосунків з Anthropic.
• Платформні команди, що запускають кілька асистентів на різних рівнях якості, оцінених по асистенту через зареєстровані id моделі на одному провайдері.
• Оцінювачі, що порівнюють якість відповіді між родинами моделей на ідентичних корпусах, де кожен кандидат — зареєстрований id, а не нова інтеграція провайдера.
• Розробники без доступу до білінгу певного постачальника. Доступ на основі поповнення без вимоги картки прибирає залежність від реєстрації в кожного провайдера.

Перевірте ендпоінт і налагодьте перший чат.

Дві перевірки curl вище покривають половину роботи шлюзу, перш ніж ви торкнетеся форми: id, які плануєте зареєструвати, мають з'являтися в /v1/models, а прямий chat completion має відповідати. Усередині Onyx збої локалізуються швидко. Помилка провайдера, що називає LiteLLM, означає, що Provider Name — недійсний ключ; встановіть його на openai. Помилка автентифікації при першому чаті означає, що API Key не належить ендпоінту в Base URL. Помилка model-not-found — це невідповідність id між Model Configurations і каталогом. Відповіді, що генеруються, але ігнорують ваші документи, — це проблема пошуку чи конектора, зовсім не пов'язана з LLM-провайдером. Щойно чати потечуть, консоль APIsRouter показує модель на запит, кількість токенів і витрати. Для інструмента робочого простору, де кожне питання несе отриманий контекст, це число токенів на питання — чесна основа для планування потужності, а один ключ на робочий простір перетворює лог використання на звіт про витрати на рівні відділу.

Поширені запитання