AnythingLLM'i Generic OpenAI üzerinden herhangi bir modelle çalıştırın.

Hızlı yanıt: LLM Preference içinde beş alan.

AnythingLLM'in ayarlarını açın, AI Providers altındaki LLM bölümüne gidin (tarihsel olarak LLM Preference başlıklı ekran) ve sağlayıcı listesinde Generic OpenAI'ı arayın. Seçildiğinde beş alan ortaya çıkar: Base URL, API Key, Chat Model Name, Token Context Window ve Max Tokens. Bunları şu şekilde doldurun: Base URL https://api.apisrouter.com/v1 (/v1 bu alana aittir), anahtarınız ve Chat Model Name içinde tam katalog id'si, örneğin claude-sonnet-4-6. Ardından iki sayı: Token Context Window modelin toplam penceresidir ve Max Tokens tek bir yanıtı sınırlar, bu yüzden ikisini de tahmin etmek yerine modelin dokümantasyonundan alın. Kaydedin ve sistem varsayılanını izleyen her çalışma alanı artık gateway üzerinden sohbet eder. Dokümanlar bu sağlayıcıyı tam olarak girdilerinize güvendiği için developer-focused (geliştirici odaklı) olarak işaretler; bu onu kullanmaya karşı bir uyarı değil, sadece beş alanın bir sözleşme olduğunun bir ifadesidir.

Base URL:              https://api.apisrouter.com/v1
API Key:               sk-YOUR-APISROUTER-KEY
Chat Model Name:       claude-sonnet-4-6
Token Context Window:  200000
Max Tokens:            8192

Generic OpenAI sağlayıcısı gerçekte neyi çalıştırır.

AnythingLLM (GitHub'da Mintplex Labs, yaklaşık 63K yıldız), hepsi bir arada özel doküman asistanıdır: dosyalarınızı embed eden çalışma alanları, alınan bağlama dayalı sohbet, araç kullanan agent'lar; masaüstü uygulaması ve self-hosted sunucu olarak mevcuttur. Yukarıda yapılandırılan LLM preference, bunların hepsi için varsayılan beyindir. İstekler, Chat Model Name'i model dizesi olarak kullanarak Base URL'inize karşı standart chat completions olarak çıkar, bu yüzden satıcı önemli değildir: bir Claude id'si bir GPT id'si kadar geçerlidir ve geçiş yapmak tek bir alanı düzenlemek anlamına gelir. Çalışma alanları ayrıca sistem varsayılanını kendi sağlayıcı ve model ayarlarıyla geçersiz kılabilir; bir dağıtımın legal çalışma alanı için claude-sonnet-4-6'yı ve engineering için gpt-5.5'i, ikisi de birbirinden habersiz şekilde çalıştırmasının yolu budur. İki token alanı saygıyı hak eder çünkü AnythingLLM onları bağlamı bütçelemek için kullanır. Bağlam penceresi değeri, alınan doküman metninin ve sohbet geçmişinin her isteğe ne kadarının paketleneceğine karar verir; onu olduğundan düşük belirtirseniz özenle embed edilmiş dokümanlarınız kendi yanıtlarından budanır, olduğundan yüksek belirtirseniz istekler modelin gerçek sınırına çarpar. Genel endpoint'lerdeki çoğu "RAG aptalca hissettiriyor" şikayetinin arkasındaki alan çifti budur.

Embedding'ler ayrı bir karardır.

AnythingLLM, LLM preference'ı embedding preference'tan ayırır ve bu ayrım taşıyıcı bir öneme sahiptir. Chat modeli soruları yanıtlar; embedder, dokümanlarınızı yükleme anında vektörlere dönüştürür ve bu vektörler kalıcıdır. Chat modellerini değiştirmek, herhangi bir gün, çalışma alanı başına ücretsizdir. Embedder'ları değiştirmek, zaten embed edilmiş her şeyin geometrisini geçersiz kılar ve dokümanlarınızı yeniden embed etmeniz anlamına gelir. Pratik kurulum: AnythingLLM, çevrimdışı çalışan ve hiçbir maliyeti olmayan yerleşik bir yerel embedder ile gelir ve birçok dağıtım onu basitçe korur. Bunun yerine embedding preference'ı uzak bir endpoint'e yönlendirirseniz, doküman tabanınızı yüklemeden önce belirli embedding id'sinin orada sunulduğunu doğrulayın ve bu seçimi vektör deposuyla evli olarak ele alın. Bunun chat tarafında sağladığı özgürlük, mimarinin asıl noktasıdır: embedding'ler çözüldüğünde, Generic OpenAI chat modeli düşük riskli bir kadrandır. Yoğun özetleme için bir ay boyunca deepseek-v4-pro çalıştırın, müşteri işinin bir çeyreği için alanı claude-sonnet-4-6'ya çevirin ve dokümanlarınızla ilgili hiçbir şeyin yer değiştirmesi gerekmez.

curl -s https://api.apisrouter.com/v1/models \
  -H "Authorization: Bearer $APISROUTER_API_KEY" | head -50
# Chat Model Name must match one of these ids exactly

Doküman işleri için model seçmek.

Her id aynı anahtar üzerinden faturalandığı için, karşılaştırma döngüsü bir ayar düzenlemesidir: aynı çalışma alanı, aynı dokümanlar, her aday için iki hafta ve APIsRouter konsolundaki model başına harcama, yanıtlar hakkındaki kendi değerlendirmenizin yanında.

• Alınan parçalar üzerinde temellendirilmiş QA girdi ağırlıklıdır: claude-haiku-4-5-20251001 ve gemini-3.5-flash, alıntı takip eden soruları hacim fiyatlarında iyi yanıtlar.
• claude-sonnet-4-6, yanıtların düzenlenmeden insanlara gönderildiği yerlerde varsayılanı hak eder: sözleşme incelemesi, rapor taslağı hazırlama, sonucu olan her şey.
• deepseek-v4-pro, büyük dokümanlar üzerine kurulu çalışma alanları için uzun bağlamlı iş atıdır; burada pencere ve girdi fiyatlandırması deneyime hakimdir.
• Agent çalışma alanları güvenilir araç çağırma gerektirir; agent'ları claude-sonnet-4-6 üzerinde başlatın, ardından daha hafif bir id'nin gerçek akışlarınızda dayanıp dayanmadığını test edin.
• Çalışma alanı başına geçersiz kılmaları politika olarak kullanın: varsayılan hızlı kalır ve pahalı id yalnızca işi bunu haklı çıkaran çalışma alanlarında yaşar.

Kullandıkça öde · resmi fiyatların altında

Selected models are priced below official list prices. Exact input, output, cache, and per-request prices are shown for each model.

AnythingLLM'e özgü hata modları.

Token alanları ince hatalara neden olur. Çok düşük ayarlanmış bir bağlam penceresi, alınan bağlamı sessizce keser, bu da dokümanlarınızı görmezden gelen bir model olarak ortaya çıkar; Chat Model Name'deki id için belgelenen pencereyi ayarlayın. Model için çok yüksek ayarlanmış Max Tokens, uzun yanıtlarda sert hatalar üretir; onu modelin çıktı için gerçekte izin verdiği değere ayarlayın. Sert hatalar daha dürüsttür. Kimlik doğrulama hataları API Key alanıdır. Model-not-found, Chat Model Name'in katalog yazımından sapmasıdır; alan serbest metindir ve /v1/models listesi tek doğru kaynaktır. Masaüstü uygulamasındaki bağlantı hataları genellikle uygulama ile endpoint arasında bir proxy veya güvenlik duvarı olduğu anlamına gelir; Docker dağıtımlarında, Base URL'ye ulaşması gerekenin tarayıcınız değil konteyner olduğunu unutmayın. Sohbet çalışıyor ama bir çalışma alanı beklenenden farklı davranıyorsa, geçersiz kılma ayarlarını kontrol edin; çalışma alanı seviyesindeki sağlayıcı ayarları sistem varsayılanının önüne geçer ve unutulmuş bir geçersiz kılma, klasik "aynı soru, farklı model" gizemidir. Dokümanların developer-focused (geliştirici odaklı) çerçevelemesi yukarıdakilerin hepsini özetler: sağlayıcı, beş alanının söylediği şeyi tam olarak yapar, ne fazla ne eksik.

AnythingLLM'i bir gateway üzerinden kim yönlendirir.

• Model ailesi başına satıcı hesabı olmadan sınır düzeyinde yanıt kalitesi isteyen, özel doküman asistanları çalıştıran ekipler.
• Kişisel doküman tabanlarını, başlamak için kart gerekmeyen ön ödemeli bir bakiyede Claude veya GPT id'lerine yönlendiren masaüstü kullanıcıları.
• Yerleşik yerel embedder'ı koruyan ve uzak sohbeti tek ölçülen şerit olarak ele alan, tek bir kullanım günlüğünde model başına okuyan self-hosterlar.
• Çalışma alanına göre bölümlenmiş dağıtımlar; burada çalışma alanı başına geçersiz kılmalar artı anahtar başına ölçüm, her ekibe kendi modelini ve kendi faturasını verir.
• Sabit bir doküman tabanı üzerinde yanıt modellerini karşılaştıran oluşturucular; burada her aday bir geçiş yerine tek bir ayar düzenlemesidir.

Endpoint'i doğrulayın ve ilk çalışma alanı sohbetini hata ayıklayın.

Önce, Chat Model Name'e koymayı düşündüğünüz tam id'yi kullanarak modeller listesini ve bir chat completion'ı curl ile deneyin. İkisi de geçtiğinde, gateway tarafı kanıtlanmış olur ve kalan her belirti beş alanda yaşar. Ardından sağlayıcı ayarlarını kaydedin ve iyi tanıdığınız bir dokümanı olan bir çalışma alanında bir soru sorun. Temellendirilmiş, alıntı yapan bir yanıt tüm pipeline'ın çalıştığı anlamına gelir. Dokümanı görmezden gelen bir yanıt, bağlam penceresi değerine veya çalışma alanının kendi retrieval ayarlarına işaret eder. Sert hatalar net bir şekilde eşleşir: anahtar, id yazımı, Base URL şekli. Sohbetler akmaya başladığında, APIsRouter konsolu istek başına modeli, token sayılarını ve harcamayı gösterir. Doküman QA'sı, retrieval yoluyla girdi token'larını çoğaltır ve kullanım günlüğü, doküman tabanınızın sorgulanmasının gerçekte modele göre, güne göre ve eğer bölerseniz çalışma alanı anahtarına göre ne kadara mal olduğunu öğrendiğiniz yerdir.

curl -s https://api.apisrouter.com/v1/chat/completions \
  -H "Authorization: Bearer $APISROUTER_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"claude-sonnet-4-6",
       "messages":[{"role":"user","content":"ping"}]}'

Sık sorulan sorular