KoboldAI Lite ایک custom OpenAI-compatible endpoint پر۔

فوری جواب: وہ values جو Lite کو چاہئیں۔

AI connection panel کھولیں (Lite کے top menu میں AI button)، default AI Horde سے custom endpoint group پر سوئچ کریں، اور OpenAI-compatible آپشن چنیں۔ builds کے درمیان exact labels تھوڑی بدلتی ہیں، مگر fields مستقل رہتے ہیں: ایک API URL، ایک key، اور connect ہونے کے بعد چنا گیا model۔ جب یہ fail ہو تو دو Lite-مخصوص تفصیلات زیادہ تر نقصان کرتی ہیں۔ پہلی، version checkbox: Lite ایک "Add Ver. Num" طرز کا toggle دیتا ہے جو آپ کے لیے URL کے آگے /v1 لگا دیتا ہے، تو box ticked ہونے پر https://api.apisrouter.com اور unticked ہونے پر https://api.apisrouter.com/v1 دونوں درست resolve ہوتے ہیں، جبکہ /v1 کو دوگنا کرنا نہیں ہوتا۔ دوسری، persistence: Lite تاریخی طور پر reconnect پر custom endpoint URLs reset کرتا رہا ہے، تو URL کو ہاتھ میں رکھیں بجائے یہ فرض کرنے کے کہ field ہر session میں برقرار رہے گی۔

API URL:  https://api.apisrouter.com/v1   (or base URL + "Add Ver. Num" ticked)
API key:  sk-...                            (from APIsRouter)
Model:    deepseek-v4-flash                 (or any catalog id after connecting)

Lite کیا ہے، اور یہ کسی hosted model تک کیسے پہنچتا ہے۔

KoboldAI Lite Kobold ecosystem کا zero-install web UI ہے: story writing، adventure mode، اور character chat کے لیے ایک single-page app جو مکمل طور پر آپ کے browser میں چلتا ہے۔ یہ دو شکلوں میں آتا ہے جو ایک ہی settings share کرتی ہیں: lite.koboldai.net پر hosted instance، اور وہ bundled کاپی جو KoboldCpp آپ کے models locally چلانے پر localhost پر serve کرتا ہے۔ project README اسے custom endpoints سے جڑنے کے قابل بیان کرتا ہے، بشمول OpenAI-shaped اور Claude-shaped APIs، local اور remote Kobold instances، اور crowdsourced AI Horde کے ساتھ۔ چونکہ Lite ایک browser app ہے جس کا اپنا کوئی server نہیں، آپ کی API requests براہ راست browser سے اس endpoint تک جاتی ہیں جو آپ configure کریں۔ یہی design وجہ ہے کہ custom-endpoint راستہ بالکل کام کرتا ہے، اور یہی وجہ ہے کہ نیچے CORS سیکشن موجود ہے: endpoint کو browser-origin requests کا جواب دینا ہوتا ہے، اور جب کوئی نہ دے تو Lite ایک proxy toggle دیتا ہے جس کے تجارتی نقصانات ہیں اور جنہیں toggle کرنے سے پہلے سمجھنا ضروری ہے۔ AI Horde سے آنے والوں کے لیے: volunteer cluster کے مقابلے metered endpoint کی کشش predictability ہے۔ Horde واقعی مفت ہے مگر queue کے ساتھ؛ ایک funded endpoint فوراً بالکل وہی model دیتا ہے جو آپ نے مانگا، اور value-family rates پر شام بھر کھیلنے کی لاگت فی-message ایک سینٹ کے چھوٹے سے حصے تک آ جاتی ہے۔

سیٹ اپ، field بہ field۔

اگر connect ہونے کے بعد model list خالی رہے تو عام وجوہات یہ ہیں: doubled یا missing /v1 (پہلے version checkbox چیک کریں)، whitespace کے ساتھ paste ہونے والی key، یا کوئی browser extension request کو block کر رہا ہے۔ وہی تین values curl command میں کام کرنا یہ ثابت کرنے کا تیز ترین طریقہ ہے کہ endpoint side ٹھیک ہے اور مسئلہ browser تک محدود کیا جائے۔

• Lite کھولیں (hosted یا bundled) اور connection panel کھولنے کے لیے top menu میں AI button کلک کریں۔
• provider selection کو AI Horde سے custom endpoint group پر سوئچ کریں، اور OpenAI-compatible آپشن چنیں (labels build کے لحاظ سے تھوڑے مختلف ہوتے ہیں؛ ایک Claude-shaped آپشن اس کے ساتھ ہی موجود ہوتا ہے)۔
• URL درج کریں: https://api.apisrouter.com/v1، اوپر بیان کردہ version checkbox کا خیال رکھتے ہوئے تاکہ /v1 بالکل ایک بار ظاہر ہو۔
• اپنی sk-... key کو key field میں paste کریں۔
• Connect کریں، پھر Lite کی fetch کردہ فہرست میں سے model چنیں، یا اگر آپ کا build manual model نام مانگے تو exact catalog id ٹائپ کریں۔
• لمبا session لوڈ کرنے سے پہلے راؤنڈ ٹرپ confirm کرنے کے لیے کسی نئی story میں ایک مختصر message بھیجیں۔

Claude endpoint آپشن، اور کب استعمال کریں۔

Lite کے custom endpoint group میں Anthropic-dialect APIs کے لیے ایک Claude-shaped آپشن بھی شامل ہے۔ APIsRouter یہ dialect بھی /v1/messages پر serve کرتا ہے، تو claude ids دونوں دروازوں سے پہنچی جا سکتی ہیں۔ عملی طور پر OpenAI-compatible راستہ Claude models کے لیے بھی آسان default ہے، کیونکہ پھر ایک ہی configuration ہر family serve کرتا ہے: high-end prose کے لیے claude-sonnet-4-6، volume play کے لیے deepseek-v4-flash، rotation کے لیے glm-5.2 اور kimi-k2.6، سب صرف model-field تبدیلی کے طور پر، دوبارہ configuration کے طور پر نہیں۔ Claude-shaped آپشن اس وقت اپنی جگہ کماتا ہے جب آپ Anthropic کے request format کے لیے خاص طور پر tuned presets رکھتے ہوں یا کسی دوسرے Anthropic-dialect tool سے settings migrate کریں۔ عملی طور پر، دونوں راستے اسی gateway کے ذریعے انہی models پر ختم ہوتے ہیں؛ ایک چنیں اور مستقل رہیں تاکہ آپ کی saved settings قابلِ منتقلی رہیں۔

Samplers اور modes: hosted endpoint پر عملی طور پر کیا لاگو ہوتا ہے۔

Lite اپنی settings میں پورا local-model sampler zoo دکھاتا ہے، اور اس کا بیشتر حصہ سفر نہیں کرتا۔ OpenAI-compatible endpoints پر، Lite کی اپنی documentation کے مطابق صرف temperature، top-p، اور repetition-penalty طرز کے controls لاگو ہوتے ہیں؛ Min-P، Top-A، یا TFS جیسے exotic samplers local-inference features ہیں، اور Lite انہیں extra fields کے طور پر attach کر سکتا ہے، مگر hosted endpoints عموماً non-standard parameters کو ignore یا reject کرتے ہیں۔ prose میں تنوع کے لیے temperature 0.8 سے 0.9 کے قریب رکھیں، top-p تقریباً 0.95 پر چھوڑیں، اور repetition penalties کم رکھیں؛ یہی پوری tunable سطح ہے، اور یہ کافی ہے۔ Lite کے تمام writing modes custom endpoint پر کام کرتے ہیں، ایک رہنمائی کے ساتھ: instruct mode سب سے زیادہ فطری طور پر hosted chat models پر fit بیٹھتا ہے، کیونکہ یہ وہی structured role-based exchange پیدا کرتا ہے جس پر وہ models trained ہیں۔ Classic story co-writing بھی کام کرتا ہے؛ توقع رکھیں کہ models raw text continuers کی بجائے conversational partners کی طرح رویہ دکھائیں گے، کیونکہ یہی وہ چیز ہے جو ایک chat completions endpoint ہے۔ Context budgeting ہر roleplay frontend جیسے ہی rule پر چلتی ہے: Lite ہر turn پر نظر آنے والا story context دوبارہ بھیجتا ہے، تو context size کو جان بوجھ کر set کریں (لمبے sessions کے لیے 16K سے 32K working window کافی ہے) بجائے اسے maximum کرنے کے صرف اس لیے کہ model کی window اجازت دیتی ہے۔ نیچے linked context-length گائیڈ یہ حساب مختلف models پر کرتی ہے۔

استعمال کے مطابق ادائیگی · سرکاری قیمت سے کم

Selected models are priced below official list prices. Exact input, output, cache, and per-request prices are shown for each model.

CORS، proxy toggle، اور اپنی key کو سنبھالنا۔

چونکہ Lite endpoint کو براہ راست آپ کے browser سے call کرتا ہے، صحیح values کے ساتھ connection fail عموماً CORS ہوتی ہے: endpoint browser-origin requests سے انکار کر رہا ہوتا ہے۔ Lite بالکل اسی صورتحال کے لیے ایک "Use CORS Proxy" toggle دیتا ہے، اور یہ ایک ایماندارانہ warning کا مستحق ہے: کسی بھی third-party proxy سے route کرنا اس proxy کو آپ کے traffic کے اندر رکھتا ہے، key اور story content سمیت۔ پہلے direct connection آزمائیں، شک ہونے پر curl کے ذریعے endpoint confirm کریں، اور proxy toggle کو default کی بجائے آخری حربہ سمجھیں۔ local KoboldCpp سے bundled Lite چلانا ایک اور صاف حل ہے، کیونکہ وہاں بھی وہی custom-endpoint settings موجود ہیں۔ Key hygiene ایک browser app پر تھوڑا زیادہ اہم ہے: key آپ کے browser کی local settings میں رہتی ہے، تو اسے shared یا public machines پر paste کرنے سے گریز کریں، اور اگر کبھی leak ہو جائے تو امید رکھنے کی بجائے revoke اور reissue کریں۔ یہاں keys بنانا مفت ہے، تو Lite کے لیے dedicated key usage log کو پڑھنے کے قابل اور blast radius کو چھوٹا رکھتی ہے۔ ایک content نوٹ، صاف طور پر بیان کیا گیا: custom endpoint یہ بدلتا ہے کہ requests کہاں جاتی ہیں، یہ نہیں کہ models کیا اجازت دیتے ہیں۔ Upstream model policies اور آپ جو بھی Lite instance استعمال کریں اس کی شرائط پھر بھی لاگو رہتی ہیں؛ نیچے linked policies-compared صفحہ landscape کو حقیقتاً، model family بہ model family، cover کرتا ہے۔

عمومی سوالات