RAGFlow chat একটা OpenAI-API-Compatible base URL-এ চালান।

দ্রুত উত্তর: Model providers page-এ model যোগ করুন।

RAGFlow-এ log in করুন, উপরে ডানে আপনার logo click করুন, এবং Model providers খুলুন। Models to be added-এর নিচে, OpenAI-API-Compatible card খুঁজুন এবং Add the model click করুন। Add LLM dialog-এ, Model type-কে chat সেট করুন, Model name হিসেবে exact catalog id লিখুন, Base url-এ https://api.apisrouter.com/v1 দিন, API-Key-তে আপনার key paste করুন, এবং Max tokens-কে model-এর real context size-এ সেট করুন। OK click করুন। তারপর এটাকে কিছু করান: একই page-এ Set default models খুলুন এবং আপনার নতুন model default LLM হিসেবে বেছে নিন। Chat assistant, dataset question answering, এবং agent node সবাই override না করলে সেই default-এ resolve করে। প্রথম run-এর আগে জানার একটা sharp edge: RAGFlow-এর Max tokens field default 512-এ থাকে এবং এর নিজস্ব tooltip warn করে একটা invalid value error তৈরি করে, তাই model-এর documented window লেখা optimization না, setup-এর অংশ।

Model type:  chat
Model name:  deepseek-v4-pro
Base url:    https://api.apisrouter.com/v1
API-Key:     sk-YOUR-APISROUTER-KEY
Max tokens:  128000

then: Set default models → LLM → deepseek-v4-pro

RAGFlow কীভাবে model-কে কাজের সাথে bind করে।

RAGFlow (GitHub-এ infiniflow, প্রায় 85K star) হলো একটা deep-document RAG engine: PDF এবং table-এর layout-aware parsing, grounded citation সহ chunking, dataset, chat assistant, এবং তার উপরে agent workflow। সেই pipeline-এর বিভিন্ন অংশ বিভিন্ন model slot-এ bind করে, এবং binding explicit। Chat model উত্তর generate করে। Embedding model retrieval-এর জন্য chunk vectorize করে। Rerank model candidate পুনরায় order করে, এবং img2txt model parsing-এর সময় figure বর্ণনা করে। OpenAI-API-Compatible provider এই type-গুলোর জন্য আলাদাভাবে model register করতে পারে, প্রতিটা Add LLM dialog একটা type, id, base url, এবং key-র binding তৈরি করে। প্রতিটা registered chat model base url-এ Model name-কে wire string হিসেবে সহ standard chat completions বলে, তাই gateway যে id-ই serve করুক তা valid, vendor নির্বিশেষে। সেই separation operationally গুরুত্বপূর্ণ: আপনার answer model gpt-5.5 থেকে claude-sonnet-4-6-এ পাল্টানো যেকোনো দিন safe, কিন্তু embedding model আপনার indexed vector-এর সাথে welded। ইতিমধ্যে chunk আছে এমন একটা dataset-এ embedding model পাল্টানোর সময় RAGFlow একটা compatibility check enforce করে, এবং practical rule সহজ: embedding setup একবার বেছে নিন, এবং chat model-কে অবাধে tune করার layer হিসেবে treat করুন।

Chinese এবং Western model একসাথে এক key।

RAGFlow deployment ব্যাপকভাবে bilingual: Chinese-origin team mixed-language document base process করে, এবং international team যারা specifically Chinese document-এর জন্য Chinese model চায়। সরাসরি served হলে, সেই মিশ্রণ কষ্টকর, কারণ DeepSeek, Zhipu, Moonshot, এবং Alibaba প্রত্যেকে আলাদাভাবে bill করে এবং কিছু বিদেশ থেকে pay করা কষ্টকর, যখন Anthropic এবং OpenAI অন্য দিক থেকে কষ্টকর। এক OpenAI-API-Compatible base url দিয়ে, মিশ্রণটা শুধু আরো Add LLM dialog: Chinese-heavy corpus-এর জন্য deepseek-v4-pro এবং glm-5.2, শক্তিশালী regional বিকল্প হিসেবে qwen3.7-max এবং kimi-k2.6, উত্তরের polish যেখানে সবচেয়ে গুরুত্বপূর্ণ সেখানে claude-sonnet-4-6। একই base url, একই key, catalog থেকে সরাসরি id। এশিয়ার team-দের জন্য একই route উল্টো দিকেও কাজ করে: Claude এবং GPT id একটা prepaid balance-এ একটা Western card ছাড়াই পৌঁছানো যায়, যা অনেক RAGFlow shop-এর জন্য একটা model evaluate করা আর সেটা সম্পর্কে শুধু পড়ার মধ্যে পার্থক্য। জানার যোগ্য একটা boot-time path-ও আছে: service_conf.yaml.template একটা user_default_llm block accept করে (factory, api_key, base_url) যাতে fresh install pre-wired হয়ে আসে। RAGFlow-এর docs explicit যে login-এর পরে, configuration শুধু Model providers page-এই হয়। তাই YAML-কে first-boot provisioning হিসেবে treat করুন, live config না।

user_default_llm:
  factory: OpenAI-API-Compatible
  api_key: sk-YOUR-APISROUTER-KEY
  base_url: https://api.apisrouter.com/v1

একটা document pipeline-এর জন্য model বেছে নেওয়া।

Retrieval quality ceiling ঠিক করে এবং answer model ঠিক করে আপনি কতটা কাছে যান, তাই আপনার real corpus-এ answer model A/B test করুন: একই dataset, একই প্রশ্ন, দুই id-তে pin করা দুই assistant, এবং APIsRouter console-এ per-model spend আপনার নিজের উত্তরের বিচারের পাশে।

• Retrieved chunk-এর উপর Grounded answering input-heavy কাজ যেখানে mid-tier model জ্বলে ওঠে: deepseek-v4-pro এবং glm-5.2 bilingual corpus-এ citation-following উত্তর ভালোভাবে বহন করে।
• উত্তর native Chinese-এ পড়তে হলে qwen3.7-max এবং kimi-k2.6 test করার যোগ্য regional heavyweight; Chinese model জুড়ে quality difference retrieval-এর চেয়ে generation-এ বেশি দেখা যায়।
• claude-sonnet-4-6 answer slot-এর যোগ্য যেখানে synthesis quality-ই product, executive summary, contract analysis, মানুষ unedited forward করে এমন যেকোনো কিছু।
• Tool call করা agent workflow-এর dependable function calling দরকার; প্রথমে claude-sonnet-4-6-এ agent path test করুন, তারপর দেখুন আপনার flow-এ কোন regional id এটার সাথে মেলে।
• Max tokens per-registration, তাই একটা assistant-এর লম্বা উত্তর দরকার এবং আরেকটার tight উত্তর দরকার হলে একই id দুইবার ভিন্ন limit দিয়ে register করুন।

ব্যবহার অনুযায়ী পেমেন্ট · অফিশিয়াল মূল্যের নিচে

Selected models are priced below official list prices. Exact input, output, cache, and per-request prices are shown for each model.

RAGFlow-specific failure mode।

Max tokens default-ই classic। 512-এ রেখে দিলে, লম্বা উত্তর এমনভাবে truncate বা error করে যা model সমস্যার মতো দেখায়; register করার সময় tooltip নিজেই যেভাবে warn করে সেভাবে documented context size সেট করুন। যে registered model সাথে সাথে error করে তা সাধারণত Model name spelling (এটা অবশ্যই /v1/models listing-এর সাথে exactly মিলতে হবে) বা /v1 suffix ছাড়া একটা Base url, যেহেতু RAGFlow আপনার দেওয়া value-তে route path append করে। Registration-এর পরে কিছুই না হওয়া একটা defaults সমস্যা: একটা model register করা এটাকে select করে না। Set default models check করুন, এবং per-assistant model setting check করুন, যা workspace default-এর উপর জেতে। Embedding confusion list শেষ করে। যদি compatible provider দিয়ে একটা embedding id bind করেন, indexing করার আগে confirm করুন endpoint আসলে এটা serve করে কিনা; এবং একবার একটা dataset-এ chunk থাকলে, এর embedding model পাল্টানো একটা similarity check দিয়ে gated এবং শূন্য থেকে re-indexing দরকার হতে পারে। Chat model change-এ এমন কোনো cost নেই, যে কারণে chat layer-ই সেখানে যেখানে আপনি experiment করা উচিত।

কারা একটা gateway দিয়ে RAGFlow route করে।

• Bilingual document team যারা এক base url এবং এক key-এর পেছনে DeepSeek, GLM, Qwen, এবং Kimi-কে Claude এবং GPT id-র সাথে মেশায়।
• এশিয়ার team যারা একটা Western card ছাড়াই একটা prepaid balance-এ Claude-quality উত্তর চায়, এবং Western team যারা regional billing ছাড়াই Chinese model চায়।
• Self-hoster যারা internal knowledge base-এর জন্য RAGFlow চালায় এবং পুরো deployment-এর cloud spend এক usage log-এ চায়।
• Builder যারা fixed corpus-এ answer model তুলনা করছে, যেখানে প্রতিটা candidate একটা vendor account না বরং একটা Add LLM dialog।
• Ops team যারা service_conf.yaml.template থেকে fresh install provision করছে, endpoint first boot-এ pre-wired সহ।

Endpoint verify করুন এবং প্রথম chat debug করুন।

প্রথমে model listing curl করুন; Model name field free text, এবং listing থেকে id copy করলে সবচেয়ে সাধারণ failure ঘটার আগেই এটা eliminate হয়ে যায়। তারপর register করতে চাওয়া id-র বিরুদ্ধে একটা chat completion চালান। RAGFlow-এর ভেতরে, model register করুন, default LLM হিসেবে সেট করুন, এবং dataset জড়ানোর আগে একটা plain chat assistant-এ test করুন। Authentication error API-Key-র দিকে ইঙ্গিত করে; not-found Model name-এর দিকে; connection error Base url বা container egress-এর দিকে, যেহেতু RAGFlow server-কেই endpoint-এ পৌঁছাতে হবে, আপনার browser-কে না। Truncated বা fail করা লম্বা উত্তর Max tokens-এর দিকে ইঙ্গিত করে। একবার chat চললে, APIsRouter console per-request model, token count, এবং spend দেখায়। RAG traffic input-dominated, এবং usage log-ই যেখানে আপনি দেখেন আপনার corpus query করতে আসলে কত খরচ হয়, per model, per day, Chinese এবং Western id এক page-এ একসাথে।

curl -s https://api.apisrouter.com/v1/models \
  -H "Authorization: Bearer $APISROUTER_API_KEY" | head -50

curl -s https://api.apisrouter.com/v1/chat/completions \
  -H "Authorization: Bearer $APISROUTER_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"deepseek-v4-pro",
       "messages":[{"role":"user","content":"ping"}]}'

সাধারণ প্রশ্ন