RAGFlow のチャットを、OpenAI-API-Compatible base URL で動かす。

早わかり: Model providers ページでモデルを追加する。

RAGFlow にログインし、右上のロゴをクリックして Model providers を開きます。Models to be added の下で OpenAI-API-Compatible のカードを探し、Add the model をクリックします。Add LLM ダイアログで、Model type を chat に設定し、Model name に正確なカタログの id を入力し、Base url に https://api.apisrouter.com/v1 を入れ、API-Key にキーを貼り付け、Max tokens をモデルの実際のコンテキストサイズに設定します。OK をクリックしてください。 そして実際に使えるようにします。同じページで Set default models を開き、新しいモデルをデフォルトの LLM として選びます。上書きしない限り、チャットアシスタント、データセットの質問応答、エージェントノードはすべてそのデフォルトに解決されます。最初の実行の前に知っておくべき鋭い落とし穴が1つあります。RAGFlow の Max tokens フィールドはデフォルトで 512 であり、そのツールチップ自体が、不正な値はエラーを引き起こすと警告しています。そのため、モデルのドキュメント記載のウィンドウを入力することは、最適化ではなくセットアップの一部です。

Model type:  chat
Model name:  deepseek-v4-pro
Base url:    https://api.apisrouter.com/v1
API-Key:     sk-YOUR-APISROUTER-KEY
Max tokens:  128000

then: Set default models → LLM → deepseek-v4-pro

RAGFlow がモデルを作業にどう紐づけるか。

RAGFlow(GitHub 上では infiniflow、スター数はおよそ85K)は、深いドキュメント理解に基づく RAG エンジンです。PDF や表のレイアウトを理解したパース、根拠づけられた引用を伴うチャンク分割、データセット、チャットアシスタント、その上のエージェントワークフローを備えています。そのパイプラインの異なる部分は、異なるモデルのスロットに紐づき、その紐づけは明示的です。 チャットモデルは回答を生成します。エンベディングモデルは、検索のためにチャンクをベクトル化します。リランクモデルは候補を並べ替え、img2txt モデルはパース中に図を説明します。OpenAI-API-Compatible プロバイダーは、これらのタイプ向けにモデルを個別に登録でき、Add LLM ダイアログのそれぞれが、タイプ・id・base url・キーという1つの紐づけを作ります。登録されたすべてのチャットモデルは、Model name をワイヤー上の文字列として、base url に標準的なチャット補完を話すため、ゲートウェイが提供する id なら、ベンダーに関わらず有効です。 この分離は運用上重要です。回答モデルを gpt-5.5 から claude-sonnet-4-6 に切り替えるのは、いつでも安全ですが、エンベディングモデルはインデックス済みのベクトルに溶接されています。RAGFlow は、すでにチャンクを持つデータセットでエンベディングモデルを切り替える際、互換性チェックでこれを強制しており、実践的なルールはよりシンプルです。エンベディングのセットアップは一度決め、チャットモデルは自由にチューニングできる層として扱ってください。

中国のモデルと西側のモデルを、一緒に1つのキーで。

RAGFlow のデプロイはバイリンガルに偏っています。中国発のチームが多言語混在のドキュメントベースを処理し、海外のチームが特に中国語のドキュメント向けに中国のモデルを求めます。直接利用すると、この組み合わせは苦痛です。DeepSeek・Zhipu・Moonshot・Alibaba はそれぞれ別々に請求し、海外から支払うのが厄介なものもあれば、Anthropic や OpenAI は逆方向から厄介だからです。 1つの OpenAI-API-Compatible の base url を通せば、この組み合わせはただ Add LLM ダイアログが増えるだけです。中国語の多いコーパスには deepseek-v4-pro と glm-5.2、強力な地域の代替として qwen3.7-max と kimi-k2.6、回答の洗練さが最も重要な場面には claude-sonnet-4-6。base url は同じ、キーも同じ、id はそのままカタログからです。 アジアのチームにとっては、同じ経路が逆方向にも機能します。Claude や GPT の id が、西側のカードなしで前払い残高から届くようになり、これは多くの RAGFlow ショップにとって、あるモデルを実際に評価できるか、それについて読むだけで終わるかの違いです。 知っておく価値のある、起動時の経路もあります。service_conf.yaml.template は user_default_llm ブロック(factory、api_key、base_url)を受け付けるため、新規インストールを事前配線済みの状態で立ち上げられます。RAGFlow のドキュメントは、ログイン後は設定が Model providers ページでのみ行われると明記しているため、この YAML は常時有効な設定ではなく、初回起動時のプロビジョニングとして扱ってください。

user_default_llm:
  factory: OpenAI-API-Compatible
  api_key: sk-YOUR-APISROUTER-KEY
  base_url: https://api.apisrouter.com/v1

ドキュメントパイプライン向けのモデル選び。

検索の品質が天井を決め、回答モデルがそこにどれだけ近づけるかを決めます。あなたの実際のコーパスで回答モデルを A/B テストしてください。同じデータセット、同じ質問、2つの id に固定した2つのアシスタントで、APIsRouter コンソールのモデルごとの支出を、回答に対する自分自身の判断と並べて見てください。

• 検索されたチャンクに基づくグラウンデッドな回答は、中間ティアのモデルが輝く、入力量の多い作業です。deepseek-v4-pro と glm-5.2 は、バイリンガルなコーパスで引用に沿った回答をよく担います。
• qwen3.7-max と kimi-k2.6 は、回答がネイティブな中国語として読める必要がある場面で試す価値がある、地域の重量級です。中国語モデル間の品質差は、検索よりも生成の方で大きく現れます。
• claude-sonnet-4-6 は、統合の質そのものが製品価値になる回答スロットに値します。エグゼクティブサマリー、契約分析、人が編集せずに転送するあらゆるものです。
• ツールを呼び出すエージェントワークフローには、信頼できる function calling が必要です。まず claude-sonnet-4-6 でエージェントの経路をテストし、次にどの地域の id があなたのフローでそれに匹敵するか確認してください。
• Max tokens は登録ごとです。あるアシスタントには長い回答が必要で、別のアシスタントには短い回答が必要な場合、同じ id を異なる上限で2回登録してください。

従量課金 · 公式価格より安い

Selected models are priced below official list prices. Exact input, output, cache, and per-request prices are shown for each model.

RAGFlow に特有の失敗パターン。

Max tokens のデフォルトが、定番の問題です。512 のままにしておくと、長い回答が、モデルの問題に見える形で切り詰められたりエラーになったりします。ツールチップ自体が警告しているとおり、登録時にドキュメント記載のコンテキストサイズを設定してください。 登録したモデルがすぐにエラーになる場合、たいてい Model name の綴り(/v1/models の一覧と正確に一致していなければなりません)か、/v1 サフィックスが欠けた Base url が原因です。RAGFlow は入力した値にルートパスを付け足すからです。 登録後に何も起きないのは、デフォルトの問題です。モデルを登録することと、それを選択することは別です。Set default models を確認し、ワークスペースのデフォルトに優先するアシスタントごとのモデル設定も確認してください。 エンベディングの混乱がリストを締めくくります。互換プロバイダーを通じてエンベディング id を紐づける場合は、インデックス作成前に、エンドポイントが実際にそれを提供しているか確認してください。そして、データセットが一度チャンクを持つと、そのエンベディングモデルの変更は類似度チェックでゲートされ、ゼロからの再インデックスが必要になる場合があります。チャットモデルの変更にはそのようなコストは一切かからず、だからこそ、実験すべきはチャット層なのです。

ゲートウェイ経由で RAGFlow を使うのは誰か。

• DeepSeek・GLM・Qwen・Kimi を、Claude や GPT の id と、1つの base url と1つのキーの裏で混在させる、バイリンガルなドキュメントチーム。
• 西側のカードなしで前払い残高から Claude 級の回答を求めるアジアのチームと、地域の請求手段なしで中国のモデルを求める西側のチーム。
• 社内ナレッジベースのために RAGFlow を運用するセルフホスターで、デプロイ全体のクラウド支出を1つの利用ログにまとめたい人。
• 固定のコーパスで回答モデルを比較するビルダーで、各候補がベンダーアカウントではなく1つの Add LLM ダイアログで済む人。
• service_conf.yaml.template から新規インストールをプロビジョニングし、初回起動時にエンドポイントを事前配線しておきたい運用チーム。

エンドポイントを検証し、最初のチャットをデバッグする。

まずモデル一覧を curl で確認してください。Model name フィールドは自由記述であり、一覧から id をコピーすることで、最もよくある失敗を未然に防げます。次に、登録する予定の id に対して1回チャット補完を実行します。 RAGFlow の中では、モデルを登録し、デフォルトの LLM として設定し、データセットを絡める前に普通のチャットアシスタントでテストしてください。認証エラーは API-Key を、not-found は Model name を、接続エラーは Base url かコンテナの egress を指しています。エンドポイントに到達しなければならないのはブラウザではなく RAGFlow サーバーだからです。切り詰められたり失敗したりする長い回答は、Max tokens を指し示しています。 チャットが流れ始めたら、APIsRouter コンソールがリクエストごとのモデル、トークン数、支出を表示します。RAG のトラフィックは入力が支配的であり、利用ログこそが、あなたのコーパスを問い合わせるのに実際いくらかかるかを、モデルごと・日ごとに、中国と西側の id を1ページにまとめて見る場所です。

curl -s https://api.apisrouter.com/v1/models \
  -H "Authorization: Bearer $APISROUTER_API_KEY" | head -50

curl -s https://api.apisrouter.com/v1/chat/completions \
  -H "Authorization: Bearer $APISROUTER_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"deepseek-v4-pro",
       "messages":[{"role":"user","content":"ping"}]}'

よくある質問