Jalankan app Dify di endpoint OpenAI-API-compatible.

Jawaban singkat: install provider, tambahkan model per id.

Di Dify, buka Settings dan masuk ke Model Provider. Sejak Dify 1.0, provider berupa plugin: cari OpenAI-API-compatible (dipublikasikan oleh langgenius) di daftar atau install dari Marketplace, lalu klik Add Model di card-nya. Dialognya per-model: pilih Model Type (LLM untuk chat model), masukkan id katalog persis di Model Name, tempel key Anda di API Key, dan set API Base URL ke https://api.apisrouter.com/v1. Biarkan Completion mode di Chat, lalu set Model context size dan Upper bound for max tokens ke batas terdokumentasi dari id yang Anda tambahkan. Simpan, dan model muncul di daftar provider, bisa dipilih dari dropdown model setiap app. Ulangi dialog untuk setiap id yang Anda inginkan; dua menit per model, sekali saja.

Model Type:                LLM
Model Name:                claude-sonnet-4-6
API Key:                   sk-YOUR-APISROUTER-KEY
API Base URL:              https://api.apisrouter.com/v1
Completion mode:           Chat
Model context size:        200000
Upper bound for max tokens: 64000

Bagaimana Dify berbicara dengan provider compatible.

Dify (langgenius di GitHub, sekitar 149K bintang) adalah platform app LLM open-source terkemuka: workflow visual, node agent, pipeline RAG di atas knowledge base, dan app yang dipublikasikan dengan endpoint API-nya sendiri. Setiap node LLM di stack itu me-resolve ke model yang terdaftar di bawah provider tertentu. Provider OpenAI-API-compatible sengaja dibuat generik. Setiap model yang Anda tambahkan adalah record mandiri, id, endpoint, key, batas, dan Dify mengirim request chat-completions standar ke base url yang dikonfigurasi dengan Model Name Anda sebagai string model. Tidak ada yang di dalam request peduli vendor mana yang melatih model, jadi claude-sonnet-4-6 dan deepseek-v4-pro sama validnya dengan id GPT mana pun di sini, dan model berbeda bahkan bisa mengarah ke endpoint berbeda jika Anda pernah membutuhkannya. Registrasi per-model yang terasa seperti friksi juga adalah permukaan kontrolnya: nilai context size dan max-tokens yang Anda masukkan adalah yang dipakai orchestrator Dify untuk membudget prompt, memangkas riwayat percakapan, dan memvalidasi pengaturan node. Masukkan angka jujur dari dokumentasi model. Melebih-lebihkan context menghasilkan request yang ditolak endpoint; meremehkannya diam-diam memotong context yang diusahakan node RAG Anda untuk diambil.

Field yang benar-benar bekerja.

Model Name adalah nilai wire: harus cocok karakter demi karakter dengan listing /v1/models gateway, karena ia ikut di setiap request. Model display name opsional hanya melabel ulang UI. Completion mode harus tetap di Chat untuk setiap model di katalog saat ini; opsi Completion ada untuk endpoint text-completion lama dan menghasilkan request cacat terhadap chat model. Model context size dan Upper bound for max tokens adalah pasangan yang sering diburu-buru orang. Context size adalah window total model; upper bound membatasi berapa banyak token output yang boleh diminta node. Dify men-default-kan keduanya ke 4096, jauh di bawah yang didukung model saat ini, dan membiarkan default itu diam-diam melumpuhkan RAG dokumen panjang dan generasi long-form. Setel dari dokumentasi model, bukan dari kebiasaan. Selektor kapabilitas penting saat app Anda memakainya: Vision Support hanya untuk id yang menerima input gambar, dan pengaturan function-call agar cocok dengan dukungan tool-use model, karena node agent bergantung padanya. Klaim kapabilitas yang salah gagal saat runtime di dalam workflow, tempat yang lebih lambat untuk didebug dibanding dialog ini. Jika workspace Anda juga memakai model embedding atau rerank, provider yang sama mendaftarkannya di bawah entri Model Type-nya sendiri terhadap base url yang sama; konfirmasi id spesifiknya benar-benar dilayani endpoint sebelum menghubungkan pengaturan knowledge-base ke sana.

curl -s https://api.apisrouter.com/v1/models \
  -H "Authorization: Bearer $APISROUTER_API_KEY" | head -50
# register these ids verbatim as Model Name entries

Memilih model untuk workflow dan agent.

Halaman overview Dify sendiri menampilkan token per app, tapi tampilan penggunaan per-key di konsol APIsRouter menambahkan pemisahan per-model di semua app pada halaman yang sama, yang menjadi angka penentu id mana yang mempertahankan slot-nya.

• Node LLM workflow bersifat volume: step klasifikasi, ekstraksi, routing, summarization yang terpicu di setiap run. claude-haiku-4-5-20251001, gpt-5.4-mini, dan gemini-3.5-flash menjaga biaya per-run tetap datar.
• Node agent dan step reasoning kompleks pantas mendapat claude-sonnet-4-6, dan tool use-nya yang bisa diandalkan lebih penting di agent dibanding skor benchmark mentah.
• Node jawaban RAG membawa context yang diambil di setiap panggilan, jadi harga input mendominasi; deepseek-v4-pro layak diuji di tempat retrieval berat dan jawaban panjang.
• Daftarkan id cepat dan id kuat untuk peran yang sama lalu A/B per node: di Dify, mengganti model node adalah dropdown, bukan migrasi.
• App yang dipublikasikan mewarisi pilihan model node-nya, jadi keputusan dropdown yang Anda buat di editor adalah unit economics dari app yang Anda kirim.

Bayar sesuai pemakaian · di bawah harga resmi

Selected models are priced below official list prices. Exact input, output, cache, and per-request prices are shown for each model.

Mode kegagalan spesifik Dify.

Provider hilang dari daftar berarti plugin belum diinstall: sejak Dify 1.0 provider OpenAI-API-compatible dikirim sebagai plugin Marketplace, dan instance self-hosted baru mulai tanpanya. Install sekali per workspace. Model yang tersimpan tapi error saat pemakaian pertama biasanya salah satu dari tiga hal: Model Name yang tidak cocok dengan ejaan katalog, base url yang kehilangan /v1-nya (Dify menambahkan path route seperti /chat/completions ke apa yang Anda masukkan), atau nilai context/max-token melebihi yang diterima model. Error muncul di log app atau workflow; perbaikannya kembali ke dialog Add Model. Node agent yang gagal sementara node chat biasa berfungsi menunjuk ke pengaturan kapabilitas function-calling, atau ke model yang tool use-nya tidak memenuhi yang diharapkan strategi agent. Uji agent terhadap claude-sonnet-4-6 dulu untuk memisahkan masalah konfigurasi dari pilihan model. Dan pada instance self-hosted di balik aturan egress ketat, ingat container api Dify-lah yang harus mencapai endpoint, bukan browser Anda; curl dari dalam container itu menyelesaikan pertanyaan konektivitas dengan cepat.

Siapa yang merutekan Dify melalui gateway.

• Tim yang membangun app LLM yang ingin Claude, GPT, Gemini, dan DeepSeek bisa dipilih per node tanpa memelihara akun vendor per provider.
• Self-hoster yang menjalankan Dify untuk tool internal, di mana satu key di satu provider menjaga seluruh pengeluaran cloud workspace di satu log penggunaan.
• Builder yang membandingkan model pada workflow nyata: setiap kandidat adalah dialog Add Model dan tukar dropdown, bukan integrasi baru.
• Developer tanpa akses ke billing vendor tertentu. Akses berbasis top-up tanpa syarat kartu menghilangkan ketergantungan sign-up per provider.
• Agency yang mengirim app klien di Dify yang butuh key per-project agar pengeluaran model setiap klien melaporkan dirinya sendiri.

Verifikasi endpoint dan debug run pertama.

Curl listing model dulu dan daftarkan id dari outputnya; Model Name yang diketik manual adalah penyebab utama error not-found karena field-nya teks bebas. Lalu jalankan satu chat completion terhadap id yang Anda daftarkan, dengan key yang sama. Di dalam Dify, uji di app percobaan sebelum menghubungkan workflow produksi: tambahkan node LLM, pilih model baru, jalankan sekali. Error autentikasi menunjuk ke field API Key; not-found ke Model Name; error koneksi ke base url atau egress container; error panjang ke nilai context dan max-token. Setelah run mengalir, konsol APIsRouter menunjukkan model per request, hitungan token, dan pengeluaran. Workflow melipatgandakan panggilan LLM dengan cara yang sulit ditaksir dari editor, dan log penggunaan adalah tempat profil token nyata dari pipeline lima-node menjadi terlihat, per model, per hari.

curl -s https://api.apisrouter.com/v1/chat/completions \
  -H "Authorization: Bearer $APISROUTER_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"claude-haiku-4-5-20251001",
       "messages":[{"role":"user","content":"ping"}]}'

Pertanyaan umum