Jalankan agent Letta pada endpoint serasi OpenAI.

Jawapan pantas: dua pembolehubah environment pada pelayan.

Laluan Letta yang didokumentasikan untuk endpoint serasi OpenAI ialah konfigurasi environment pada pelayan self-hosted: tetapkan OPENAI_API_BASE kepada URL endpoint dan OPENAI_API_KEY kepada kuncinya semasa memulakan pelayan, dan Letta mendaftarkan model yang dilayani endpoint itu. Bagi APIsRouter base itu ialah https://api.apisrouter.com/v1. Tiada medan base-URL per-agent dalam UI; endpoint adalah keputusan peringkat pelayan, itulah sebab environment adalah permukaan yang penting. Satu keperluan tidak boleh dirunding dan berbaloi dibaca sebelum apa-apa lagi: dokumentasi Letta menyatakan bahawa endpoint serasi OpenAI mesti menyokong function calling, kerana gelung agent dibina atas tool call. Endpoint yang hanya melakukan chat completions biasa langsung tidak boleh menjalankan agent Letta. Model katalog pada APIsRouter bertutur tool calling standard melalui /v1/chat/completions, bentuk yang diharapkan Letta.

docker run \
  -v ~/.letta/.persist/pgdata:/var/lib/postgresql/data \
  -p 8283:8283 \
  -e OPENAI_API_KEY="$APISROUTER_API_KEY" \
  -e OPENAI_API_BASE="https://api.apisrouter.com/v1" \
  letta/letta:latest

Mengapa Letta bergantung pada modelnya lebih daripada app sembang.

Letta (letta-ai di GitHub, lebih kurang 24K bintang) berkembang daripada projek penyelidikan MemGPT dan membina agent stateful: agent dengan memori berkekalan, self-editing yang bertahan merentasi sesi. Di mana klien sembang menghantar mesej anda dan mencetak balasan, agent Letta menjalankan gelung dalaman pada setiap interaksi, menaakul tentang apa yang diketahuinya, memanggil alat memori untuk membaca dan menulis semula memori teras dan storan arkib sendiri, dan hanya kemudian menghasilkan respons. Seni bina itu mempunyai dua akibat untuk penghalaan endpoint. Pertama, setiap langkah gelung adalah permintaan tool-calling, itulah sebab function calling adalah keperluan keras dan bukan nice-to-have; model yang tersilap dengan skema alat tidak merosot dengan anggun di sini, ia merosakkan keupayaan agent untuk mengingati. Kedua, volum permintaan per interaksi lebih tinggi daripada yang dicadangkan transkrip perbualan, kerana pengurusan memori menembak bersebelahan balasan yang kelihatan. Id model yang melayani semua ini adalah rentetan biasa kepada endpoint, jadi dengan gateway multi-vendor di sebalik OPENAI_API_BASE, id Claude boleh menjalankan gelung agent manakala id pantas melayani agent yang lebih ringan pada pelayan yang sama, masing-masing dialamatkan mengikut handle-nya.

Status sokongan yang jujur, terus daripada upstream.

Dokumentasi Letta sendiri menyatakan endpoint proksi OpenAI tidak disokong secara rasmi dan anda berkemungkinan menghadapi ralat, mengesyorkan sambungan penyedia langsung sebaliknya. Amaran itu wajar dipetik dan bukan ditimbus, kerana kebanyakan halaman tentang topik ini berpura-pura ia tidak wujud. Apa yang bermaksud dalam praktik lebih sempit daripada bunyinya: Letta menguji terhadap API first-party, dan endpoint yang menyimpang daripada semantik OpenAI, terutamanya sekitar tool calling, menghasilkan kegagalan yang tidak akan diutamakan upstream. Endpoint yang benar-benar melaksanakan spesifikasi, termasuk tool call, berjalan lancar, dan itulah tepat bar keserasian yang menentukan hidup atau mati gateway. Sejarah sokongan juga mempunyai satu pepijat sebenar yang berbaloi diketahui. Sehingga awal 2026, model yang didaftarkan melalui OPENAI_API_BASE diberi awalan automatik sebagai penyedia openai-proxy manakala penciptaan agent mengesahkan terhadap senarai awalan diterima yang lebih pendek, jadi model proksi berdaftar tetapi tidak boleh digunakan untuk mencipta agent. Isu itu ditutup dengan pembetulan pada Januari 2026; jika anda menjalankan pelayan lebih lama yang disematkan dan penciptaan agent menolak model yang jelas disenaraikan pelayan, ketidakpadanan itulah yang anda hadapi, dan naik taraf adalah pembetulannya. Satu lagi sasaran bergerak: permukaan produk Letta telah beralih, dan dokumentasinya kini mengarahkan pengguna baharu ke mod deployment lebih baharu sambil menyatakan imej Docker klasik tidak lagi permukaan yang diselenggara secara aktif. Pembolehubah environment di atas adalah mekanisme yang didokumentasikan untuk pelayan self-hosted; semak dokumentasi semasa untuk artifak pelayan mana yang disyorkan upstream pada minggu anda deploy.

# after the server is up, list models Letta knows about
curl -s http://localhost:8283/v1/models/ | head -50
# use the handle exactly as listed when creating agents

Memilih model untuk agent stateful.

Penilaian yang penting ialah kesetiaan gelung: cipta agent ujian, buat perbualan yang memaksa kemas kini memori, kemudian baca memori teras agent dan sahkan ia benar-benar berubah. Model boleh menulis balasan yang menawan dan masih gagal kontrak memori, dan hanya ujian gelung menangkap itu.

• Penyuntingan memori adalah kerja alat berstruktur. claude-sonnet-4-6 dan gpt-5.5 mengendalikan gelung tulis-semula-memori-sendiri dengan boleh dipercayai, kecekapan teras yang diperlukan agent Letta.
• Agent yang bertahan lama mengumpul konteks. Model yang kekal koheren jauh ke dalam tetingkap konteks lebih penting di sini berbanding sembang stateless, tempat claude-opus-4-7 layak mendapat slotnya untuk pembantu berisiko tinggi.
• Armada agent ringan, satu per pengguna atau per tugas, adalah beban kerja volum. claude-haiku-4-5-20251001 mengekalkan kos per-agent rata sambil tetap membuat tool call yang cekap.
• deepseek-v4-pro berbaloi diuji untuk agent yang mencampurkan penaakulan dengan trafik dwibahasa; keperluan tool-calling adalah pintu gerbang, jadi uji gelungnya, bukan hanya prosanya.
• Apa sahaja yang anda pilih, pilih per agent. Pelayan mendaftarkan seluruh katalog, dan setiap agent mengikat kepada handle, jadi concierge berat-memori dan agent tugas sekali guna boleh menjalankan id berbeza bersebelahan.

Bayar mengikut penggunaan · bawah harga rasmi

Selected models are priced below official list prices. Exact input, output, cache, and per-request prices are shown for each model.

Mod kegagalan khusus Letta.

Penciptaan agent menolak model yang disenaraikan pelayan adalah pepijat awalan sejarah. Model yang didaftarkan melalui proksi membawa awalan penyedia yang enggan diterima penciptaan agent pada versi terjejas. Pembetulan mendarat pada Januari 2026; pada keluaran semasa handle yang ditunjukkan dalam senarai model adalah handle yang berfungsi. Jika anda disematkan kepada imej lebih lama, ini adalah sebab tunggal terkuat untuk naik taraf sebelum menyahpepijat apa-apa lagi. Agent yang membalas tetapi tidak pernah mengingati adalah kegagalan tool-calling. Sama ada endpoint tidak melaksanakan function calling, atau model di sebalik id mengendalikan skema alat dengan buruk. Simptomnya ialah perbualan yang berfungsi manakala memori teras tidak pernah dikemas kini. Uji agent yang sama pada claude-sonnet-4-6 untuk memisahkan masalah endpoint daripada masalah model. Pembolehubah environment yang ditetapkan di tempat yang salah adalah klasik Docker: OPENAI_API_BASE yang dieksport dalam shell anda tidak melakukan apa-apa untuk kontainer yang dimulakan tanpa flag -e. Pembolehubah itu mesti mencapai proses pelayan itu sendiri. Dan kerana endpoint adalah peringkat pelayan, ingat radius letupan: menukar OPENAI_API_BASE memindahkan setiap agent pada pelayan itu. Tiada override endpoint per-agent, jadi satu pelayan per gateway adalah topologi bersih, dengan pilihan model per agent membuat pembezaan.

Siapa yang menghalakan Letta melalui gateway.

• Pembina pembantu berkekalan yang mahukan penyuntingan memori berkualiti Claude tanpa akaun vendor, kunci, dan permukaan pengebilan berasingan untuk setiap model yang mereka cuba.
• Pasukan yang menjalankan armada agent di mana setiap pengguna mendapat agent, dan penjejakan penggunaan per-kunci menukar kos sebenar lapisan memori menjadi laporan yang boleh dibaca.
• Penyelidik yang membandingkan cara model mengendalikan memori self-editing, di mana setiap calon adalah perubahan handle pada agent ujian dan bukan migrasi penyedia.
• Self-hoster dalam persekitaran di mana akses API vendor langsung disekat dan satu endpoint gateway adalah apa yang dibenarkan polisi rangkaian.
• Pembangun tanpa akses kepada pengebilan vendor tertentu. Akses berasaskan top-up tanpa keperluan kad menghapuskan kebergantungan pendaftaran setiap penyedia.

Sahkan endpoint dan nyahpepijat agent pertama.

Sahkan gateway sebelum pelayan: senaraikan model dengan kunci itu, dan jalankan satu chat completion dengan takrifan alat dilampirkan, kerana tool calling adalah keupayaan yang benar-benar bergantung padanya Letta. Jika round trip tool-call berfungsi dalam curl, separuh endpoint terbukti. Kemudian mulakan pelayan dengan dua pembolehubah itu dan baca senarai modelnya. Model yang muncul di sana membuktikan pendaftaran; agent yang berjaya dicipta daripada handle yang disenaraikan membuktikan laluan awalan; perbualan yang mengemas kini memori teras membuktikan gelung dari hujung ke hujung. Nyahpepijat mengikut susunan itu, kerana setiap peringkat mempunyai set kegagalan yang berbeza: env var, versi pelayan, dan kecekapan alat model masing-masing. Sebaik sahaja agent berjalan, konsol APIsRouter menunjukkan model per permintaan, kiraan token, dan perbelanjaan. Agent stateful membil lebih per interaksi daripada yang dicadangkan transkrip mereka, kerana pengurusan memori berjalan di sebalik setiap balasan, dan log penggunaan adalah tempat pengganda tersembunyi itu menjadi nombor yang boleh anda belanjawankan.

curl -s https://api.apisrouter.com/v1/chat/completions \
  -H "Authorization: Bearer $APISROUTER_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"claude-sonnet-4-6",
       "messages":[{"role":"user","content":"What is 2+3?"}],
       "tools":[{"type":"function","function":{
         "name":"calc","description":"add numbers",
         "parameters":{"type":"object","properties":{
           "a":{"type":"number"},"b":{"type":"number"}}}}}]}'

Soalan lazim