Perakaunan kos API ejen kewangan

Pilih unit kerja sebelum menganggar kos

Tentukan sama ada anda mengukur taklimat satu syarikat, satu perbandingan pendapatan, satu kemas kini senarai pantau atau satu eksperimen kuantitatif. Aplikasi berbilang ejen boleh membuat banyak permintaan model dalam unit itu. Asingkan tugas yang selesai secara teknikal daripada artifak yang diterima penyemak. Kos setiap artifak diterima menangkap percubaan dan kerja ditolak yang terlepas daripada metrik kos setiap respons. Kekalkan takrif tugas stabil apabila membandingkan model; jika tidak, larian lebih murah mungkin sekadar membaca sumber lebih sedikit atau melangkau semakan wajib.

Kekalkan lejar permintaan yang disambungkan kepada tugas

Rekodkan identiti tugas, peringkat, peranan model, model diminta, identiti permintaan diperhatikan, nombor percubaan dan status akhir. Simpan penggunaan token dan rekod pengebilan terpakai apabila tersedia. Tamat masa klien tidak membuktikan tiada pengiraan berlaku atau permintaan itu percuma. Kekalkan keadaan pengebilan belum selesai sehingga boleh direkonsiliasikan. Jangan masukkan kunci, prompt peribadi atau dokumen sumber berlesen lengkap ke dalam lejar kos yang akan dikongsi dengan khalayak luas.

{
  "job_id": "REQUIRED",
  "stage": "research_synthesis",
  "model_role": "review",
  "requested_model": "CURRENT_CATALOG_MODEL_ID",
  "request_id": null,
  "attempt": 1,
  "input_tokens": null,
  "output_tokens": null,
  "charge": null,
  "billing_status": "unreconciled",
  "artifact_status": "pending"
}

Gunakan kontrak pengebilan sebenar

Gunakan sumber harga semasa untuk model dipilih dan rekodkan versi atau tarikh pengambilannya bersama anggaran. Bezakan input biasa, input cache, output dan kategori berbayar lain mengikut kontrak itu. Jangan kira dua kali subset cache yang sudah termasuk dalam jumlah input. Harga penyedia rasmi dan caj gerbang ialah kontrak berlainan; jangan gantikan satu dengan yang lain secara senyap. Jika respons tiada penggunaan, gunakan bukti pengebilan berautoriti apabila tersedia dan kekalkan ketidakpastian sehingga itu.

Kira bahagian bukan LLM penyelidikan kewangan

Tambah akses data kewangan, ekstraksi dokumen, storan, pengiraan tempatan dan semakan manusia sebagai kategori berasingan. Eksperimen Qlib atau larian latihan FinRL boleh menggunakan sumber besar tanpa membuat permintaan chat. Notebook FinGPT boleh menggabungkan perbualan ejen jauh dengan inferens sentimen tempatan. Laluan berbeza ini menerangkan tempat pengoptimuman membantu. Apabila melaporkan kos langganan atau infrastruktur bersama, nyatakan kaedah peruntukan dan bukannya berpura-pura setiap tugas menghasilkan caj yang dibilkan secara bebas.

Fahami mengapa kos berbilang ejen berganda

TradingAgents mempunyai peranan model dan peringkat penyelidikan berulang yang berasingan; jumlah bergantung pada jumlah sumber sebenar dan pusingan yang dikonfigurasi. Rangka kerja lain menambah penyelarasan, pengambilan, percubaan atau semakan kod berulang. Kira operasi ini daripada log dan bukannya bilangan ejen dinamakan. Pemfailan panjang yang sama mungkin diulang dalam beberapa prompt. Periksa tempat konteks digunakan semula dan sama ada setiap semakan tambahan menghasilkan manfaat penerimaan berbeza. Graf lebih besar tidak automatik menjadikan aliran kerja lebih ekonomi atau tepat.

Kurangkan kerja berulang sambil mengekalkan bukti

Ekstrak dokumen sekali bagi setiap sumber dan versi parser, kemudian hantarkan pakej bukti terhad ke peringkat seterusnya. Gunakan semula pengiraan deterministik mengikut identiti input dan formula. Hadkan pusingan debat serta percubaan dan pilih peranan model mengikut keperluan tugas sebenar. Sahkan kesan pada output diterima, bukan kiraan permintaan sahaja. Ringkasan agresif mungkin menghilangkan kelayakan paling penting; penggunaan semula cache mungkin menyampaikan pemfailan lapuk. Setiap pengoptimuman perlu dapat mengesan input basi dan mengekalkan sumber asal untuk semakan.

Bandingkan aliran kerja pada pakej tugas yang sama

Gunakan set penerbit, tarikh had, pakej sumber dan kriteria penerimaan yang sama. Rekod artifak lengkap, artifak ditolak, tugas separa dan pembetulan manusia. Bandingkan taburan kos tugas yang terhasil dan bukannya memilih satu larian baik. Untuk senarai pantau berjadual, asingkan peristiwa tidak berubah daripada peristiwa sumber baharu kerana kerjanya berbeza. Untuk penyelidikan kuantitatif, sertakan bilangan hipotesis dicuba dan pengiraan tempatan. Terbitkan konfigurasi dan sempadan bukti bersama angka diukur kemudian supaya penyemak lain mengetahui perkara yang sebenarnya diliputi.

Status bukti dan ukuran

Halaman ini membekalkan kaedah perakaunan, bukan harga setiap laporan yang diukur atau jadual harga model semasa. Sumber projek rasmi menetapkan tanggungjawab runtime berbeza; halaman harga semasa membekalkan terma komersial. Tiada lejar penggunaan aliran kerja kewangan APIsRouter dijana untuk panduan ini. Kes diukur perlu merangkumi bukti permintaan disunting, caj direkonsiliasikan, kos sumber bukan model dan kiraan artifak diterima.

Soalan lazim