Rozliczanie kosztów API agenta finansowego

Wybierz jednostkę pracy przed oszacowaniem kosztu

Zdefiniuj, czy mierzysz jedno opracowanie spółki, jedno porównanie wyników, jedną aktualizację listy obserwacyjnej czy jeden eksperyment ilościowy. Aplikacja wieloagentowa może wykonywać wiele żądań modelu wewnątrz tej jednostki. Oddziel zadania ukończone technicznie od artefaktów zaakceptowanych przez recenzenta. Koszt na zaakceptowany artefakt uwzględnia ponowienia i odrzuconą pracę, których nie pokazuje metryka kosztu na odpowiedź. Przy porównywaniu modeli utrzymuj definicję zadania bez zmian, bo tańszy przebieg może po prostu przeczytać mniej źródeł lub pominąć wymagany etap przeglądu.

Prowadź dziennik żądań połączony z zadaniem

Zapisuj tożsamość zadania, etap, rolę modelu, żądany model, zaobserwowaną tożsamość żądania, numer próby i końcowy status. Gdy jest dostępne, zachowuj użycie tokenów i odpowiedni rekord rozliczenia. Timeout klienta nie dowodzi, że nie wykonano obliczeń ani że żądanie było bezpłatne. Utrzymuj nierozstrzygnięty stan rozliczenia do czasu uzgodnienia. Nigdy nie umieszczaj kluczy, prywatnych promptów ani pełnych licencjonowanych dokumentów źródłowych w dzienniku kosztów udostępnianym szerszej grupie.

{
  "job_id": "REQUIRED",
  "stage": "research_synthesis",
  "model_role": "review",
  "requested_model": "CURRENT_CATALOG_MODEL_ID",
  "request_id": null,
  "attempt": 1,
  "input_tokens": null,
  "output_tokens": null,
  "charge": null,
  "billing_status": "unreconciled",
  "artifact_status": "pending"
}

Stosuj rzeczywisty kontrakt rozliczeniowy

Dla wybranego modelu używaj aktualnego źródła cen i zapisuj jego wersję lub datę pobrania przy szacunku. Rozróżniaj zwykłe dane wejściowe, dane wejściowe z cache, wyjście i inne rozliczane kategorie zgodnie z tym kontraktem. Nie licz ponownie podzbioru z cache już zawartego w sumie danych wejściowych. Ceny oficjalnego dostawcy i opłaty gatewaya są różnymi kontraktami; żaden nie powinien po cichu zastępować drugiego. Jeśli odpowiedź nie zawiera użycia, wykorzystaj autorytatywne dowody rozliczenia, gdy są dostępne, i do tego czasu zachowaj niepewność.

Uwzględnij części badań finansowych niezwiązane z LLM

Dodaj dostęp do danych finansowych, ekstrakcję dokumentów, przechowywanie, obliczenia lokalne i przegląd człowieka jako osobne kategorie. Eksperyment Qlib lub przebieg trenowania FinRL może zużywać znaczne zasoby bez wykonywania żądania czatu. Notebook FinGPT może łączyć zdalną rozmowę agenta z lokalnym wnioskowaniem o sentymencie. Rozdzielenie tych ścieżek pokazuje, gdzie optymalizacja może pomóc. Przy raportowaniu wspólnych kosztów subskrypcji lub infrastruktury określ metodę alokacji, zamiast udawać, że każde zadanie wygenerowało niezależnie naliczoną opłatę.

Zrozum, dlaczego koszty wieloagentowe się mnożą

TradingAgents ma osobne role modelu i iteracyjne etapy badań; suma zależy od rzeczywistego wolumenu źródeł i skonfigurowanych rund. Inne frameworki dodają koordynację, pobieranie, ponowienia lub powtarzane rewizje kodu. Licz te operacje z logów, zamiast szacować je na podstawie liczby nazwanych agentów. Ten sam długi raport może być powtarzany w kilku promptach. Sprawdź, gdzie kontekst jest ponownie używany i czy każdy dodatkowy przegląd daje odrębną korzyść akceptacyjną. Większy graf nie jest automatycznie tańszym ani dokładniejszym procesem badawczym.

Ograniczaj powtórną pracę, zachowując dowody

Wyodrębnij dokument raz dla każdej wersji źródła i parsera, a następnie przekaż ograniczone pakiety dowodów do kolejnych etapów. Deterministyczne obliczenia wykorzystuj ponownie według tożsamości danych wejściowych i wzoru. Ogranicz rundy debaty i próby ponowień, a role modeli wybieraj według rzeczywistych wymagań zadania. Wpływ sprawdzaj na zaakceptowany wynik, a nie tylko na liczbę żądań. Agresywne podsumowanie może pominąć najważniejsze zastrzeżenie; ponowne użycie cache może dostarczyć nieaktualny raport. Każda optymalizacja potrzebuje sposobu wykrywania nieświeżych danych wejściowych i zachowania oryginalnego źródła do przeglądu.

Porównuj procesy na tym samym pakiecie zadania

Używaj tego samego zbioru emitentów, punktu odcięcia, pakietu źródłowego i kryteriów akceptacji. Zapisuj ukończone artefakty, odrzucone artefakty, zadania częściowe i poprawki człowieka. Porównuj wynikowy rozkład kosztów zadań, zamiast wybierać jeden korzystny przebieg. Dla planowanej listy obserwacyjnej oddziel zdarzenia bez zmian od zdarzeń z nowym źródłem, bo wymagają innej pracy. W badaniach ilościowych uwzględnij liczbę testowanych hipotez i obliczenia lokalne. Przy każdej późniejszej zmierzonej wartości publikuj konfigurację i granice dowodów, aby recenzent wiedział, czego naprawdę dotyczy porównanie.

Status dowodów i pomiaru

Ta strona dostarcza metody rozliczania, a nie zmierzonej ceny raportu ani aktualnej tabeli cen modeli. Oficjalne źródła projektów ustanawiają różne odpowiedzialności czasu działania, a aktualna strona cen dostarcza warunków handlowych. Na potrzeby tego przewodnika nie utworzono dziennika użycia procesu finansowego APIsRouter. Zmierzony przypadek powinien zawierać zredagowane dowody żądań, uzgodnione opłaty, koszty zasobów innych niż model i liczbę zaakceptowanych artefaktów.

Częste pytania