Volumul de tokeni a încetat să fie o măsură utilă pentru adopție când agenții au început să execute procese în mai mulți pași, timp de minute sau ore. Mai multă utilizare poate însemna mai multă muncă utilă. Poate însemna și retry-uri, context supradimensionat, un model nepotrivit sau un agent care continuă după ce nu mai produce valoare.
Schimbările recente de produs fac tranziția vizibilă. AWS a lansat CloudWatch Coding Agent Insights cu trenduri de cost, alerte pentru facturarea tokenilor și comparații cost-output. GitHub a mutat controlul costurilor Copilot în setările de billing, cu bugete, limite la nivel de utilizator, exporturi și acces prin API. Guvernanța costului devine parte din stratul operațional al agenților.
Tokenii sunt un contor, nu un rezultat
Riscul este deja concret. O investigație Financial Times, rezumată de Tom's Hardware, a descris un proiect intern Amazon care folosea Claude Sonnet pentru a asocia datele autorilor cu listările de produse. Costul raportat a ajuns la 1,8 milioane de dolari—cu 860% peste bugetul alocat—iar problema ar fi fost observată după aproximativ cinci luni.
Este un caz intern relatat de presă, nu o dovadă că orice implementare cu agenți va depăși bugetul. Totuși, scoate la vedere un control care poate lipsi oriunde: costul a devenit vizibil prea târziu și nu a fost legat suficient de strict de valoarea task-ului.
Numărul de tokeni poate explica o parte din factură. Nu poate arăta dacă workflow-ul a produs un pull request util, a rezolvat un caz de support, a reconciliat o excepție financiară sau a eliminat un handoff manual. Adopția și valoarea sunt măsuri diferite.
Pune bugetul pe workflow
Bugetele agenților nu trebuie să existe doar într-un dashboard central de infrastructură. Fiecare workflow pus în producție are nevoie de un owner din business și de limite operaționale clare.
Ownerul trebuie să știe ce job poate executa agentul, ce modele poate apela, cum arată un output acceptat și când trebuie oprită rularea. Echipele de engineering sau platformă pot întreține telemetria și rutarea. Finance poate stabili limitele comerciale. Ownerul workflow-ului rămâne responsabil pentru valoarea produsă de cost.
De aceea, un plafon unic de tokeni pentru întreaga organizație este prea rigid. Un workflow de cercetare cu valoare ridicată și un task repetitiv de formatare nu ar trebui să primească același model, aceeași fereastră de context sau același traseu de escaladare. Capabilitatea și bugetul se rutează după job.
Construiește bucla minimă de control
Înainte ca un agent să treacă de pilot, definește:
- Owner: o persoană responsabilă pentru valoarea workflow-ului și pentru excepții.
- Buget: o limită per rulare, zi sau lună, potrivită modului în care funcționează procesul.
- Alertă: un prag timpuriu care ajunge la owner înainte de consumarea limitei ferme.
- Semnal de output: o unitate verificabilă, precum un code change acceptat, un raport revizuit, un caz rezolvat sau o reconciliere finalizată.
- Regulă de rutare: cel mai mic model și context care ating calitatea cerută, cu escaladare doar când este justificată.
- Regulă de oprire: o condiție clară pentru eșecuri repetate, creșteri neobișnuite ale consumului sau cost fără output acceptat.
- Ritm de review: o comparație recurentă între cost, calitate, cycle time și rework uman.
Scopul nu este minimizarea fiecărui token. Este oprirea consumului fără ownership. Un agent util poate fi scump și totuși își poate justifica locul. Nu poate fi scump fără owner, limită sau dovadă de output.
Servicii relevante: Finance, Engineering, Implementare