OpenAI Decisions API otvara put jeftinijem nadzoru AI agenata
OpenAI najavljuje Decisions API
OpenAI je na događaju Dev Day predstavio Decisions API u ograničenom pregledu. Izvršni direktor Sem Altman opisao je servis kao način da model Luna bira među unapred definisanim opcijama, od kategorija za klasifikaciju slika do mogućih ponašanja AI agenata. Najava funkcionalno podseća na Jev, model kompanije TypeSafe AI namenjen automatizaciji softvera.
Suština pristupa nije u tome da model svaki put generiše slobodan tekst, već da za ponuđene izbore isporuči verovatnoće. Altman navodi da fokusiranje na konkretan izbor može da donese veliku brzinu, uz zadržavanje razumevanja slika, široke jezičke podrške i bezbednosnih zaštita.
Zašto modeli odluke privlače pažnju
Veliki jezički modeli često nisu najpogodnije rešenje za svaku softversku odluku: mogu biti sporiji i skuplji od sistema koji rešava ograničen skup klasifikacionih zadataka. Razvojni timovi zato koriste Jev kao dopunu LLM-ovima, sa ciljem da rutinske odluke donose brže i uz manji trošak.
Koliko će Decisions API biti sličan Jevu još nije jasno. OpenAI ga je objavio kao ograničeni pregled, a javnih iskustava programera sa njegovim radom zasad nema mnogo. Slične API-je već razvijaju i druge kompanije, pa sama brzina i niska cena neće biti jedini kriterijum kvaliteta.
Ključno pitanje je kalibracija izlaza prema stvarnim okolnostima. Diogo Almeida iz TypeSafe AI ističe sintetičke podatke kao osnovu za stvaranje statistički korisnih rezultata. Drugim rečima, jeftina odluka nema dovoljnu vrednost ako sistem ne razlikuje pouzdano prihvatljivu radnju od rizične.
Nadzor svake radnje AI agenta
Jedna od mogućih primena jeste nadzor agentskih sistema. OpenAI već koristi zaseban model za uočavanje problematičnih radnji svojih agenata, ali uz značajan računarski trošak. Shapor Naghibzadeh iz startapa QueryStory napravio je demonstraciju u kojoj Jev proverava svaku radnju agenta u odnosu na zadati zadatak, blokira radnje za koje ima visoko poverenje da su loše, neizvesne označava za pregled, a ostale propušta.
U toj demonstraciji, nadzor ove vrste koštao bi 2,94 dolara uz Jev, naspram 372 dolara uz frontier LLM. To je posebno važno kada agent izvodi veliki broj pojedinačnih koraka, jer model odluke može biti dovoljno jeftin da proverava svaku akciju, a ne samo izabrane tačke procesa.
Takav razvoj se uklapa i u šire tržišno nadmetanje, gde Microsoft i OpenAI na korporativnom AI tržištu dodatno osvetljava pritisak na ponuđače AI rešenja za preduzeća. Za poslovanje je praktičan zaključak da pri uvođenju agenata treba posebno meriti cenu i pouzdanost nadzora po radnji, umesto da se bezbednosna provera posmatra kao jedinstven, neograničeno skup sloj.