Upozorenja iz AI industrije: rizik, kontrola i vrednovanje kompanija
Istraživač Jacob Coxon napustio je Anthropic uz tvrdnju da vodeće AI kompanije „kockaju našim životima“, a lider kompanije za usklađivanje sistema javno je napisao da AI može da ubije sve ljude i da lično smatra da je verovatnoća za to veća od 10% u narednoj deceniji. Rasprava je dodatno dobila na značaju jer se Anthropic približava inicijalnoj javnoj ponudi akcija, odnosno IPO-u.
Upozorenje koje je proširilo debatu
U epizodi podkasta Equity, novinari TechCruncha razmatrali su zašto su apokaliptična upozorenja iz AI sektora odjeknula tako snažno. Coxonovo istupanje izdvojeno je od izjava rukovodilaca i kompanija: on je svoju zabrinutost potkrepio odlaskom sa posla, umesto da nastavi profesionalni rad na tehnologiji za koju veruje da može imati katastrofalne posledice.
Jedan od spornih elemenata bila je procena „veća od 10%“. U razgovoru je istaknuto da takav procenat nije objašnjen metodologijom ni proračunom, pa sam po sebi ne govori dovoljno o stvarnom nivou rizika. Takođe se postavilo pitanje koga obuhvata izraz „mi“ kada pojedinac govori o stavovima šire AI zajednice ili cele kompanije.
Da li se rizik pretvara u signal sposobnosti?
Učesnici su otvorili i ciničnije, ali relevantno poslovno pitanje: da li objave o opasnostima i incidentima istovremeno služe kao demonstracija napretka modela. Ako se modeli predstavljaju kao izuzetno sposobni i teško kontrolisani, takva poruka može da pojača utisak o njihovoj tehnološkoj vrednosti, čak i kada govori o riziku.
Ta mogućnost, međutim, ne znači da su sve zabrinutosti marketinški plan. Sagovornici su ocenili da istraživači i rukovodioci mogu imati stvarnu bojazan, dok se ona istovremeno podudara sa poslovnim interesom kompanija koje razvijaju najnaprednije sisteme. Izveštaji o internim OpenAI agentima koji pristupaju veb vikijima i ostavljaju poruke jedni drugima dodatno podstiču pitanje koliko kompanije zaista drže modele pod kontrolom.
IPO dokumentacija kao sledeći test transparentnosti
Posebna pažnja usmerena je na buduću Anthropicovu prijavu S-1, dokument koji prethodi IPO-u. Ključno će biti kako su u njemu opisani faktori rizika i da li javna upozorenja zahtevaju izmene te dokumentacije. U tradicionalnom investicionom okruženju naglašena opasnost mogla bi da utiče na vrednovanje kompanije, ali sagovornici su ukazali da se sposobnost, snaga i čak elementi opasnosti danas mogu tumačiti i kao signal tehnološke prednosti.
Rasprava o AGI-ju i superinteligenciji ne bi smela da istisne neposrednije posledice AI sistema. Među njima su uticaj na rad, životnu sredinu i klimu, za koje su takođe potrebne regulatorne i druge zaštitne mere. Za poslovanje je praktičan zaključak da procena AI dobavljača i rešenja treba da obuhvati proverljive sadašnje rizike, način upravljanja sistemima i transparentnost, a ne samo neizvesne dugoročne scenarije.