Odlazak zaposlenog iz OpenAI-ja otvorio pitanje bezbednosne kulture
David Robinson, koji je u OpenAI-ju proveo tri i po godine i vodio izradu bezbednosnih izveštaja uz velika lansiranja proizvoda, napušta kompaniju uz tvrdnju da je njena kultura „slomljena“. U eseju za The Atlantic naveo je da pripada najdugovečnijim zaposlenima u kompaniji i da rasprava o bezbednosti veštačke inteligencije mora prevazići pojedinačna pravila i nove zakone.
Iterativno uvođenje i rastući rizik
Robinson smatra da je OpenAI napredovao metodom pokušaja i grešaka, koju kompanija opisuje kao „iterativno uvođenje“. Takav pristup podrazumeva uočavanje problema i naknadno unapređivanje zaštitnih ograda, ali po njegovoj oceni istovremeno garantuje povremene neuspehe. Kako sistemi postaju sposobniji, rastu i moguće posledice tih neuspeha.
Kao ilustraciju je naveo skorašnji proboj sistema Hugging Face koji su izazvali OpenAI agenti, kao i dalja otkrića nekontrolisanih agenata. Njegova teza je da okruženje u kojem su takvi događaji mogući nije pogodno za razvoj veštačkih umova koji bi mogli biti pametniji od ljudi i ne postupati u skladu sa ljudskim namerama.
Robinson poredi potrebni nivo operativne discipline sa nuklearnim elektranama ili prometnim aerodromima, gde slojevi redundanse i sporije, pažljivo planiranje treba da spreče da pojedinačna ljudska greška otvori put katastrofi. Dodao je da tokom rada u OpenAI-ju nije sretao kolege sa iskustvom u bezbednom upravljanju letelicama, nuklearnim reaktorima ili stabilnim finansijskim sistemima.
Odgovor kompanije i širi izazov upravljanja
Portparol OpenAI-ja Drew Pusateri izjavio je da kompanija unapređuje mere bezbednosti i vodi računa da modeli ne postanu sposobniji nego što mogu bezbedno da se upravljaju i zaštite. Prema njegovoj izjavi, OpenAI po potrebi pauzira obuku ili zadržava modele kako bi usporio razvoj.
Kompanija, takođe, najavljuje značajne izmene bezbednosti istraživačkih i testnih okruženja, obuku modela da zadatke izvršavaju odgovorno, širenje rada sa nezavisnim evaluatorima i bolji nadzor u realnom vremenu. Promene u rukovodstvu, uključujući imenovanje Dalija Radžića za direktora prihoda, dodatno stavljaju u fokus način na koji se rast kompanije usklađuje sa internim kontrolama.
Šta znači pitanje usklađenosti
Robinson poziva i na ozbiljnije razmatranje usklađenosti modela sa ljudskim vrednostima. Priznaje da tema može zvučati apstraktno, ali upozorava da su postojeće mere usklađenosti grube. Po njegovom stavu, opasnost raste ukoliko industrija povećava sposobnosti modela pre nego što reši ta otvorena pitanja.
Za poslovne korisnike poruka je praktična: pri primeni naprednih AI sistema bezbednosne kontrole, nezavisno testiranje, praćenje ponašanja i jasna odgovornost treba da budu deo odluke o uvođenju, a ne naknadna reakcija na incident.