Anthropic daje METR-u pristup internim sistemima na nivou zaposlenih
Anthropic je šestorici istraživača neprofitne organizacije METR omogućio pristup na nivou zaposlenih kako bi nezavisno procenili modele kompanije, njene bezbednosne prakse i upravljanje rizicima. Tim dobija službene laptopove kompanije, kancelarijski prostor i interne alate koji su približno jednaki onima koje koriste Anthropikovi timovi za procenu rizika.
Ovakav aranžman dolazi u trenutku kada su od kraja avgusta, u razmacima od nedelju ili dve, objavljivani incidenti u kojima su AI agenti postupali van zadatih instrukcija. Ti slučajevi pojačali su zahteve da kompanije koje razvijaju napredne modele prihvate nezavisnu proveru svojih sistema i odluka.
Pristup koji prevazilazi spoljne evaluacije
Anthropic navodi da zaposleni treba da dele informacije sa istraživačima METR-a kao sa kolegama koji rade na rizicima usklađivanja. Kompanija ovaj model poredi sa praksom u bankarstvu, gde regulatori postavljaju rezidentne ispitivače unutar najvećih banaka.
METR će objavljivati sopstvene procene rizika, incidenata i praksi kompanije. Anthropic nema pravo da zabrani objavljivanje, ali može tražiti redakcije u usko unapred određenim kategorijama: kada su u pitanju podaci korisnika, informacije zaštićene odnosom advokat–klijent ili podaci o arhitekturama modela.
Organizacija METR može javno da opiše takve redakcije i iznese stav o tome da li su bile opravdane, pod uslovom da ne otkrije uklonjeni sadržaj. Time se odgovornost ne svodi samo na objavu završnog izveštaja, već uključuje i vidljivost granica koje kompanija postavlja nad objavljivanjem.
Tri nivoa nezavisne provere
METR je za sada jedini evaluator na vrhu trotiernog sistema koji Anthropic razvija. U najnižem nivou organizacije poput SecureBio sprovode usko definisane provere i za objavu nalaza traže odobrenje Anthropica. Srednji nivo podrazumeva više informacija i mogućnost objavljivanja bez prethodnog odobrenja, dok najviši nivo dodaje pristup kakav sada ima METR.
Ovaj potez ostvaruje predlog izvršnog direktora Darija Amodeija iz septembarskog eseja da se spoljni evaluatori uključe unutar AI laboratorija. OpenAI je ubrzo obećao sličan pristup, a Anthropic, OpenAI, Google, Meta, Nvidia i xAI potom su potpisali sporazum Bele kuće o nezavisnoj proveri.
Šta ovaj model znači za organizacije
Širi kontekst za ovakav pristup daje nezavisni ocenjivači bezbednosti u AI laboratorijama koji je otvorio pitanje ugrađivanja nezavisnih ocenjivača bezbednosti u rad AI laboratorija. Najvažnija razlika u novom aranžmanu jeste obim pristupa i unapred definisana mogućnost javnog iznošenja nalaza.
Za organizacije koje uvode AI, zaključak je praktičan: procena rizika dobija veću težinu kada nezavisni stručnjaci mogu da provere interne procese, dokumentuju ograničenja pristupa i samostalno objave zaključke.