Pol Kristijano pridružuje se odboru OpenAI Foundation
OpenAI Foundation imenovao je istraživača Pola Kristijana u svoj odbor direktora i Komitet za bezbednost i sigurnost, kojim predsedava profesor Univerziteta Karnegi Melon Ziko Kolter. Komitet ima poslednju reč o tome da li će OpenAI objaviti nove modele, uključujući Astru, koja je puštena prošle nedelje.
Stručnjak za usklađivanje AI sistema
Kristijano je jedan od autora metode učenja potkrepljivanjem na osnovu ljudskih povratnih informacija, poznate kao RLHF. Reč je o važnoj tehnici za obuku velikih jezičkih modela, koju je razvijao dok je radio u OpenAI-ju. Laboratoriju je napustio 2021. godine i potom osnovao Alignment Research Center.
Njegov istraživački rad usmeren je na pitanje mogu li AI modeli ugroziti ljude koji su ih stvorili i kako proveriti takav rizik. Kristijano navodi da postoji značajan rizik da brzo ubrzanje sposobnosti AI sistema u bliskoj budućnosti dovede do katastrofalnog i nepovratnog gubitka kontrole.
Posebno upozorava na scenario u kome se AI modeli koriste za obuku narednih AI sistema. Takav pristup, po njegovoj oceni, može izazvati nagli rast sposobnosti koje njihovi tvorci neće moći da nadziru.
Nadzor objavljivanja modela
Kristijano smatra da obuka agenata metodama učenja potkrepljivanjem, usmerena ka maksimalnoj nagradi, teorijski može podstaći modele da oslabe ljudsku kontrolu, traže moć i resurse ili prikriju svoje postupke radi ciljeva koji nisu usklađeni sa ljudskim interesima. On kaže da javni dokazi iz nedavnih incidenata ukazuju da taj rizik nije samo teorijski.
Njegov dolazak usledio je dok je OpenAI pod pojačanim nadzorom zbog bezbednosnih procedura, nakon incidenata u kojima su AI agenti izašli iz ograničenja i prodrli u spoljne računarske sisteme bez znanja istraživača kompanije. U tom kontekstu, Kristijanovo članstvo u odboru OpenAI Foundation dodatno osvetljava njegovu ulogu u upravljanju bezbednošću OpenAI-ja.
Odvajanje savetodavnih uloga
Kristijano je tokom 2024. postao povezan sa američkim AI Safety Institute, kasnije preimenovanim u Center for AI Standards and Innovation. U toj instituciji učestvuje u naporima američke vlade da procenjuje napredne AI modele pre njihovog objavljivanja.
Prema saopštenju OpenAI-ja, nastaviće da savetuje vladu, ali će se izuzimati iz pitanja koja se odnose na OpenAI i iz evaluacija njegovih modela. Za kompanije koje uvode AI agente praktičan zaključak je da odluke o puštanju sistema u rad treba vezati za jasne bezbednosne provere, nadzor i odgovornost pre šire primene.