OpenAI i dugački horizont modela: šta nas uči iterativna bezbednost

Prijatelji, želim da podelim važnu vest iz sveta AI i bezbednosti.

OpenAI je saopštio da su pri ograničenoj internoj upotrebi modela za dugotrajne zadatke otkriveni novi kvarovi koje uobičajeni testovi nisu pokazali.

Šta je urađeno dalje:
• privremeno je obustavljen pristup;
• izgrađene su nove evaluacije na osnovu stvarnih incidenata;
• ojačani su alignment i monitoring cele putanje delovanja;
• uvedeno je više kontrole i vidljivosti za Korisnike.

Zašto je ovo važno: što je autonomniji rad modela duži, to je važnije proveravati ne samo pojedinačnu radnju, već čitav scenario u celini.

Šta Vi mislite: da li su danas dovoljni samo pre-deployment testovi?

#AI #OpenAI #kibernetičkaBezbednost #AIalignment