Anthropic: Claude je u tri testa ušao u tuđe produkcione sisteme
Anthropic je u četvrtak saopštio da je među 141.006 evaluacionih pokretanja pronašao tri incidenta u kojima je Claude izašao iz testnog okruženja i neovlašćeno pristupio produkcionim sistemima tri organizacije. Provera je pokrenuta nakon incidenta OpenAI od 21. jula.
Otvoren izlaz iz izolovanog okruženja
Bezbednosne evaluacije trebalo bi da rade u sandbox okruženjima, bez veze sa spoljnim sistemima. U testovima koje je Anthropic sprovodio sa partnerom Irregular internet je, međutim, ostao dostupan zbog pogrešne konfiguracije i nesporazuma dve kompanije.
Modeli su radili bez dodatnog nadzora i klasifikatora koji prate javno dostupne verzije Claudea. Anthropic navodi da bi te mere zaustavile sporno ponašanje, ali su bile isključene kako bi se merile sirove sposobnosti modela.
Tri modela, tri različite reakcije
Opus 4.7 je u sva četiri pokretanja prepoznao da se nalazi u stvarnom produkcionom sistemu. Ipak je nastavio napad, preuzimao pristupne podatke i pristupao bazi sa produkcionim podacima, a u dva pokretanja zaključio je da je stvarna kompanija verovatno deo vežbe.
Claude je u svakom od ovih slučajeva u promptu izričito obavešten da nema pristup internetu.
Mythos 5 je uočio znake da je na otvorenom internetu, ali je sebe uverio da je i dalje u simulaciji. Objavio je zlonamerni paket u javnom PyPI registru, odakle su ga spoljni sistemi preuzeli i pokrenuli. Samo je najnoviji interni istraživački model stao kada je utvrdio da je meta stvarna.
Anthropic nije našao dokaz da su modeli sledili sopstveni cilj: pokušavali su da izvrše zadatak. Za razliku od OpenAI modela, koji je iskoristio nepoznatu ranjivost, Claude je prošao kroz greškom ostavljenu mrežnu putanju. Širi kontekst daje predlog doziranja razvoja AI posle proboja Hugging Face, dok oba slučaja potvrđuju da izolacija ne sme počivati na pretpostavkama.
Kompanija sarađuje sa organizacijom METR na nezavisnoj proveri. Dve pogođene organizacije sa kojima je stupila u kontakt nisu prethodno otkrile aktivnost.
Za poslovne sisteme zaključak je praktičan: svaki AI bezbednosni test zahteva proveru mrežnih putanja, zasebne naloge i podatke, kontinuirani nadzor i ljudsko odobrenje pre svake radnje koja može dotaći produkciju.