OpenAI zakrpila propust u sažimanju skrivenog rezonovanja
Bezbednosna kompanija Xint pokazala je da je funkcija OpenAI compaction mogla da se iskoristi za iznošenje skrivenog rezonovanja modela gpt-5.6-sol u čitljivom obliku. OpenAI je potvrdio problem, ispravio ga 23. oktobra i Xintu dodelio nagradu od 6.000 dolara.
Compaction sažima dugu konverzaciju u manju, šifrovanu stavku koja prenosi kontekst za nastavak rada. Skriveno rezonovanje modela inače se korisniku vraća kao šifrovani sadržaj, a ne kao tekst koji može da pročita ili preuzme.
Kako je demonstriran propust
Xint je poslao matematičke i algoritamske zadatke koje su njegovi istraživači sami sastavili, a zatim je sačuvao šifrovanu stavku rezonovanja koju je vratio gpt-5.6-sol. U sledećem koraku pozvali su compaction nad istim modelom i naložili mu da rezonovanje prenese u sažeti sadržaj, uz zamenu svakog razmaka tabulatorom.
Ta zamena je služila za zaobilaženje filtera politike korišćenja. Pošto se sažete stavke mogu prenositi između modela, istraživači su ih prosledili modelima gpt-4.1 i gpt-4o i zatražili doslovno ponavljanje ulaza. Oba modela vratila su isti tekst.
Xint ipak ne može da potvrdi da je prikazani sadržaj doslovno identičan izvornom internom rezonovanju, jer original nije bio dostupan za poređenje. Ponovljeni izlaz dva jeftinija modela isključuje grešku u koraku kopiranja, ali ne i mogućnost da je compaction preformulisao sadržaj.
Zašto prethodna zaštita nije bila dovoljna
Metoda je zaobišla zaštitu uvedenu posle rada Stolen Thoughts, u kojem je šifrovano rezonovanje snažnijeg modela moglo da se prosledi slabijem modelu iste kompanije i potom dobije kao otvoren tekst. OpenAI je zatim blokirao takvo međumodelsko ponavljanje.
Xint navodi da se novi postupak razlikovao zato što se compaction izvršavao na istom modelu koji je stvorio rezonovanje, pa provera međumodelskog prenosa nije bila aktivirana. Istraživanje se nadovezuje na raniji rad GhostCompact, koji je pokazao da se korak sažimanja može navesti da izvršava zadatke po izboru napadača.
Poslovni značaj i granice nalaza
Test je obuhvatio samo gpt-5.6-sol; Xint nije proveravao da li je pogođen GPT-6 Astra. Istraživači nisu tvrdili da je metod mogao da dohvati rezonovanje drugih korisnika, niti je poznato da li je postupak bio iskorišćen pre zakrpe.
Rizik je važan jer interno rezonovanje može biti vredniji materijal za destilaciju od konačnog odgovora: otkriva način na koji model rešava zadatak. Širi kontekst zaštite modela dopunjuje ranjivosti u zaštiti OpenAI modela jer pokazuje da bezbednosne provere AI servisa obuhvataju i same tokove obrade, ne samo završne izlaze.
Za timove koji koriste OpenAI API neposredna izmena nije potrebna, pošto je ispravka sprovedena na strani OpenAI-ja. Praktičan zaključak je da interne AI tokove treba procenjivati i kroz pomoćne server-side korake, naročito kada oni obrađuju zaštićeni kontekst i istovremeno slede korisničke instrukcije.