Microsoft pokazao bekdor AI agenata sa izmenom nekoliko neurona

Microsoftovi istraživači pokazali su da se u AI model za agente može ugraditi skriveni bekdor izmenom manje od 10 retko aktivnih neurona, bez ponovnog treniranja celog modela. Metoda nazvana Lazarus testirana je na tri modela sa dostupnim težinama, a na Nemotron-Terminal-8B obuhvatila je sedam od više od 12.000 neurona u poslednjem feed-forward sloju i 23 primerne sesije za podešavanje.
Bekdor se aktivira kada se pojavi unapred određeni tekstualni okidač, bilo u zahtevu korisnika bilo kasnije u izlazu nekog alata. Tada model generiše napadačevu komandu, koju agent može izvršiti sa sopstvenim dozvolama. Microsoft navodi da nije zabeležio aktere pretnji koji koriste ovu tehniku.
Zašto je mali broj izmena značajan
Istraživači biraju neurone koji se retko aktiviraju i inače gotovo ne utiču na odgovore modela. Svaki izmenjeni neuron nameće jedan token komande u izlazu, tako da je za kratku komandu potreban približno jedan neuron po tokenu. Podešavanja se računaju direktno, a zatim se dorađuju kroz nekoliko stotina koraka treniranja samo nad tim neuronima.
U praktičnoj demonstraciji model Nemotron-Terminal-8B normalno je rešavao zadatak popravke Node.js servera tokom prva tri poteza. Kada je server vratio grešku povezivanja, model je ispisao komandu za preuzimanje i pokretanje udaljene skripte. Skripta je u testnom kontejneru radila kao root i ispisala oznaku demonstracije.
Rezultati testiranja i ograničenja
U sesijama sa kratkom, bezopasnom komandom za ispis markera, izmenjeni Nemotron-Terminal-8B generisao je komandu u najmanje 98,8% testova sa okidačem, a ni u jednom proveravanom testu bez okidača. Kada je model slobodno generisao tekst, komanda se pojavila u približno 99% aktiviranih sesija; u jednom podešavanju pojavila se i u 0,14% sesija bez okidača.
Za Qwen3.6-27B i Gemma-4-31B-IT uspešnost podešene izmene kretala se od 51% do 99,5%, zavisno od postavke. Qwen model koristio je šest neurona. Istraživači naglašavaju da ove stope mere generisanje komande, a ne uspeh čitavog napada u slobodnom radu agenta.
Izmenjeni modeli su zadržali većinu uobičajenih sposobnosti. Kod dve izmenjene verzije Qwen-a, rezultat na AIME matematičkim zadacima uglavnom je očuvan, dok je prolaznost na Terminal-Bench testu zadataka za agente pala sa 46,59% na 42,05%.
Kontrola modela pre i posle primene
Rizik nastaje za svakoga ko može da promeni checkpoint pre uvođenja modela: internog aktera, napadača sa kompromitovanim nalogom ili pristupom razvojnom lancu, kao i izdavača izmenjenog modela na javnom repozitorijumu. Za umetanje ovakve izmene nije potrebna računarska snaga potrebna za potpuno treniranje.
Microsoft preporučuje poređenje svakog checkpointa sa deklarisanim osnovnim modelom pre primene i posle svakog ažuriranja. Treba preuzimati modele samo od izvornog izdavača, proveravati hash vrednosti datoteka i tretirati tuđa fino podešavanja, spajanja, kvantizovane verzije i adaptere kao nepouzdane dok ne prođu proveru.
Eksperimentalni detektor treniran na primerima Lazarus izmena označio je 91,4% od 35 izmenjenih testnih checkpointa bez originalne kopije za poređenje, ali je pogrešno označio 9,7% od 31 čistog checkpointa. Nije testiran na drugim vrstama bekdora, pa nijedno skeniranje ne može definitivno dokazati bezbednost modela.
Za poslovne timove praktičan zaključak je da odobre modele čuvaju u privatnom registru, agentima dodeljuju samo neophodna ovlašćenja, kod koji generišu izvršavaju u izolovanim okruženjima i ograniče izlazne mrežne veze. Odobrenje čoveka za pokretanje komandi ili slanje podataka van mreže ostaje važna zaštita uz proveru težina i bihevioralno testiranje.

