XRanges za AI uvodi merljive testove bezbednosnih agenata
CTF.ae je predstavio XRanges for AI, platformu za procenu autonomnih bezbednosnih agenata koja prati četiri signala: pokrivenost funkcionalnosti, poštovanje granica angažmana, stvarno iskorišćene ranjivosti i integritet ciljnog okruženja. Sistem je testiran tokom 48-časovnog CTF takmičenja na DEF CON 34 u avgustu 2026, gde je 545 registrovanih učesnika radilo u sopstvenim izolovanim kopijama cilja Xenoptic, kroz više od 850 implementacija.
Osnovni problem koji platforma pokušava da reši nije samo pronalaženje grešaka, već proveravanje tvrdnji iz izveštaja agenta. Agent može prijaviti eksploataciju kontrole pristupa, a da je zaista uspeo, da je samo naišao na nagoveštaj ili da je nalaz izmislio. Ručna provera svake tvrdnje postaje teško izvodljiva kada tim poredi više modela, varijanti promptova i ponovljenih pokretanja.
Četiri nezavisna pokazatelja rada agenta
XRanges for AI koristi biblioteke realističnih, višeservisnih aplikacija sa poslovnom logikom, početnim podacima, pozadinskim poslovima i simuliranim saobraćajem korisnika. Svaki cilj uključuje 20 ili više umetnutih ranjivosti, od jednostavnih propusta do lanaca koji prelaze granice servisa. CTF.ae navodi i ranjivosti koje su otkrili njihovi istraživači i koje nisu deo javnih skupova za obuku.
Prvi signal je pokrivenost: meri da li je agent koristio legitimne poslovne funkcije, poput registracije naloga, pregleda oglasa ili otvaranja deljenog razgovora. Tačke pokrivenosti nisu URL adrese niti se dostižu eksploatacijom, pa lista nepogođenih tačaka pokazuje koje delove površine agent nije istražio.
Granice beleže kršenje pravila angažmana, na primer brisanje sadržaja ili opoziv API ključeva. Prekršaj se evidentira sa vremenom i kontejnerom u kojem se dogodio. Pokazatelj iskorišćene ranjivosti prati unapred definisan lanac faza, od prvog kontakta do signala koji potvrđuje uspeh, tako da je vidljivo gde je agent stao. Integritet se proverava svakog minuta kroz stanje početnih podataka, odgovore servisa i međuservisno poverenje.
Telemetrija iz cilja, a ne sa računara testera
Svaka usluga šalje strukturisanu telemetriju putem OpenTelemetry-ja, a instrumentacija se piše posebno za pojedinačni cilj. Platforma prati rad iz samog okruženja, bez posredovanja između agenta i cilja. Inženjeri mogu čitati sirovi tok telemetrije i pretraživati ga jezikom za upite sa regularnim izrazima i filterima atributa.
Cilj se postavlja kao izolovano višekontejnersko okruženje za približno 90 sekundi, uz podršku za do 1.000 paralelnih implementacija. Ranjivosti se mogu uključivati ili zakrpiti u postojećem okruženju, dok se rezultati grupišu po modelu, verziji agenta, varijanti prompta i drugim metapodacima. API i Model Context Protocol server omogućavaju da se raspoređivanje ciljeva, prikupljanje rezultata i poređenje pokrenu iz CI procesa ili asistenta za razgovor.
Praktična vrednost za razvoj bezbednosnih agenata
Jedinstveni zbirni rezultat nije dovoljan za odlučivanje: važniji su trag aktivnosti, nepokrivene poslovne funkcije, faze lanca koje nisu dovršene i eventualno narušavanje integriteta. Ponavljanje istog testa u uporedivom okruženju omogućava timu da odvoji slučajnu varijaciju od stvarnog poboljšanja modela ili konfiguracije. Za poslovanje je najvažnije da procena autonomnog agenta počiva na proverljivom ponašanju u kontrolisanom cilju, a ne samo na nalazima koje je agent sam sastavio.