Circuit Breaker Labs simulira rizične razgovore sa AI sistemima
Circuit Breaker Labs, jedan od 200 finalista programa TechCrunch Startup Battlefield 2026, razvija sistem za testiranje psihološke bezbednosti AI aplikacija. Startap svakog dana izvodi od desetina hiljada do stotina hiljada simuliranih interakcija, posebno za proizvode kao što su AI koučing, vođenje dnevnika i aplikacije za podršku mentalnom zdravlju.
Kompaniju vode sestra i brat Shirali Nigam, izvršna direktorka, i Arul Nigam, tehnički direktor. Njihov cilj je da modeli pouzdano prepoznaju opasne tokove razgovora, uključujući situacije u kojima korisnik sistemu spontano iznosi emocionalne teškoće, bez namere da zaobiđe zaštitne mehanizme.
Simulacije umesto standardnih testnih upita
Circuit Breaker Labs svoje AI agente poredi sa „lutkama za test sudara“. Oni predstavljaju korisnike različitog uzrasta, porekla, jezika i kulturnog konteksta. Simulacije obuhvataju i različite obrasce izražavanja: govor osobe kojoj engleski nije prvi jezik, gejmerski sleng, kodirani jezik i tipografske greške.
Takav pristup polazi od činjenice da se stvarni razgovori retko odvijaju kroz uredne, standardizovane rečenice. Model može dobro reagovati na formalno formulisan upit, a da pritom pogrešno protumači nijansu, sleng ili značenje poruke u dužoj konverzaciji. Kod aplikacija koje nude emocionalnu podršku, posledice takvog promašaja mogu biti ozbiljne.
Red-team provera i objašnjivi rezultati
Startap sarađuje sa stručnjacima iz relevantnih oblasti kako bi korisničke simulacije bile što uverljivije. Zatim sprovodi red-team testove, odnosno namerno izazovne provere osmišljene da otkriju slabe tačke modela. Fokus nije samo na jednoj poruci, već i na rizicima koji mogu nastati tokom vremena i kroz niz povezanih razgovora.
Nakon testiranja, Circuit Breaker Labs primenjuje sopstveni metod ocenjivanja kako bi dobio rezultate koji se mogu proveriti i objasniti. Arul Nigam nije naveo glavne klijente kompanije, ali je potvrdio da ona već ima funkcionalan proizvod i pet zaposlenih, uključujući osnivače.
Šta to znači za kompanije koje uvode AI
Ovakav rad stavlja naglasak na kategoriju rizika koja se ne rešava samo blokiranjem očigledno štetnih zahteva. AI agenti za rad sa korisnicima, kao i sistemi koji podstiču ponovljene razgovore, mogu davati različite odgovore u zavisnosti od toka interakcije. Zato je važno proveravati ponašanje proizvoda u raznovrsnim realističnim scenarijima.
Za poslovanje je praktičan zaključak da bezbednost AI aplikacije treba testirati kroz duge, jezički i kulturno različite razgovore, uz merljive i objašnjive nalaze koji omogućavaju da se otkriveni propusti sistematski otklone.