AI greška zamalo pokrenula američku operaciju protiv kineskog broda
Američka vojna letelica već je bila u vazduhu tokom proleća kada su zvaničnici SAD utvrdili da je obaveštajni podatak korišćen za oružanu operaciju protiv kineskog broda nastao kao halucinacija AI četbota. Operacija je otkazana u poslednjem trenutku, čime je izbegnut mogući sukob sa Kinom.
Sporni izveštaj, koji je kružio tokom rata sa Iranom, tvrdio je da brod prevozi komponente za program nuklearnog oružja. Netačan zaključak potekao je od analitičara Komande za specijalne operacije koji je od AI alata zatražio da objedini javno dostupne informacije i poverljive signalne obaveštajne podatke.
Pogrešno protumačen tovar stigao do komandnog lanca
Četbot je pogrešno identifikovao teretni manifest broda. Analitičar je potom isti alat upotrebio i drugi put, kako bi netačne nalaze oblikovao u sažetak koji je izgledao kao zvaničan dokument. Taj sažetak je zatim prosleđen kroz komandne kanale.
Slučaj pokazuje kako greška generativnog modela može dobiti dodatni kredibilitet kada se preoblikuje u administrativno uverljiv format. Problem nije samo u pogrešnom odgovoru sistema, već i u tome što takav odgovor može proći kroz više faza rada pre nego što ga neko ospori.
Brzina odlučivanja zahteva kontrolne tačke
Pentagon ubrzano uvodi AI kako bi ubrzao donošenje odluka i održao prednost u odnosu na Kinu. Ministarstvo odbrane SAD opisuje AI kao važnu prednost za ubrzavanje lanca dejstava, tako da komandanti mogu da reaguju u odgovarajućem trenutku.
Ipak, ista brzina može omogućiti da se halucinacije prošire kada ljudski nadzor nije dovoljan. Jake Steckler, istraživač organizacije GovAI i veteran američke vojske, naglasio je da pripadnici službi moraju razumeti neizvesnost svojstvenu velikim jezičkim modelima, naročito kod ciljanja, obaveštajne analize i operativnog planiranja.
Primena uz proveru, a ne bezuslovno oslanjanje
Steckler ne smatra da incident treba da bude razlog za odustajanje od AI alata. Njegova poruka je da oni mogu biti korisni u odgovarajućim okolnostima, uz odgovarajuće zaštitne mere, dok bi davanje apsolutne prednosti brzini usvajanja moglo narušiti poverenje korisnika i na kraju usporiti primenu.
Za poslovanje je praktičan zaključak jasan: generisani izlaz ne sme biti završni dokaz u procesu sa velikim posledicama. Potrebni su proverljivi izvori, nezavisna ljudska validacija i jasno određena odgovornost pre nego što AI sažetak postane osnova za odluku.