CW-Net otkriva razloge odluka autonomnih automobila
Istraživači sa MIT-a i kompanije Motional predstavili su Concept-Wrapper Network, odnosno CW-Net, metod koji objašnjava odluke AI planera u autonomnim vozilima bez promene njihovih voznih performansi. Sistem je učen na skupu od 130 miliona scena iz vožnje, a testovi na privatnoj stazi i onlajn simulacije pokazali su da su korisnici uz njegova objašnjenja preciznije predviđali ponašanje vozila.
Od crne kutije do razumljivih pojmova
Planeri zasnovani na mašinskom učenju predstavljaju operativni „mozak” autonomnog automobila. Obrađuju podatke kamera i lidar senzora, formiraju prikaz okruženja, biraju narednu akciju i određuju putanju vozila. Njihov unutrašnji proces odlučivanja često je teško protumačiti, naročito kada vozilo reaguje neočekivano, na primer naglo zakoči bez očiglednog razloga.
CW-Net se umeće u sredinu postojeće arhitekture takvog planera. Kao klasifikator koncepata, on unutrašnje predstavljanje modela prevodi u izraze koje čovek može da razume, poput „približavanje zaustavljenom vozilu” ili „blizina bicikliste”. Završni deo planera zatim mora da koristi te klasifikovane koncepte kada bira postupak vozila.
Ta konstrukcija je važna zato što objašnjenje nije samo naknadni opis odluke. Koncepti su povezani sa samim procesom izbora putanje, pa treba da verno prikažu razloge ponašanja modela. CW-Net ih isporučuje uz putanju vozila u realnom vremenu, dok je istovremeno napravljen da oponaša odluke osnovnog planera i ne umanji njegov učinak u vožnji.
Test sa biciklistom otkrio stvarni uzrok kočenja
U testiranju je CW-Net postavljen na Motional robotaksi na privatnoj stazi, uz prisustvo bezbednosnog vozača. U jednoj situaciji vozilo se redovno zaustavljalo pri približavanju biciklisti. Vozač je pretpostavio da je razlog uspešno prepoznavanje bicikliste, ali je objašnjenje pokazalo drugačiju sliku.
Model nije bio pravilno podešen da detektuje biciklistu i izabrao je putanju koja bi dovela do sudara. Vozilo se zaustavilo zato što se, pri premalom rastojanju, aktivirao postupak hitnog kočenja. Takva informacija bezbednosnom vozaču omogućava da ranije smanji brzinu ili preuzme ručno upravljanje u sličnim okolnostima, a inženjerima daje konkretan trag za otklanjanje greške.
Objašnjivost kao deo operativne kontrole
Veća onlajn studija koristila je stvarne situacije vožnje snimljene na putevima Las Vegasa. I u tom okruženju CW-Net objašnjenja značajno su unapredila sposobnost učesnika da predvide ponašanje autonomnog vozila. Istraživanje je objavljeno u časopisu Nature.
Za organizacije koje razvijaju ili uvode AI u bezbednosno kritične procese, vrednost ovakvog pristupa je u proverljivijem nadzoru tokom testiranja i rada sistema. Objašnjenja ne zamenjuju bezbednosne procedure, ali mogu pomoći ljudima da uoče pogrešne pretpostavke, pravovremeno reaguju i preciznije usmere otklanjanje tehničkih propusta.