Vals širi proveru AI modela kroz zadatke iz stvarnog poslovanja
Startup Vals, osnovan 2024. godine, prikupio je 40 miliona dolara u seriji A koju je predvodio Andreessen Horowitz, nakon semenske runde koju su predvodili 8VC i Bloomberg Beta. Kompanija razvija procene AI modela za konkretne zadatke, a njen tim je sa osam ljudi na početku godine porastao na 25 zaposlenih.
Rayan Krishnan, suosnivač kompanije Vals, smatra da akademski benchmarkovi ne prate dovoljno brzo modele koji izlaze na tržište. Zato Vals želi da proverava da li sistemi zaista izvršavaju posao koji kompanije navode kao njihovu sposobnost, a ne samo da li uspešno rešavaju apstraktne testove znanja.
Testovi koji nisu javno dostupni
Mnogi postojeći benchmarkovi javno su dostupni. To otvara mogućnost da kompanije treniraju modele na samim testovima i ostvare rezultat koji ne odražava nužno njihovu sposobnost u novom radnom okruženju. Vals ne objavljuje svoje konkretne testne materijale, čime nastoji da smanji prostor za takvo prilagođavanje.
Umesto opšteg znanja, procene se odnose na složene zadatke iz prava, finansija i programiranja. Krishnan opisuje cilj kao proveru da li model može da izradi proizvod kvaliteta uporedivog sa ljudskim radom u određenoj oblasti. Vals pritom ispituje ne samo poželjne ishode, već i moguće negativne posledice kada bi se modeli primenjivali bez dovoljno kontrole.
Širenje oblasti i poslovna primena
Kompanija radi i na benchmarkovima za rekurzivno samopoboljšavanje, mentalno zdravlje, sajber-bezbednost, biobezbednost i pravo oružanog sukoba, uključujući primenu Ženevskih konvencija. Klijenti plaćaju testiranje svojih modela kako bi lakše otkrili nedostatke i unapredili ih tokom razvoja.
Vals navodi da mu je prihod trenutno osam puta veći nego prethodne godine. Pored širenja kancelarije i planiranog zapošljavanja još 10 do 15 ljudi, kompanija je pokrenula program za procenu modela za savezne agencije.
Šta kompanije treba da mere
Za organizacije koje uvode AI, javni rezultat na rang-listi nije dovoljan pokazatelj spremnosti za rad. Korisnije je testirati model na zadacima, ograničenjima i rizicima koji postoje u sopstvenom procesu, pa nalaze procene uključiti u odluku o nabavci, nadzoru i daljem unapređenju sistema.