PrismML prilagodio Bonsai LLM za Qualcomm pametne naočare
Lokalni model za pametne naočare
PrismML je na Qualcommovom događaju Snapdragon Summit predstavio 1-bitni Bonsai LLM prilagođen pametnim naočarama zasnovanim na platformi Snapdragon AR1 Gen 1. Reč je o modelu sa 2 milijarde parametara, podešenom za rad sa slikom i jezikom, koji treba da omogući korisniku da u realnom vremenu postavi pitanje o onome što vidi.
PrismML je AI laboratorija koju su osnovali istraživači sa Caltecha, a savetuje je Ion Stoica sa UC Berkeleyja. Demonstracija na Qualcommovom skupu pokazuje da se njihovi mali jezički modeli usmeravaju ka nosivim uređajima sa lokalnim izvršavanjem, umesto oslanjanja isključivo na udaljene serverske sisteme.
Četiri puta manji model uz gotovo isti rezultat
Osnovna tvrdnja PrismML-a jeste da njegove metode znatno smanjuju veće modele. U ovom slučaju kompanija navodi smanjenje od četiri puta, uz zadržavanje gotovo svih performansi na standardnim merilima. Bonsai LLM je 1-bitni model, što ga pozicionira za rad u ograničenijim hardverskim uslovima kakvi su karakteristični za naočare.
Verzija za pametne naočare povezuje vizuelni ulaz i jezički odgovor. Takav pristup je namenjen situacijama u kojima nosilac uređaja želi da postavi pitanje o prizoru pred sobom, bez opisivanja sadržaja samo tekstom ili prebacivanja zadatka na drugi uređaj.
Otvorene težine i rad na uređaju
Širi cilj PrismML-a je razvoj AI modela otvorenih težina koji rade na samim uređajima i bolje koriste raspoloživu računarsku snagu. Kompanija taj pristup predstavlja kao alternativu zavisnosti od obećanja o privatnosti zatvorenih AI laboratorija i njihove potrebe za dodatnim računarskim kapacitetima.
Podrška za Qualcommov čip predstavlja konkretan korak ka toj nameri, ali gotove pametne naočare koje koriste PrismML još nisu najavljene. Za poslovanje je važno razlikovati demonstriranu softversku mogućnost od dostupnog proizvoda: lokalni modeli mogu biti relevantni kada su odziv i obrada na uređaju bitni, dok komercijalna primena i dalje zavisi od uređaja koji će ih integrisati.