MIT i IBM povezuju teoriju AI-ja i kvantnog računarstva sa primenom
MIT-IBM Computing Research Lab povezao je rad troje nekadašnjih istraživača MIT-a, danas zaposlenih u IBM-u: Srinivasana Arunachalama u kvantnom mašinskom učenju, Zhang-Wei Honga PhD '25 u učenju potkrepljivanjem i Irene Ko PhD '24 u pouzdanom i pravednom AI-ju. Njihovi projekti obuhvataju agente za poslovne zadatke, dodatak vLLM Hook za LLM inferenciju i kvantne algoritme prilagođene ograničenjima uređaja.
Laboratorija, ranije nazvana MIT-IBM Watson AI Lab, služi kao veza između akademske rigoroznosti i razvoja sistema koji moraju da rade uz tehnička i operativna ograničenja. Zajednički rad je istraživačima omogućio da pitanja iz teorije oblikuju kao pravce rada sa mogućom primenom u industriji.
Od otvorenog istraživanja do AI agenata
Hong je tokom doktorskih studija na MIT-u istraživao poboljšanje učenja vrednosnih funkcija u učenju potkrepljivanjem, koristeći Atari igru „Montezuma’s Revenge“. U saradnji sa laboratorijom razvijao je tehnike za realističnije primene AI-ja i kvalitetniju povratnu informaciju kroz nagrade, u robotici, velikim jezičkim modelima i naučnim primenama učenja potkrepljivanjem.
Njegov sadašnji rad u IBM-u obuhvata otvoreno istraživanje, test-time training za agente i temeljne modele, kao i infrastrukturu za IBM-ov agentski okvir. Navedeni poslovni zadaci uključuju čitanje grafikona i pozivanje alata za upite nad bazama podataka. Istražuje i evolutivno računarstvo za optimizaciju istraživanja, uz oslanjanje na nalaze iz neuronauke za poboljšanje modela tokom primene.
Pouzdanost LLM-ova u inferenciji
Ko je sa IBM istraživačima sarađivala od početka doktorata, u radu na bezbednom, robusnom, tačnom i pravednom AI-ju. Posle doktoriranja 2024. godine pridružila se IBM Researchu, gde se usmerila na probleme pouzdanih metoda koje još nisu široko primenjene u AI platformama za inferenciju.
Projekat vLLM Hook omogućava pristup internim signalima modela, poput skrivenih stanja i aktivacija, tokom dekodiranja velikih jezičkih modela. Vektor deluje na transformer module radi analize bezbednosnih ocena, uključujući verovatnoću prompt-injection napada i halucinacija. Za razliku od pristupa sa adapterima niskog ranga, okvir je zamišljen kao lagan dodatak vLLM inferencijskom mehanizmu i mogao bi da smanji troškove u odnosu na druge metode.
Kvantna teorija uz ograničenja hardvera
Arunachalam je sa MIT-a prešao u IBM nakon saradnje sa Isaacom Chuangom i IBM istraživačem Kristanom Temmeom. U kvantnom mašinskom učenju bavio se algoritmima, potprogramima i kolima kod kojih bi kvantno ubrzanje moglo biti ostvarivo, uz zahteve poput arhitekture najbližih suseda, buke i jednostavnijih merenja opservabli.
Njegov rad je doveo do dva značajna rada: jednog o Hamiltonovom učenju, sa rigoroznim garancijama za učenje dinamike kvantnih sistema, i drugog o kvantnim kernelima. Drugi rad pruža teorijske dokaze da kvantni prostori obeležja mogu imati prednost nad klasičnim kernelima pod široko prihvaćenim pretpostavkama o težini problema.
Za poslovanje, zajednička poruka ovih projekata je praktična: istraživanje ima jasniji put do primene kada se ograničenja inferencije, infrastrukture i hardvera uzmu u obzir već pri definisanju problema, bez odustajanja od proverljivih teorijskih osnova.