AWS olakšava prelazak PyTorch aplikacija na Trainium
AWS je predstavio TorchNeuron, razvojni alat koji omogućava da AI aplikacije napisane u PyTorch-u rade na njegovom čipu Trainium uz promenu jedne konfiguracione linije, bez prepisivanja koda. Važnost poteza raste jer AWS procenjuje da je približno 85% AI aplikacija napisano u PyTorch-u, okviru koji je prvobitno razvio Facebook, a koji je od 2022. deo Linux Foundation-a.
TorchNeuron je prilagođen PyTorch-u, pa AWS nastoji da razvojni tok za Trainium približi programerima koji taj okvir već koriste. Najdirektniji cilj je smanjivanje softverske prepreke pri izboru alternativnog hardvera za AI radna opterećenja.
Izazov za CUDA vezanost
Nvidia je godinama gradila podršku za PyTorch kroz CUDA, softversku infrastrukturu koja aplikacijama omogućava rad na njenim GPU-ovima i drugom hardveru. Zbog toga je Nvidia hardver duboko uklopljen u ekosistem ovog okvira. PyTorch korisnici već mogu da prilagode aplikacije AMD GPU-ovima ili Apple čipovima promenom konfiguracije, ali AWS sada nudi isti pristup za Trainium.
AWS ne želi da se promena zadrži samo na sopstvenoj platformi. Kompanija navodi da će doprineti glavnom PyTorch projektu izmenama koje uklanjaju kod koji okvir vezuje za određene čipove. Namera je da PyTorch bude nezavisniji od hardvera za širu zajednicu programera, a ne samo za korisnike Trainium-a.
Jedna platforma za obuku i inferenciju
AWS ističe da Trainium pokriva i obuku modela i inferenciju, odnosno izvršavanje već obučenog modela u produkciji. Colin Brace, potpredsednik za tehnološki softver u AWS Annapurna Labs, taj pristup opisuje kao kombinaciju odnosa cene i performansi i jedinstvene platforme za celo radno opterećenje.
Kao primer AWS navodi Deepgram, dobavljača AI glasovnih aplikacija, koji je uz izvornu PyTorch podršku prešao na Trainium i obrađuje 70% više zvuka po dolaru uz tačnost na produkcionom nivou. AWS istovremeno poredi svoju ponudu sa specijalizovanim provajderima računarske snage, među kojima su CoreWeave, Nebius i Firmus, uz tvrdnju da u okviru svog oblaka već obezbeđuje infrastrukturu potrebnu od prototipa do produkcije.
Šta vredi proceniti
Širi kontekst daje AWS čipovi Trainium i izazov za Nvidiju jer otvara pitanje kako bi šira dostupnost AWS čipova mogla da utiče na konkurenciju sa Nvidijom. Za kompanije koje razvijaju AI, TorchNeuron pre svega znači da trošak, performanse, obuku, inferenciju i vezanost za dobavljača mogu procenjivati na nivou celog radnog opterećenja, a ne samo kroz cenu pojedinačnog tokena.