Google i AWS šire PyTorch podršku za sopstvene AI čipove
Google je objavio TorchTPU kao open-source izdanje PyTorcha za svoje Tensor Processing Units, dok je Amazon dan ranije predstavio TorchNeuron za čip Trainium i AWS. PyTorch, alat koji koristi oko 85% AI aplikacija prema pojedinim procenama, sada može da se usmeri na Google TPU ili Amazonov Trainium bez prepisivanja postojećih aplikacija.
Obe objave usmerene su na smanjenje praktične prepreke koja je Nvidia GPU-ovima donela snažan položaj u AI razvoju. Brojne funkcije PyTorcha oblikovane su uz Nvidia hardver, jer su njegovi GPU-ovi već bili standard u istraživanju veštačke inteligencije kada je Meta razvila PyTorch 2016. godine.
Promena konfiguracije umesto prepisivanja koda
Google navodi da TorchTPU omogućava pokretanje PyTorch aplikacija na TPU-ovima uz jednostavnu promenu konfiguracije. Time se postojeće aplikacije mogu prebaciti i na Google Cloud bez izmene izvornog koda. Google je u projekat uključio Metu, Hugging Face, Inferact, tvorca vLLM-a, i RadixArk, tvorca SGLang-a, kako bi biblioteke i funkcije bile usklađene sa često korišćenim razvojnim alatima.
Kompanija je predstavila i TPU agent suite, skup alata namenjen migraciji aplikacija na Google čipove i oblak, kao i rešavanju grešaka tokom tog procesa. LiteRT, alat za pokretanje AI modela na telefonima, laptopovima i ugrađenim uređajima, takođe je unapređen radi boljeg rada sa PyTorch aplikacijama.
AWS menja put do Trainium infrastrukture
AWS sa TorchNeuron-om nudi sličan put za portovanje PyTorch aplikacija na Trainium i AWS bez prepisivanja. Amazon istovremeno planira da glavnom PyTorch projektu dostavi kod koji razdvaja pojedine funkcije od Nvidia čipova, kako bi podrazumevana podrška bila otvorenija za različit hardver.
Ovaj razvoj se nadovezuje na Google Cloud TPU 8t i TPU 8i čipove i pokazuje da se konkurencija među AI akceleratorima sve više vodi kroz kompatibilnost razvojnih alata, a ne samo kroz specifikacije čipova.
Šta to znači za poslovne timove
Nove integracije ne znače da će programeri automatski napustiti Nvidia hardver, ali smanjuju trošak i rizik razmatranja alternativnih platformi. Timovi koji rade sa PyTorchom mogu da procene prenosivost svojih modela, zavisnosti od pojedinih biblioteka i postupak migracije pre izbora cloud infrastrukture. Praktičan zaključak je da izbor AI platforme treba vezati i za mogućnost promene čipa ili oblaka bez velikog zahvata u aplikacioni kod.