Nvidia širi AI prednost orkestracijom data centara
Nvidia uz arhitekturu Vera Rubin proširuje AI ponudu izvan samog GPU-a: Rubin GPU prati Vera CPU, Groq 3 LPX akcelerator za inferenciju, kao i rack sistemi za skladište i umrežavanje. Kompanija time cilja rad AI data centara gigavatne skale, gde više nije dovoljno samo povećavati broj procesora.
Od GPU-a do celog sistema
Nvidia je u prvim godinama AI ekspanzije bila dominantan dobavljač naprednih GPU-ova. U međuvremenu, veliki pružaoci cloud usluga, među kojima su Amazon i Google, razvijaju sopstvene čipove. Konkurencija se zato ne svodi samo na računarske akceleratore, već se širi na sloj koji povezuje memoriju, skladište, mrežu i obradu.
U velikim instalacijama podaci moraju stići do GPU-a u pravom trenutku. Povećanje memorijskog kapaciteta samo po sebi ne rešava taj problem, jer prenos i raspoređivanje podataka mogu postati usko grlo. Kako se cilj pomera ka manjoj potrošnji po obrađenom tokenu, upravljanje tim saobraćajem dobija veću važnost.
Vera CPU i protok podataka
Jason Hardy, potpredsednik Nvidia tima za tehnologiju skladištenja, navodi da Vera CPU služi orkestraciji podataka, pošto kapacitet memorije jednog servera ili druge računske platforme ima granice. Prema njegovim rečima, Vera CPU je u pojedinim operacijama omogućio ubrzanje do tri puta.
Takvo ubrzanje treba da pomogne da se performanse fleš skladišta iskoriste bez zastoja. Drugim rečima, komponenta ne obrađuje tokene poput GPU-a, ali nastoji da ostatak infrastrukture ne ograničava rad akceleratora. Vrednost sistema zato zavisi od koordinacije njegovih delova, a ne samo od snage jednog čipa.
Različiti odgovori na isti problem
OpenAI je kod čipa Jalapeño izabrao drugačiji pristup. Kompanija navodi da je čip projektovan da smanji kretanje podataka i kašnjenja u komunikaciji, tako što kompletno radno opterećenje zadržava u jednom povezanom sistemu. Cilj je ipak sličan: efikasniji rad kroz bolju kontrolu protoka podataka, a ne samo kroz dodatne procesorske cikluse.
Za Nvidia to otvara novo polje nadmetanja sa proizvođačima čipova i hyperscalerima. U tom kontekstu, tržišni pritisci na Nvidia compute tržištu ukazuje da tržišni pritisci ne nestaju, dok sposobnost da ceo sistem radi efikasno postaje važnija od izolovanog poređenja GPU-a.
Praktičan zaključak za poslovanje
Pri planiranju AI infrastrukture treba meriti sistemsku efikasnost, uključujući memoriju, skladište, mrežu i upravljanje podacima. Poređenje samo GPU specifikacija ne pokazuje nužno gde će nastati usko grlo niti kakav će biti stvarni učinak velikog AI okruženja.