Sonic Inference Pod donosi modularni pristup AI infrastrukturi
Kompanija Runware predstavila je Sonic Inference Pod, modularni data centar za AI inferencu koji se transportuje kao jedna jedinica. U raspoređivanju je 10 podova u SAD, Evropi i azijsko-pacifičkom regionu, dok kompanija navodi da već ima 160 lokacija na kojima može da ih napaja.
Runware tvrdi da ovaj sistem može da pruži kvalitetniju inferencu po nižoj ceni od drugih serverless platformi za inferencu i GPU cloud usluga. Među korisnicima kojima kompanija već obezbeđuje inferencu nalaze se Higgsfield AI i Wix.
Kapacitet se dodaje novim podovima
Osnovna ideja je da se računarski kapacitet proširuje postavljanjem dodatnih podova, umesto dogradnjom fiksnog data centra. Pod može da bude raspoređen svuda gde postoji električno napajanje, a konstrukcija treba da olakša prilagođavanje novim generacijama hardvera.
Svaki pod radi kao deo jedinstvene mreže. Zahtevi se šalju tamo gde ima slobodnog kapaciteta, uz nastojanje da obrada bude bliže krajnjim korisnicima. Ako jedna jedinica prestane da radi, saobraćaj prelazi na drugu, pa kvar ne obara čitav fiksni objekat. Korisnicima kojima je potreban namenski hardver mogu biti dodeljeni čitavi podovi.
Hlađenje bez potrošnje vode
Sonic Inference Pod ne koristi vodu za hlađenje, već zatvoreni sistem koji, po navodima kompanije, može da bude izgrađen za nekoliko dana. To je bitna razlika u odnosu na tradicionalne data centre, čija izgradnja može trajati mesecima ili godinama.
Runware ovaj model vidi kao odgovor na tražnju za inferencom koja raste brže nego što novi objekti mogu da budu završeni. Širi kontekst čini energetska ograničenja razvoja AI infrastrukture važnim za razumevanje zašto lokacija, napajanje i brzina širenja kapaciteta postaju sastavni deo odluke o AI infrastrukturi.
Fleksibilnost naspram velikih projekata
Dok OpenAI i SpaceX nastavljaju trku u izgradnji velikih data centara u SAD, Runware ne predstavlja podove kao njihovu kopiju. Kompanija kao ključnu razliku ističe raspoređivanje distribuiranih jedinica, preusmeravanje opterećenja i ograničavanje posledica kvara na jedan pod.
Ipak, modularnost ne uklanja složenost hardvera. Greška u dizajnu štampane ploče može da izazove višemesečno kašnjenje zbog ponovnog projektovanja, simulacije, izrade, testiranja i isporuke, dok je broj stručnjaka sposobnih da razvijaju i održavaju takve sisteme ograničen.
Šta ovo znači za poslovanje
Runware je u decembru objavio Series A rundu od 50 miliona dolara za infrastrukturu potrebnu kompanijama koje generišu slike. Podovi su nastavak šire namere da Runware obezbeđuje inferencu kompanijama, a ne samo jedan izolovan proizvod.
Za poslovne korisnike procena ovakvog rešenja treba da obuhvati cenu inference, blizinu korisnika, raspoloživo napajanje, otpornost mreže, podršku za novi hardver i mogućnost dobijanja namenske jedinice. Modularni model ima praktičan smisao tamo gde kapacitet mora brzo da raste, ali odluka treba da počiva na merljivim zahtevima opterećenja i pouzdanosti.