ZML se kladi na brzi inference na različitim AI čipovima — i to bi moglo da promeni tržište

ZML se kladi na brzi inference na različitim AI čipovima — i to bi moglo da promeni tržište

Dragi prijatelji, želim da podelim vest iz sveta veštačke inteligencije i inference-a.

Francuski startap ZML objavio je besplatan LLMD — server za pokretanje open-source LLM modela na različitim čipovima: Nvidia, AMD, Google TPU, Apple Metal i Intel Arc.

Ideja je jednostavna: ukloniti tehnološke silose, smanjiti vendor lock-in i dati kompanijama veću slobodu u izboru infrastrukture.

Važno je da proizvod za sada nije open source, ali ZML ga pokreće besplatno kako bi proučio upotrebu i dalje monetizovao tamo gde će to dati najveći efekat.

Zašto je ovo važno: optimizacija inference-a postaje ključna za cenu i skaliranje veštačke inteligencije.

A da li i Vi već gledate na hibridne AI infrastrukture?
#VeštačkaInteligencija #inference #startapi #HakerNjuz