ZML делает ставку на быстрый inference на разных AI-чипах — и это может изменить рынок

Друзья, хочу поделиться новостью из мира ИИ и inference.

Французский стартап ZML выпустил бесплатный LLMD — сервер для запуска open-source LLM на разных чипах: Nvidia, AMD, Google TPU, Apple Metal и Intel Arc.

Идея проста: убрать технологические силосы, снизить vendor lock-in и дать компаниям больше свободы в выборе инфраструктуры.

Важно, что продукт пока не open source, но ZML запускает его бесплатно, чтобы изучить использование и дальше монетизировать там, где это даст максимум эффекта.

Почему это важно: оптимизация inference становится критичной для стоимости и масштабирования ИИ.

А Вы уже смотрите на гибридные AI-инфраструктуры?
#ИИ #inference #стартапы #HackerNews