Nvidia переносит преимущество в ИИ с GPU на инфраструктуру
Nvidia разворачивает архитектуру Vera Rubin, в которой GPU Rubin работают вместе с CPU Vera, ускорителем инференса Groq 3 LPX, а также стойками хранения и сетевого оборудования. Компания делает ставку на управление данными и работу всего ИИ-кластера, а не только на производительность графических процессоров.
На раннем этапе бума ИИ Nvidia была фактически единственным поставщиком передовых GPU. Затем Amazon и Google начали создавать собственные чипы, и вопрос устойчивости преимущества Nvidia стал напрямую связан с конкуренцией на рынке ускорителей.
Следующий уровень конкуренции
С ростом вычислительных площадок до гигаваттного масштаба усложняется оркестрация инфраструктуры. Для высокой эффективности недостаточно установить больше GPU: необходимо обеспечить доступ процессоров к памяти и данным в нужный момент, согласовать хранение, сеть и вычисления.
В Nvidia сравнивают GPU с двигателем автомобиля, а окружающие его компоненты — с остальной машиной. CPU Vera предназначен в том числе для оркестрации потоков данных. Вице-президент Nvidia по технологиям хранения Джейсон Харди сообщил, что в отдельных операциях Vera CPU обеспечивал ускорение более чем в три раза и позволял использовать производительность флеш-накопителей без узких мест.
Данные становятся частью вычислительной архитектуры
Ограничения определяются не только числом вычислительных блоков, но и объёмом памяти в отдельном сервере или иной вычислительной платформе. По мере увеличения мощности дата-центров растёт и объём памяти, однако передача данных к GPU остаётся отдельной инженерной задачей. Особенно она важна, когда операторы стремятся снизить энергозатраты на обработку токенов.
Схожую проблему OpenAI решает другим способом в собственном чипе Jalapeño. Компания заявила, что проектировала его для сокращения перемещения данных и задержек обмена: большой домен чипа позволяет удерживать рабочую нагрузку в одной связанной системе и ускорять обработку запроса от начала до конца.
Таким образом, производители могут конкурировать не только количеством вычислительных циклов, но и более рациональной организацией трафика данных. На фоне давление конкуренции на графические ускорители Nvidia становится заметнее, что давление конкуренции на GPU не отменяет важности системных компонентов, обеспечивающих работу крупных ИИ-развёртываний.
Что учитывать компаниям
Новый инфраструктурный слой не гарантирует Nvidia победу: ей предстоит соперничать с разработчиками чипов и гиперскейлерами. Однако при планировании ИИ-площадок бизнесу стоит сравнивать не только ускорители, но и связку процессоров, памяти, хранения, сети и механизмов оркестрации. Именно от этой связки зависит, сможет ли крупный кластер использовать доступные ресурсы без лишних задержек и узких мест.