Google открыла TorchTPU для запуска PyTorch-приложений на TPU
Google открыла исходный код TorchTPU — своей реализации PyTorch для AI-чипов Tensor Processing Units. Инструмент предназначен для запуска существующих приложений PyTorch на TPU и в Google Cloud: компания заявляет, что перенос возможен изменением конфигурации без переписывания приложения.
Конкуренция за привычный стек разработчиков
PyTorch — популярный открытый фреймворк для создания, обучения и запуска моделей машинного обучения. Его разработала Meta в 2016 году, а в 2022 году передала проект Linux Foundation. По некоторым оценкам, PyTorch применяется в 85% AI-приложений.
Фреймворк формировался в период, когда GPU Nvidia уже были стандартным оборудованием для AI-исследований. Поэтому многие его возможности изначально были рассчитаны на работу с оборудованием Nvidia. TorchTPU должен снизить этот барьер для команд, которые хотят использовать TPU Google без смены привычного программного стека.
Для Google этот релиз продолжает развитие собственной аппаратной платформы: новые AI-чипы Google TPU в борьбе с Nvidia показывает, как компания обновляет линейку TPU для конкуренции с Nvidia. Теперь Google пытается сделать доступ к своим ускорителям проще именно для разработчиков приложений на PyTorch.
Amazon предложила аналогичный путь
За день до анонса Google AWS представила TorchNeuron. Этот вариант позволяет переносить PyTorch-приложения на собственные AI-чипы Amazon Trainium и в AWS также без переписывания кода.
Amazon сообщила и о работе с основным проектом PyTorch: компания передаёт код, который отделяет отдельные функции от чипов Nvidia. Цель — сделать фреймворк более нейтральным к аппаратной платформе по умолчанию.
Инструменты вокруг TorchTPU
Google заявила о совместной работе с Meta, Hugging Face, Inferact, разработчиком vLLM, и RadixArk, разработчиком SGLang. Задача — обеспечить работу возможностей и библиотек TorchTPU с распространёнными инструментами AI-разработки.
Компания также представила TPU agent suite для переноса приложений, исправления ошибок и работы с Google Cloud. Кроме того, Google обновила LiteRT — инструмент для запуска AI на смартфонах, ноутбуках и встраиваемых устройствах, — чтобы он лучше работал с приложениями PyTorch.
Что это означает для компаний
Новые проекты не означают, что разработчики автоматически откажутся от оборудования Nvidia. Однако TorchTPU и TorchNeuron дают командам путь для проверки альтернативных чипов и облаков без обязательной переработки уже написанных PyTorch-приложений. При выборе инфраструктуры бизнесу стоит отдельно оценивать совместимость библиотек, инструменты миграции и доступность нужных ускорителей в выбранном облаке.