AWS представила TorchNeuron для запуска PyTorch на Trainium
AWS представила TorchNeuron — инструмент, который, по заявлению Amazon, позволяет переносить AI-приложения на чипы Trainium изменением одной строки конфигурации. Решение работает с фреймворком PyTorch и не требует переписывать код; Amazon оценивает долю AI-приложений, созданных на PyTorch, примерно в 85%.
Запуск адресован стартапам, которым нужны обучение моделей и инференс в инфраструктуре AWS. TorchNeuron адаптирован из PyTorch, поэтому разработчикам, уже знакомым с фреймворком, не потребуется осваивать отдельный подход к работе с моделями.
Попытка ослабить зависимость от CUDA
Главная цель AWS — снизить программную привязку разработчиков к оборудованию Nvidia. CUDA годами обеспечивала тесную совместимость AI-приложений с GPU Nvidia, и благодаря этому поддержка PyTorch стала важным преимуществом платформы компании.
PyTorch изначально был создан Facebook, а с 2022 года входит в проекты Linux Foundation. Фреймворк скрывает аппаратные сложности за единым интерфейсом, однако его экосистема глубоко связана с Nvidia. AWS заявила, что будет вносить изменения непосредственно в основной проект PyTorch, чтобы убрать код, привязывающий фреймворк к конкретным чипам.
Этот шаг продолжает линию, в которой выход Trainium за рамки внутренней инфраструктуры AWS рассматривала возможный выход Trainium за рамки внутренней инфраструктуры AWS, а новый инструмент делает платформу доступнее для существующих проектов PyTorch.
Аргумент AWS — полный контур работы
Amazon подчёркивает, что Trainium используется и для обучения, и для инференса, а сама платформа встроена в набор облачных сервисов AWS. Компания противопоставляет этот подход специализированным облачным провайдерам, которые часто опираются на оборудование Nvidia, включая CoreWeave, Nebius и Firmus.
В AWS считают, что сравнивать следует не только цену обработки токена, но и экономику полного цикла нагрузки. В качестве примера Amazon приводит сервис распознавания и обработки голоса Deepgram: после перехода на Trainium с нативной поддержкой PyTorch он, по утверждению AWS, обрабатывает на 70% больше аудио на каждый доллар при производственном уровне точности.
Для компаний практический смысл TorchNeuron состоит в возможности проверить Trainium без отдельного проекта по переписыванию моделей. Однако обещание большей аппаратной независимости потребует проверки на конкретных нагрузках: удобство настройки, производительность и затраты следует сопоставлять для обучения, инференса и используемых облачных сервисов в целом.