Бывшие исследователи Meta выпустили Isaac 0.5 для промышленных роботов
Стартап Perceptron, основанный в ноябре 2024 года бывшими исследователями Meta Арменом Агаджаняном и Акшатом Шриваставой, представил Isaac 0.5 — модель компьютерного зрения для промышленных роботов. Разработчики заявляют, что система помогает машинам воспринимать среду, рассуждать и действовать на складах и в производственных помещениях; модель опубликована с открытыми весами. Незадолго до релиза компания привлекла $21 млн в раунде, который возглавила Bessemer Venture Partners.
Зрение, планирование и действия в одной модели
Isaac 0.5 предназначена для роботов, которые ориентируются по камерам в сложном физическом пространстве. В качестве примера Perceptron приводит сортировку посылок: машине необходимо прочитать этикетку, определить положение коробок, выбрать объект для захвата и решить, в какой последовательности обрабатывать несколько предметов.
Программное обеспечение для отдельных этапов таких процессов уже существует. Однако основатели Perceptron делают ставку на более универсальную систему: она не создавалась под одну повторяющуюся операцию и, по их словам, должна адаптироваться к конкретной обстановке и ситуации.
Компания противопоставляет свой подход двум вариантам, которые она видит на рынке физического ИИ: универсальным базовым моделям, требующим для каждого запуска нескольких выделенных облачных GPU, и узким моделям, выполняющим только восприятие либо только управление. Isaac 0.5 должна объединять эти функции для промышленного применения.
На каких данных обучали Isaac 0.5
Perceptron сообщает, что модель обучалась на миллионе часов обычного видео. Эти материалы использовались, чтобы алгоритм распознавал обстановку, визуальные объекты и сценарии. Также в обучении применялись записи от первого лица, снятые, например, на GoPro или носимую камеру во время выполнения физической работы.
Ещё один тип данных — UMI-видео, фиксирующее повторяющиеся действия человека и используемое для обучения систем движениям. Акшат Шривастава не раскрыл происхождение обучающих материалов, но заявил, что Perceptron самостоятельно сформировала датасеты петабайтного масштаба с изображениями, текстом, видео и траекториями роботов.
Открытые веса и отраслевые сценарии
Открытые веса Isaac 0.5 позволяют любому желающему изучить параметры и материалы обучения модели. Perceptron планирует предлагать программный слой различным поставщикам решений, рассчитывая на интеграцию в производство, логистику, складские операции, безопасность, мобильность, медиа и развлечения.
Для компаний, внедряющих роботов, релиз означает появление ещё одного инструмента для задач, где машине нужно одновременно понимать видеопоток и выполнять последовательность физических действий. При выборе таких решений стоит отдельно проверять работу модели в собственном помещении, с конкретными объектами и сценариями операций.