PrismML перенесла 1-битную LLM Bonsai на платформу очков Qualcomm
PrismML адаптировала свою 1-битную языковую модель Bonsai для AI-очков на платформе Qualcomm Snapdragon AR1 Gen 1. На Snapdragon Summit Qualcomm показала модель с 2 млрд параметров, настроенную на работу со зрительными и языковыми запросами непосредственно на устройстве.
Разработчики позиционируют такую конфигурацию как способ дать пользователю возможность в реальном времени спрашивать об объектах, на которые он смотрит. При этом конкретные смарт-очки с предустановленной PrismML пока не были анонсированы.
Модель для локальной работы
PrismML создана исследователями Caltech, а среди советников стартапа указан Ион Стоика из UC Berkeley. Основная идея компании — выпускать модели с открытыми весами, которые могут выполняться на пользовательских устройствах и эффективнее задействовать уже доступные вычислительные ресурсы.
В демонстрации Qualcomm использовала Bonsai LLM, работающую с 1-битным представлением. PrismML заявляет, что её подход позволяет сжимать более крупные модели в четыре раза при сохранении почти всей производительности на стандартных бенчмарках.
Почему выбрана Snapdragon AR1 Gen 1
Snapdragon AR1 Gen 1 — платформа Qualcomm для умных очков. Версия Bonsai для неё объединяет понимание изображений и языка: устройство должно сопоставлять визуальный контекст с вопросом пользователя без обязательной отправки запроса на удалённые серверы.
Именно локальный запуск PrismML противопоставляет зависимости от инфраструктуры крупных закрытых AI-лабораторий. Стартап связывает это с приватностью и со стремлением снизить потребность в постоянно растущих вычислительных мощностях для каждого пользовательского запроса.
Что известно о внедрении
Показ на Snapdragon Summit подтверждает совместимость Bonsai с чипами Qualcomm, но не означает появления коммерческого продукта. Ни Qualcomm, ни PrismML не сообщили о модели очков, сроках выпуска или партнёре, который будет поставлять устройство с этой системой.
Для бизнеса это повод разделять демонстрацию модели и готовое решение. При оценке носимых AI-устройств важно проверить, какие задачи действительно выполняются локально, как модель ведёт себя в реальных визуальных сценариях и какие ограничения накладывает конкретная аппаратная платформа.