Baseten, Hugging Face и Goodfire создадут стандарт безопасности открытых ИИ-моделей

Baseten запустила через исследовательское подразделение Base Labs партнёрство с Hugging Face и Goodfire AI для разработки инфраструктуры оценки и мониторинга безопасности открытых моделей. На платформе Hugging Face уже представлено более 6 000 моделей, у которых защитные ограничения были сняты с помощью техники abliteration.

Безопасность хотят заложить в жизненный цикл модели

Base Labs, созданная Baseten в начале года, будет разрабатывать и публиковать методы обучения и мониторинга открытых моделей. Компании описывают будущую работу как стандарт, который должен быть прозрачным и встроенным в обучение и развёртывание модели, а не добавленным после её выпуска.

Термин abliteration обозначает практику удаления встроенных ограничений модели. Именно распространение таких модификаций стало одним из поводов для инициативы: открытые веса позволяют не только изучать и запускать модель, но и менять её поведение.

Baseten считает открытость преимуществом для безопасности, поскольку она даёт больше возможностей наблюдать за поведением моделей и превращать исследования безопасности в прозрачные механизмы контроля. При этом компании не раскрыли техническую схему взаимодействия и конкретные инструменты будущего стандарта.

Роли участников пока обозначены в общих чертах

Baseten предоставляет инфраструктуру инференса ИИ-моделей, а Goodfire специализируется на интерпретируемости — подходах, которые помогают объяснять, как модель приходит к решениям. Goodfire сформулировала цель партнёрства как необходимость встраивать безопасность в открытые модели и обеспечивать её на стороне тех, кто эти модели обслуживает.

Baseten также призвала разработчиков участвовать в создании фреймворка. Инициатива пока находится на этапе объявления, поэтому её практическая ценность будет зависеть от опубликованных методик, правил оценки и средств мониторинга.

Что учитывать компаниям

Организациям, развёртывающим модели с открытыми весами, стоит отделять саму доступность модели от наличия работающих ограничений. Обещанный стандарт Baseten, Hugging Face и Goodfire может стать ориентиром для оценки и наблюдения за такими системами, но до публикации технических деталей компаниям необходимы собственные процедуры проверки моделей и контроля их использования.