Google DeepMind запустила институт для дискуссии о правилах AGI
Google и Google DeepMind объявили о запуске DeepMind Institute — площадки для расширения дискуссии об искусственном общем интеллекте, или AGI. В совет директоров вошли сооснователь DeepMind Шейн Легг, руководитель Google Джеймс Маньика и глава Google DeepMind Демис Хассабис; управляющим редактором стал Легг. Первая подборка института включает четыре эссе о последствиях AGI, прозрачности моделей, благополучии людей и оценке передовых ИИ-систем.
Площадка для разных позиций
Заявленная задача DeepMind Institute — представить различные точки зрения Google, Google DeepMind и международного исследовательского сообщества. Организаторы прямо отмечают, что участники не всегда будут соглашаться друг с другом и могут менять позиции по мере появления новых данных и информации на быстро меняющемся технологическом рубеже.
Темы стартовых публикаций охватывают экономическую политику на случай возможных сдвигов из-за AGI, принципы человеческого благополучия, сохранение понятных человеку рассуждений моделей и методику оценки наиболее мощных систем. Такой набор показывает, что обсуждение безопасности не сводится к одной технической проверке: в него включены социальные и экономические последствия.
Прозрачность рассуждений и проверка моделей
Исследователи безопасности DeepMind Рохин Шах и Анка Драган в одном из эссе рассматривают сокращающееся окно прозрачности — возможность видеть и проверять пошаговые рассуждения модели. По их мнению, по мере появления новых архитектур наиболее мощные системы становится труднее наблюдать, но потеря такой прозрачности не является неизбежной.
Авторы предлагают разработчикам и регуляторам напрямую обсуждать компромиссы в области безопасности. Среди возможных мер они называют ограничение «непрозрачной последовательной глубины» — объёма последовательных вычислений, которые модель выполняет без понятного человеку следа рассуждений. Другой вариант — требовать от разработчиков доказательств, что менее прозрачные системы сохраняют сопоставимую наблюдаемость.
Предложение о стандартах для передового ИИ
Хассабис в отдельном эссе предложил создать возглавляемый США орган по стандартам для оценки передовых ИИ-моделей. На первом этапе разработчики могли бы добровольно направлять системы на проверку не позднее чем за 30 дней до релиза. Если система оценивания подтвердит эффективность, прохождение тестов может стать условием развертывания передовых моделей в США.
Изначально орган мог бы разрабатывать оценки совместно с ИИ-компаниями, а затем перейти к независимым закрытым тестам. Такие «отложенные» проверки не раскрываются заранее и должны мешать лабораториям подстраивать модели под известные критерии. Хассабис допускает усиление подхода, если этого потребует серьёзность ситуации, вплоть до координированного замедления разработок среди создателей передовых систем.
Для бизнеса важен сам сдвиг дискуссии: вместо общих деклараций участники рынка формулируют предложения о раскрытии информации, внешнем контроле и критериях допуска моделей к использованию. При внедрении ИИ-систем компаниям стоит учитывать, насколько поставщик способен объяснить работу модели и подтвердить её проверяемость.