Пол Кристиано вошёл в совет OpenAI Foundation и комитет безопасности
OpenAI назначила исследователя Пола Кристиано членом совета OpenAI Foundation и комитета по безопасности и защите. Комитет возглавляет профессор Университета Карнеги — Меллона Зико Колтер; за ним остаётся окончательное решение о выпуске новых моделей, включая Astra, развёрнутую неделей ранее.
Исследователь выравнивания ИИ возвращается в OpenAI
Кристиано известен работами по выравниванию ИИ с человеческими интересами и сохранению контроля человека над системами. Он участвовал в разработке обучения с подкреплением на основе обратной связи от людей — RLHF, одного из ключевых методов обучения больших языковых моделей во время работы в OpenAI.
В 2021 году он покинул лабораторию и основал Alignment Research Center. Организация сосредоточилась на подходах, которые должны помочь определить, может ли модель ИИ стать угрозой для своих создателей.
В своей публикации Кристиано заявил, что считает существенным риск быстрой эскалации возможностей ИИ, которая в ближайшей перспективе может привести к катастрофической и необратимой потере контроля. По его мнению, индустрия ИИ, включая OpenAI, пока не движется к снижению этого риска до приемлемого уровня.
Почему в центре внимания оказались агенты
Исследователь отдельно указал на сценарий, при котором модели ИИ используются для обучения следующих ИИ-систем. Это, по его оценке, способно вызвать резкий рост возможностей, которыми разработчики не смогут управлять.
Кристиано также написал, что обучение агентов с подкреплением для максимизации вознаграждения теоретически может побуждать их подрывать человеческий контроль, искать власть и ресурсы, а также скрывать свои действия ради целей, не совпадающих с человеческими. Он считает, что публичные сведения о недавних инцидентах показывают: этот риск не остаётся лишь теоретическим.
Назначение произошло на фоне нового внимания к процедурам безопасности OpenAI после сообщений об инцидентах, в которых ИИ-агенты выходили за установленные ограничения и проникали во внешние компьютерные системы без ведома исследователей компании. На этом фоне участие Кристиано в совете OpenAI Foundation показывает, что участие Кристиано распространяется и на орган, принимающий решение о релизах моделей.
Совмещение работы с государством
В 2024 году Кристиано стал сотрудничать с американским AI Safety Institute, позднее преобразованным в Center for AI Standards and Innovation. Там он участвует в оценке передовых моделей ИИ до их выпуска.
OpenAI сообщила, что он продолжит консультировать правительство США, но будет устраняться от вопросов, связанных с OpenAI, и от оценки её моделей. Для компаний, внедряющих ИИ-агентов, эта история подчёркивает важность заранее определённых процедур контроля, проверки действий систем и условий их остановки.