MIT и Motional разработали CW-Net для объяснения решений роботакси
Исследователи MIT и компании Motional представили Concept-Wrapper Network, или CW-Net, — модуль для объяснения решений ИИ-планировщика беспилотного автомобиля. Систему обучили на датасете из 130 миллионов примеров дорожных сцен; на закрытом треке и в онлайн-симуляции она помогла участникам точнее предсказывать действия машины.
Как CW-Net объясняет манёвры
Планировщик на основе машинного обучения получает данные камер и лидаров, формирует представление об окружении, выбирает следующее действие и строит траекторию. Однако внутренние расчёты глубоких моделей обычно остаются непрозрачными, из-за чего водителю безопасности или инженеру трудно понять причину неожиданного торможения.
CW-Net встраивается в середину существующей архитектуры планировщика. Это классификатор концептов: он переводит внутреннее представление модели в понятные формулировки, например «приближение к остановившемуся автомобилю» или «близко к велосипедисту».
Затем финальная часть планировщика обязана использовать эти концепты при выборе действия. По замыслу авторов, такая схема делает объяснения причинно связанными с поведением автомобиля, а не отдельным описанием, которое могло бы вводить человека в заблуждение. Модуль выдаёт объяснение вместе с траекторией в реальном времени и, как отмечают исследователи, не меняет исходные показатели вождения модели.
Проверка на треке и в симуляции
Команда установила CW-Net на испытательное роботакси Motional и провела заезды на закрытом треке с водителем безопасности. В одном из сценариев автомобиль стабильно останавливался перед велосипедистом. Водитель предположил, что причина — распознавание велосипедиста, но объяснение CW-Net показало другое.
Модель не была корректно настроена на обнаружение велосипедиста и выбрала траекторию, которая могла привести к столкновению. Остановка произошла потому, что при опасном сближении сработала процедура экстренного торможения. Зная об этой ошибке, водитель безопасности мог раньше снизить скорость или перейти на ручное управление в похожей ситуации.
В более крупном онлайн-исследовании с пользователями без специальной подготовки применялись реальные дорожные ситуации, записанные в Лас-Вегасе. Авторы сообщили, что объяснения CW-Net также существенно улучшили способность участников предсказывать поведение беспилотного автомобиля.
Зачем это разработчикам
Для инженерных команд модуль даёт обратную связь при проверке систем в автомобиле: объяснения позволяют отличить ожидаемую реакцию от срабатывания аварийного механизма или ошибки планирования. Это может помочь выявлять неисправные настройки модели и проверять их исправление на последующих испытаниях.
Работа опубликована в журнале Nature. Авторы планируют расширять набор распознаваемых концептов и изучать варианты обучения и проектирования, которые могут повысить производительность и интерпретируемость. Для бизнеса главный вывод в том, что внедрение ИИ в транспорт требует не только оценки траекторий, но и средств, позволяющих операторам и инженерам понимать основания решений в конкретной дорожной ситуации.