Circuit Breaker Labs проверит ИИ на психологически опасные диалоги
Стартап Circuit Breaker Labs, вошедший в список финалистов TechCrunch Startup Battlefield 200 в 2026 году, разработал агентов-симуляторов для тестирования ИИ на психологически опасные взаимодействия. Платформа проводит от десятков до сотен тысяч имитированных диалогов в день и нацелена прежде всего на приложения для ИИ-коучинга, ведения дневников и поддержки психического здоровья.
Проверка моделей на естественную речь
Основатели компании, брат и сестра Ширали и Арул Нигам, называют своих агентов «армией манекенов для краш-тестов». Они воспроизводят пользователей разного возраста, происхождения, языка и культурного контекста, чтобы проверить, как модель распознаёт потенциально опасные разговоры.
В Circuit Breaker Labs подчёркивают, что диалоги с ИИ редко строятся по образцу нейтральных и формально корректных запросов. Пользователи используют сленг, опечатки, кодовые выражения и разные речевые привычки. Непонимание контекста или нюансов в чувствительном разговоре может привести к опасному ответу системы.
Компания привлекает профильных экспертов для создания реалистичных пользовательских симуляций. Затем они применяются в red-team-тестах — состязательных проверках, предназначенных для поиска слабых мест модели. Такие сценарии учитывают не только отдельную реплику, но и риски, которые могут проявиться в ходе длительного общения.
Объяснимые оценки и сфера применения
После тестирования стартап использует собственный метод оценки, чтобы формировать проверяемые и объяснимые результаты. Арул Нигам не назвал ключевых заказчиков, однако сообщил, что у компании уже есть работающий продукт. В команде пять человек, включая основателей.
Поводом для создания компании стала история 14-летнего Сьюэлла Сетцера, который, по версии семьи в иске 2024 года, сформировал эмоциональную привязанность к чат-боту Character.AI и перед смертью говорил с ним о причинении вреда себе. В статье также упоминаются урегулированные Character.AI иски семей несовершеннолетних пользователей, а также иски к OpenAI, связанные с предполагаемой ролью ChatGPT в случаях самоубийств и бредовых состояний.
В перспективе Circuit Breaker Labs предполагает применять платформу и в других продуктах, где человек может выстроить парасоциальные отношения с чат-ботом, включая ИИ-агентов для совместной работы. В компании отмечают, что ответы таких агентов могут меняться от одного взаимодействия к другому.
Что учитывать компаниям
Для бизнеса, создающего разговорные ИИ-продукты, подход Circuit Breaker Labs показывает необходимость тестировать не только типовые запросы. Проверка должна охватывать разные стили речи, культурный контекст и последовательности диалогов, в которых риск появляется постепенно. Это особенно важно для сервисов, к которым пользователи обращаются за эмоциональной поддержкой.