MIT разработал объяснимую модель оценки риска суицида по тексту

Исследователи MIT разработали инструмент обработки естественного языка для оценки риска суицида по переписке с кризисными консультантами. Модель проанализировала около 16 тыс. обезличенных диалогов Crisis Text Line и использует лексикон из слов и фраз, связанных с 49 факторами риска.

Работу выполнили Дэниел Лоу, Сатра Гош и их коллеги из McGovern Institute for Brain Research. Результаты опубликованы в Journal of Psychopathology and Clinical Science. Авторы сообщают, что инструмент точно предсказывал уровень риска в новых диалогах, которые не использовались при обучении.

Какие сигналы ищет модель

Crisis Text Line предоставила исследователям контролируемый доступ к набору данных и подготовку для работы с ним. Все тексты были обезличены. Диалоги разделили на три категории: отсутствие суицидальных признаков, суицидальные мысли без немедленного риска и немедленный риск.

К последней группе отнесли людей с планом суицида или намерением умереть в ближайшие 48 часов. Именно эту группу команда стремилась отличить от остальных по языковым сигналам, возникающим в момент кризиса, а не в ретроспективных опросах.

Сначала учёные применили ИИ для составления предварительного словаря, затем вручную проверили и отобрали выражения. В финальном лексиконе для каждого из 49 факторов риска содержится около 60 слов или фраз, а их связь с факторами подтвердили клинические эксперты.

Почему важна объяснимость

Наиболее сильными индикаторами немедленного риска стали упоминания летальных средств, употребления веществ, активных суицидальных мыслей и самоповреждений. Упоминания подавленного настроения или усталости оказались менее характерны для группы с наивысшим риском. Промежуточными предикторами были тревожность, посттравматическое стрессовое расстройство и эмоциональная боль.

Модель присваивает каждому фактору вес и может показать, на каких словах основана оценка. Например, выражения, связанные со средствами причинения вреда, получают больший вес, а формулировки безнадёжности — меньший. Такой подход позволяет пользователю видеть основания для сигнала, а не получать только итоговый балл.

Авторы называют модель лёгкой: в отличие от крупных языковых моделей, ей не требуются значительные вычислительные ресурсы, и она может работать на персональном компьютере. Это снижает стоимость обработки и связанные с ней опасения о конфиденциальности. При этом лексиконы не учитывают контекст слова и могут не распознать близкие по смыслу выражения, которых нет в списке.

Ограничения для практического применения

Команда отдельно подчёркивает, что прогнозирующую систему необходимо тщательно валидировать до клинического использования и постоянно уточнять при изменении языка или характеристик целевой группы. По словам исследователей, участие человека в принятии решений в этой области остаётся критически важным.

MIT также распространяет лексикон и программный пакет для создания подобных словарей при исследовании других состояний психического здоровья. Для организаций практический вывод состоит в том, что автоматизация работы с чувствительными обращениями не заменяет специалиста: её ценность связана с прозрачной фиксацией сигналов, контролем доступа к данным и проверкой модели в конкретном сценарии.