Tines призвала встраивать контроль в ИИ-автоматизации сотрудников
Компания Tines описала риск «дикого кода» — ИИ-приложений, агентов и автоматизаций, которые сотрудники создают быстрее, чем организации успевают определить владельца, права доступа и правила эксплуатации. В центре подхода Tines — контроль разрешений, действий и наблюдаемости не только при создании, но и во время работы таких сценариев.
Когда полезный прототип становится риском
В качестве типичного примера Tines приводит сценарий, который маршрутизирует лиды, обращается к записям клиентов, сводит входящие запросы и публикует обновления в общем канале. Такая автоматизация может быстро стать частью ежедневной работы, хотя служба безопасности ещё не знает, от чьего имени она запускается, к каким данным обращается и кто видит результаты.
Под «диким кодом» компания понимает не просто несанкционированное ПО. Речь идёт о новых возможностях, которые создают сами сотрудники. Небольшой эксперимент способен превратиться в операционную зависимость до того, как для него появятся ответственный владелец, режим сопровождения и контроль доступа.
Tines выделяет несколько классов риска: избыточные привилегии, раскрытие чувствительных данных, непреднамеренные изменения записей или разрешений, доступы без владельца и пробелы в расследовании. Даже работающий по назначению код может обращаться к большему числу данных, чем требуется, отправлять информацию слишком широкой аудитории или сохранять её в запросах к модели и журналах.
Почему одной политики недостаточно
Обучение сотрудников, изолированные среды и комитеты по ИИ остаются полезными инструментами, но не могут сами по себе контролировать уже запущенный процесс. Политика формулирует ожидаемое поведение, тогда как защите нужны технические ограничения, подтверждения фактических действий и возможность вмешаться при инциденте.
Песочница помогает проверить промпты, модели и сгенерированный код, однако ценность прототипа часто появляется лишь после подключения к реальным системам и данным. По словам полевого CTO Tines Брэда Рамфа, песочницы решают задачу проектирования, но не задачу времени выполнения. После перехода в рабочую среду автоматизации всё равно нужны права, мониторинг и проверка изменений.
Комитеты могут принимать решения по рискованным сценариям, но их циклы рассмотрения не всегда совпадают со скоростью разработки сотрудниками. Кроме того, надзор может сосредоточиться на инженерных командах и не заметить автоматизации в финансах, HR или операционных подразделениях.
Какие границы предлагает задавать Tines
Компания рекомендует ещё до подключения бизнес-систем определить допустимые источники данных, действия и доступы. Права должны соответствовать задачам конкретного сценария, а не полному набору возможностей его создателя. Для значимых действий следует предусмотреть подтверждение человеком: инструкция в промпте не является контролем доступа.
В рабочей среде должны быть связаны создание, запуск и мониторинг. Tines советует фиксировать владельца автоматизации, идентичность выполнения, обращения к данным, изменения и действия процесса. Учётные данные следует передавать во время выполнения, а не оставлять в коде; при этом журналирование нужно защищать так, чтобы не собирать лишнюю чувствительную информацию.
До того как сценарий станет операционной зависимостью, организации важно определить порядок остановки выполнения, отзыва доступов и оценки затронутых объектов. Для бизнеса практический минимум — обеспечить у каждой ИИ-автоматизации ответственного владельца, ограниченные права, проверяемую историю действий и понятный механизм экстренного отключения.