безопасностьконфиденциальностьии

Защита ИИ-агентов как сотрудников

Агенты становятся инфраструктурой рабочей силы

Обновлено 6 июня 2026 г.6 мин чтенияPrivateNote.ai

Внедрение промптов — уже не вся история. По мере того как ИИ-агенты получают инструменты, память и самостоятельность, безопасность должна охватывать всю систему, а не только модель.

Ключевые выводы

  • Agents with tools and memory need access control like employees do.
  • Prompt injection is only part of the risk—permissions and data flow matter.
  • Keep secrets out of agent prompts; deliver them through controlled channels.
  • Log actions and scope credentials tightly for autonomous workflows.

В последние несколько лет индустрия ИИ была одержима prompt injection — опасением, что вредоносный запрос может обманом заставить чат-бота выдать непредусмотренный ответ.

Но prompt injection — это уже не вся история.

Сегодняшние системы ИИ стремительно превращаются из пассивных помощников в автономных агентов. Они больше не просто отвечают на вопросы. Они получают доступ к файлам, анализируют электронную почту, вызывают API, выполняют многоэтапные рабочие процессы и принимают операционные решения от имени пользователей.

И как только система ИИ обретает способность действовать, правила игры в сфере безопасности полностью меняются.

Недавняя работа 2026 на конференции USENIX Security, SoK: Attack and Defense Landscape of Agentic AI Systems от Kim et al., представляет один из самых комплексных на сегодняшний день анализов безопасности агентов. Исследователи изучили 128 академических работ, выявили 51 техник атак и 60 стратегий защиты, а также предложили структуру для понимания возникающих проблем безопасности автономных систем ИИ.

Их основной вывод предельно прост:

Для организаций, которые создают, внедряют или полагаются на продукты на базе ИИ, это должно стать тревожным сигналом.

Чем больше автономии получает ИИ-агент, тем больше становится его поверхность атаки.

Почему безопасность агентов — это другое

Традиционное программное обеспечение следует заранее определенной логике. Традиционные приложения на базе LLM в основном генерируют текст. Агентные системы работают иначе.

Они сочетают языковые модели с внешними инструментами, системами памяти, базами данных, API и возможностями автономного принятия решений. Корпоративный агент может прочитать входящее письмо, извлечь информацию из внутренней документации, сделать запрос в CRM, обновить базу данных и отправить ответ — и все это в рамках одного рабочего процесса.

That flexibility is what makes agents so powerful. It's also what makes them difficult to secure.

В статье USENIX утверждается, что сосредоточения исключительно на безопасности модели недостаточно. Безопасность должна оцениваться во всей экосистеме агента: модель, ее память, ее инструменты, ее источники данных и действия, которые она может совершать.

Семь измерений риска агента

Исследователи выделяют семь ключевых измерений, влияющих на состояние безопасности агента:

  • Доверие к входным данным — Откуда поступает информация?
  • Чувствительность доступа к данным — К какой информации может получить доступ агент?
  • Автономия рабочего процесса — Может ли он самостоятельно решать, что делать дальше?
  • Возможности действий — Может ли он изменять, удалять или передавать данные?
  • Устойчивость памяти — Сохраняется ли информация между сессиями?
  • Доступность инструментов — Какие внешние системы он может вызывать?
  • Влияние пользовательского интерфейса — Какую степень влияния он имеет на решения пользователя?

Сравните разницу между чат-ботом службы поддержки и автономным исполнительным помощником.

Каждая дополнительная возможность повышает полезность. Но она также расширяет поверхность атаки и создает новые возможности для злоупотреблений, манипуляций или непреднамеренного поведения.

Безопасность становится не столько защитой модели, сколько управлением сложной системой.

Контекст — это новый рубеж безопасности

На протяжении десятилетий кибербезопасность опиралась на три принципа: конфиденциальность, целостность и доступность. Эти принципы остаются основополагающими.

Но агентный ИИ вносит новый вызов: контекстуальную безопасность.

У агента может быть строгая аутентификация, зашифрованная связь и жесткий контроль доступа, но он все равно может потерпеть катастрофический провал, если будет действовать на основе вредоносной или манипулятивной информации.

Представьте, что агент обрабатывает на первый взгляд безобидный PDF, загруженный сторонней стороной. Скрытые внутри документа инструкции приказывают агенту игнорировать предыдущие указания, извлечь конфиденциальную информацию и передать ее в другое место.

Это различие важно, потому что многие новые атаки на ИИ эксплуатируют потоки информации, а не уязвимости программного обеспечения.

Система не была взломана через украденные учетные данные.

Инфраструктура не была нарушена.

Агент просто следовал неверному контексту.

Для агентных систем контекст становится таким же важным рубежом безопасности, как аутентификация, шифрование или сегментация сети.

Почему память создает новые риски

Память ИИ часто преподносится как функция для улучшения пользовательского опыта. Аргумент прост: лучшая память обеспечивает лучшую персонализацию.

Но память также создает устойчивость. А устойчивость создает риск.

В статье USENIX подчеркивается, как злоумышленники могут попытаться отравить хранилища долговременной памяти вредоносными инструкциями или вводящей в заблуждение информацией. Однажды записанный в память, этот контент может влиять на будущие решения еще долго после завершения первоначального взаимодействия.

В отличие от временной атаки типа prompt injection, отравление памяти может сохраняться между рабочими процессами, пользователями и временем. Результатом является принципиально иной вызов безопасности.

Память — это больше не просто функция удобства.

Память — это инфраструктура.

А инфраструктура требует управления.

Самые опасные агенты — это те, у кого есть полномочия

Величайшие риски в агентном ИИ не обязательно связаны с интеллектом модели. Они связаны с предоставленными ей полномочиями.

Модель, генерирующая неверный абзац, — это неудобство. Агент с доступом к записям клиентов, внутренним документам, финансовым системам, платформам связи и инструментам автоматизации может вызвать реальные последствия.

По мере того как организации подключают агентов к все более мощным системам, фокус должен сместиться с возможностей модели на операционный контроль.

Критический вопрос больше не заключается в том, «Насколько умна модель?». Он звучит так: «Что модели разрешено делать?»

Создание надежных агентных систем

Более широкий урок статьи заключается в том, что безопасность агентов требует эшелонированной обороны.

Организациям, внедряющим ИИ-агентов, следует уделить приоритетное внимание:

  • Доверенные и недоверенные данные — Строгое разделение между доверенными и недоверенными источниками данных
  • Границы разрешений — Явные ограничения того, что могут делать агенты
  • Управление памятью — Контроль систем долговременной памяти
  • Одобрение человеком — Подтверждение высокорискованных операций
  • Аудит и наблюдаемость — Комплексное логирование и мониторинг
  • Политики доступа к инструментам — Четкие правила для внешних интеграций

Эти принципы отражают давно устоявшиеся практики кибербезопасности, поскольку ИИ-агенты все больше напоминают сотрудников, а не просто программные функции.

Главный урок

В индустрии ИИ-агентов часто называют цифровыми сотрудниками. Эта аналогия становится все более точной.

Сотрудники проходят обучение. Сотрудники работают согласно политикам. У сотрудников есть определенные полномочия. За сотрудниками ведется наблюдение. Сотрудники могут совершать ошибки.

ИИ-агенты ничем не отличаются. Единственная разница в том, что они могут совершать ошибки со скоростью машины.

Самыми успешными ИИ-продуктами следующего десятилетия станут не те, что обладают самыми мощными моделями. Они будут обладать самой надежной архитектурой доверия.

Интеллект привлекает пользователей.

Доверие их удерживает.

Защита контекста, а не только данных

В PrivateNote.ai мы считаем, что защита контекста становится столь же важной, как и защита самих данных. По мере того как ИИ-системы получают доступ к большему количеству наших личных заметок, бизнес-знаний и рабочих процессов, безопасность должна выходить за рамки хранения и шифрования, включая информацию, которую агенты потребляют, запоминают и на основе которой действуют.

Фото: Léna Le Roy · Unsplash.