Сотрудник задаёт AI-ассистенту вопрос про договор, к которому у него нет доступа по роли — и получает точный, хорошо процитированный ответ с полным текстом условий. Формально система сработала отлично: нашла документ, дала ответ с источником. По сути — это утечка данных, только через чат, а не через файловую шару.

Именно поэтому безопасность RAG нельзя добавить после того, как система уже отвечает на вопросы, — она должна быть частью архитектуры retrieval с самого начала. Корпоративный RAG работает с договорами, персональными данными, техническими схемами и внутренними решениями, и вопрос не в том, «может ли модель случайно сказать лишнее», а в том, «видит ли она вообще то, что не должна видеть».

NIST AI RMF (Generative AI Profile) и ISO/IEC 42001 описывают это как управленческую, а не только техническую задачу: роли и ответственность, контроль на входе и выходе системы, мониторинг и процесс регулярного пересмотра политик — то есть система должна не просто «быть настроена один раз», а находиться под управлением так же, как любой другой корпоративный процесс с доступом к чувствительным данным.

Возвращаясь к примеру с договором: правильная архитектура фильтрует контекст до того, как retrieval вообще найдёт документ, — если у пользователя нет прав на договор, модель не должна видеть его текст, чтобы потом «не процитировать». Фильтрация постфактум, когда документ уже найден и просто скрывается в интерфейсе, не защищает от утечки через сам факт генерации ответа.

Помимо контроля доступа нужен след: кто спросил, что было найдено, что было отвечено — не для отчётности, а для разбора конкретного инцидента, когда придётся выяснять, было ли раскрытие данных ошибкой конфигурации или разовым сбоем. И отдельный вопрос — где физически хранится индекс: в публичном облаке, в private cloud или полностью on-premise, — это тоже часть политики доступа, а не только технический выбор инфраструктуры.

В Knovium сценарий с договором закрыт на уровне архитектуры: ролевой доступ (RBAC) применяется до retrieval, поэтому модель физически не видит документы вне прав пользователя, а не «видит, но обещает не показывать». Каждый запрос, найденные источники и итоговый ответ логируются, а развёртывание может быть полностью on-premise, если этого требует политика компании.