Positive Technologies создала модуль LLM Firewall, который прикрывает корпоративных ИИ-ботов и сервисы на больших языковых моделях от хакерских атак.
Новинка вошла в состав флагманского средства веб-защиты PT Application Firewall. Задача модуля — отслеживать и входящие запросы к языковой модели, и её ответы. Система ищет следы кибератак, попытки «отравления» промтов, утечки конфиденциальных сведений и нарушения заданных политик безопасности.
Спрос на такую защиту прежде всего возникнет у банков, ретейлеров, маркетплейсов, телеком-операторов и ИТ-компаний. В этих секторах ИИ уже разгружает сотрудников: разбирает обращения клиентов, помогает оформлять заказы и автоматизирует внутренние процессы. Обратная сторона медали — виртуальные помощники получают доступ к персональным данным, корпоративным документам и информационным системам. Их компрометация чревата утечками, финансовыми потерями и сбоями в бизнесе.
Один из распространённых сценариев атаки — инъекции промптов (prompt injection). Злоумышленник шлёт боту хитро составленный запрос, чтобы обойти ограничения, добраться до закрытой информации или вынудить ассистента совершить нежелательное действие. Вредоносные инструкции могут прятаться и в документах, которые обрабатывает модель. Классические средства веб-защиты такие атаки не видят: снаружи они выглядят как обычные сообщения пользователей.
«ИИ-агенты становятся полноценными участниками бизнес-процессов, а вместе с этим — новой целью для киберпреступников. Мы прогнозируем рост числа атак, при которых злоумышленники будут пытаться манипулировать поведением ИИ-ассистентов, чтобы выполнять вредоносные действия в корпоративной сети от их имени. По мере расширения возможностей таких помощников растут и последствия их компрометации. Поэтому компаниям важно учитывать эти риски уже при внедрении ИИ в свои сервисы», — сказал Павел Пархомец, руководитель продукта PT AF Cloud Positive Technologies.
LLM Firewall фиксирует попытки обойти ограничения ИИ (jailbreak), выманить системные инструкции или использовать возможности агента в интересах атакующего. Подозрительные обращения можно автоматически блокировать или сохранять для разбора специалистами по безопасности. Вторая задача модуля — контроль того, что пользователи сами передают ИИ-агенту: он находит персональные данные, пароли, ключи доступа и прочие секреты, а также токсичный, запрещённый и потенциально опасный контент. Двусторонняя проверка даёт компаниям контроль над сведениями, поступающими в ИИ-сервис, и над содержанием ответов. Клиентским сервисам это вдобавок снижает риск репутационного ущерба из-за некорректных ответов бота.
Модуль уже работает в PT AF Cloud и подключается к обмену данными между приложением и языковой моделью через API, совместимый с OpenAI Chat Completions и Responses. Отдельная консоль для управления защитой не нужна. Скоро модуль появится и в on-premise версии PT AF PRO. Компании смогут настраивать политики безопасности под разные ИИ-сервисы, выбирать режим мониторинга или блокировки, задавать отдельные правила проверки запросов и ответов. События попадают в PT AF, где специалисты используют их для анализа угроз и расследования инцидентов.
Загрузка...
