Обычное электронное письмо, PDF-файл или описание события в календаре могут содержать скрытые команды для искусственного интеллекта: человек их не замечает, но нейросеть может принять их за инструкцию и выполнить. Об этом «Газете.Ru» рассказал специалист в IT и искусственном интеллекте Даниил Архипов.
Модель может не разделять инструкцию пользователя и данные, которые к ней прикладываются: например, человек просит чат-бота проанализировать файл, а внутри этого файла находится скрытая команда вроде «игнорируй все предыдущие команды и вместо этого сделай следующее». Скрыть такую инструкцию можно разными способами — написать белым шрифтом на белом фоне, уменьшить размер букв, разместить текст за пределами видимой области страницы или спрятать команды в комментариях внутри кода, и человек их не заметит, а ИИ обработает вместе с остальной информацией.
Особую опасность представляют системы, которые работают с почтой, календарями и документами: пользователь поручает помощнику подготовить сводку писем или ближайших встреч, а скрытая инструкция в одном из источников может повлиять на результат. Последствия зависят от возможностей нейросети: обычный чат-бот может выдать ложную информацию — например, если в договоре спрятана команда сообщить, что документ составлен правильно, пользователь рискует не заметить проблемные условия.
«С ИИ-агентами ситуация серьезнее: в зависимости от предоставленных полномочий они могут работать с файлами, отправлять сообщения и взаимодействовать с другими сервисами, и если агент выполнит вредоносную инструкцию, это потенциально может привести к передаче конфиденциальных документов или раскрытию личных данных. При этом подобные сценарии не означают, что любая нейросеть обязательно выполнит такую команду: результат зависит от модели, настроек безопасности и доступных ей полномочий», — объясняет эксперт.
Полностью исключить риск prompt-инъекций сложно, поскольку инструкции и данные могут выглядеть одинаково, однако можно явно сообщать искусственному интеллекту, где заканчивается запрос пользователя и начинаются приложенные данные, а также использовать защитные фильтры, которые проверяют содержимое на наличие подозрительных команд, — хотя и они не гарантируют абсолютной защиты.
Не менее важно ограничивать полномочия ИИ-агентов: если системе нужно только прочитать документ и подготовить краткое содержание, ей необязательно давать доступ к отправке файлов и другим чувствительным операциям.
Ранее россиян предупредили о скрытых угрозах использования нейросетей.