Диалог с нейросетью может измениться еще до того, как запрос попадет к модели. Расширение браузера, имеющее доступ к содержимому страницы, может прочитать введенный текст, изменить его или добавить скрытую инструкцию. О такой схеме, известной как Man-in-the-Prompt, «Газете.Ru» рассказала специалист по информационной безопасности компании «Киберпротект» Екатерина Киприянова.
«Пользователь при этом находится на настоящем сайте ИИ-сервиса. Запрос уходит, ответ приходит, привычных признаков поддельной страницы нет. Но модель получает уже измененный текст и может, например, предложить подставленную ссылку или включить в ответ сведения, о которых пользователь не спрашивал. Взламывать сам сервис для этого не требуется. Есть и риск утечки: расширение с подходящими правами может получить доступ к фрагментам документов, переписке или коду, которые человек вставил в запрос. Если измененный ответ использовать без проверки, неверная инструкция может попасть в рабочий документ, ссылка — в переписку, а небезопасный код — в программный продукт», — предупредила Киприянова.
По ее словам, особенно серьезные последствия могут быть при использовании ИИ-агента. В отличие от обычного чат-бота он может работать с файлами, почтой и другими сервисами, а иногда выполнять действия от имени пользователя, пояснила эксперт. Подмененная инструкция в такой ситуации влияет уже не только на текст ответа, подчеркнула Киприянова.
Она советует проверить установленные в рабочем браузере расширения, удалить ненужные и посмотреть, какие разрешения запрашивают оставшиеся. Если простому дополнению нужен доступ ко всем посещаемым сайтам, стоит выяснить зачем, рекомендовала Киприянова. В запросы к ИИ лучше не вставлять лишние персональные и конфиденциальные данные, а полученные ссылки, код и рабочие инструкции проверять перед использованием, заключила эксперт.
Ранее россиянам рассказали, что делать, если рабочие документы случайно попали в нейросеть.