Чат-бот «Алиса AI», как и другие популярные ИИ, регулярно становится мишенью для злоумышленников. Одной из ключевых угроз является так называемая прокачка — метод, при котором конкуренты «Яндекса» пытаются создать копию нейросети, задавая ей много вопросов и анализируя ее ответы. Подробнее об этом в интервью «Газете.Ru» рассказал руководитель продукта «Алиса AI» в «Яндексе» Виталий Данилкин.
Эксперт объяснил, что «прокачка» — это метод, при котором злоумышленник отправляет в чат огромное количество вопросов в минуту. Анализируя полученные ответы, он создает некий «слепок» «Алисы AI». Этот процесс, известный как дистилляция, позволяет на основе ответов большой языковой модели (LLM) предпринять попытки создания меньших и менее функциональных, но похожих по поведению моделей.
«Если говорить очень просто, без технических деталей, то да. Кто-то приходит в чат-бот, задает кучу вопросов и потом на основе полученных ответов пытается воспроизвести аналог бота», — сказал Данилкин.
По его словам, целью таких атак является копирование ценного «когнитивного капитала» «Алисы AI» для создания дешевых аналогов. Это позволяет потенциальным конкурентам обучить собственные модели без многолетних инвестиций в разработку, что особенно актуально на растущем рынке ИИ в России.
«Мы регулярно сталкиваемся с подобными атаками и успешно им противостоим. Профили и IP-адреса, с которых фиксируется подобный вредоносный трафик, мы блокируем», — заявил представитель «Яндекса».
Помимо «прокачки», «Алиса AI», теоретически подвержен попыткам джейлбрейка. Однако в компании подчеркивают, что «Алиса AI» защищена многоуровневой системой безопасности, включающей предварительную и пост-генерационную модерацию, а также контекстный анализ диалога, что позволяет распознавать и блокировать подобные попытки.
Подробнее о развитии «Алисы AI» и ИИ в России – в интервью Виталия Данилкина «Газете.Ru».