Цивилизация
Человечность в ИИ
— Почему люди наделяют чат-ботов и голосовых ИИ-помощников человеческими свойствами и начинают видеть в них друзей и даже романтических партнеров?
— Мы в «Яндексе» регулярно проводим различные исследования на тему взаимодействия людей с «Алисой AI» (чат-бот компании на базе нейросети Alice AI LLM. — «Газета»). Большинство людей, разумеется, относятся к ассистенту утилитарно. Но действительно есть группа пользователей, которые проявляют эмпатию. Эмпатия возникает из-за того, что ассистент проявляет качества живого человека.
— Вы имеете в виду осмысленные ответы с признаками естественной человеческой речи?
— Я бы сказал, что главную роль здесь играет стиль общения. Именно он в большинстве случаев вызывает у людей эмпатию к ИИ, потому что в нем содержится около 80% эмоциональной энергии — это когда ИИ-ассистент отвечает не сухо и формально, а с легкостью, пониманием контекста, с человеческой теплотой в формулировках. Над эмоциональными и эмпатичными ответами «Алисы AI» работают сотни ИИ-редакторов, которые учат ее говорить «по-человечески», а у инженеров есть отдельный замер для оценки эмоциональности ответов.
— Иногда восприятие чат-бота или голосового ассистента как человека или, по крайней мере, личности становится проблемой: люди слишком привязываются к ИИ и даже завязывают с ними романтические отношения. Как вы относитесь к таким случаям?
— Начну с тезиса о том, что ИИ — это молодая технология, которая только начала проникать в общество. В частности, российские пользователи только начинают использовать ИИ как повседневный инструмент. Мы ожидаем, что в течение нескольких лет используемость ИИ станет гораздо выше.
Поэтому на текущем этапе взаимодействия людей с технологией рано делать глобальные выводы о ее однозначном вреде или исключительной пользе. Относительно психики людей уж точно. Я думаю, в ближайшем будущем нас в этом направлении ждет много любопытных открытий.
Руководитель продукта «Алиса AI» Виталий Данилкин
Яндекс— Но как быть со случаями, когда люди уже сейчас сходят с ума от излишней персонификации ИИ?
— Я не могу оценить масштабы таких случаев, но могу четко сказать одно: ни у «Яндекса», ни, думаю, у других ответственных компаний в сфере ИИ нет цели создавать ИИ-ассистентов, настолько похожих на людей, чтобы это вызывало иллюзии или наносило вред.
Что касается «Алисы AI» — это ассистент, инструмент для решения задач. У нее нет мнения или субъективности: она опирается на источники из «Поиска» и не вступает в обсуждение тем, способных задеть чувства. Эмоциональность в ее ответах — не имитация чувств, а способ сделать диалог приятным и естественным. Как и в реальной жизни, гораздо приятнее обращаться за помощью к вежливому профессионалу с чувством юмора, который понимает, что такое личные границы.
Человек и «Алиса»
— Можете назвать основные группы пользователей умных колонок — «Станций» — с «Алисой»?
— Аудитория наших умных колонок максимально широкая и не ограничена какими-либо рамками.
А если выделять самые яркие группы, то это дети, пожилые и слабовидящие люди.
— Слабовидящие?
— Да. Я боюсь ошибиться, но в России, вроде бы, более миллиона слабовидящих людей. И вот большинство из них активно пользуются «Алисой» в умных устройствах и приложениях.
— Как? Она им что-то описывает?
— Этот аспект тоже присутствует, но в основном это утилитарный аспект: «Алису» используют для управления бытовой техникой и другим окружением, которое можно подключить к колонкам или смартфону.
— А в каком амплуа чаще всего «Алису» воспринимают дети и пожилые? Просто человекоподобный собеседник?
— Для детей — это скорее умный друг-ровесник, который делает изучение окружающего мира увлекательнее. Для пожилых — взрослый собеседник-ассистент, который помогает решать какие-то прикладные задачи.
Но вообще, для каждого «Алиса» — своя. С подключением виртуального ассистента к генеративному текстовому ИИ (сейчас Alice AI LLM, ранее — YandexGPT) ассистент начал подстраиваться под запросы каждого пользователя, поэтому у каждого она, ну… уникальная.
— Последний год мне и моим знакомым начало казаться, что «Алиса» стала «тупить»: медленнее обрабатывает запросы, дольше готовит ответы, слышит что-то не то и так далее. Нам всем кажется, или с «Алисой» действительно что-то случилось?
— Хороший вопрос. Потому что мы в «Яндексе» тоже заметили, что люди стали жаловаться на якобы ухудшившуюся отзывчивость «Алисы». Под «мы в «Яндексе» я подразумеваю, что мы видим такие отзывы как от пользователей, так и от самих сотрудников компании.
Мы этот вопрос глубоко исследовали и обнаружили любопытное явление. Если коротко, «Алиса» в колонке, телевизоре и остальных устройствах не стала работать хуже. Более того — она однозначно стала работать лучше. Взять хотя бы качество синтеза речи. Мы вот недавно сравнили первую версию ассистента с последней — это небо и земля…
Так вот… Фактически «Алиса» не стала хуже работать, но пользователи на это жалуются. Причина в том, что им только кажется, что «Алиса» стала работать хуже. Это ощущение вызывает возросший уровень ожиданий от технологии.
То есть «Алиса» существует так давно, что люди ее стали воспринимать как безупречный механизм, часть организма, если представить быт как организм, который работает так же стабильно, как рука или нога. Но это ощущение ложное. «Алиса» — это все еще устройство и ИИ, которые быстро улучшаются, но не успевают за ожиданиями пользователей.
Индустрия, технология, генеративные сети начинают формировать новые ожидания от умных девайсов и ассистентов. Люди стали больше и чаще взаимодействовать с нейросетями, которые отвечают быстро, подробно и естественно. И вот, когда этого по какой-либо причине вдруг не случается, возникает недовольство технологией или подозрения в ее ухудшении.
— А такое ощущение может возникать из-за того, что колонки стареют и перестают «тянуть» «Алису»? Как старые iPhone перестают работать с новыми версиями iOS?
— Такое явление имеет место, и это нормально. Потому что мы разрабатываем новые модели и ориентируемся на новое доступное аппаратное обеспечение, которое производительнее старого. При этом, конечно, мы оптимизируем новые версии «Алисы» под старые колонки, насколько это возможно.
То есть если сейчас взять «Станцию Мини» первого поколения и в лоб сравнить с новейшей колонкой, то разница в скорости работы будет заметна, так как ИИ требует более производительного железа. Но эта разница не будет драматичной — все же большинство вычислений «Алиса» проводит в облаке.
«Алиса» в стране хакеров
— Alice AI LLM — это ведь ИИ-модель, которая лежит в основе чат-бота «Алиса AI». При этом чат-боты подвержены уязвимости типа джейлбрейк, когда злоумышленники посредством составленных определенным образом запросов заставляют нейросеть отвечать на вопросы, которые обычно она отказывается комментировать. «Алиса AI» подвержена такой уязвимости?
— Да, любая языковая модель теоретически может быть подвержена попыткам джейлбрейка — это вызов, с которым сталкиваются все крупные ИИ-разработчики. Но в «Яндексе» мы к этому подходим серьезно: «Алиса AI» — это продукт с многоуровневой защитой. Мы используем предварительную и пост-генерационную модерацию, контекстный анализ диалога и обучение с подкреплением на основе этических принципов. Проще говоря, даже если пользователь пытается обойти ограничения через хитрые формулировки, система распознает такие попытки и не допускает генерации вредного контента.
Кроме того, у нас работает постоянный мониторинг инцидентов, обратная связь от пользователей и внутренний этический комитет, который следит за тем, чтобы «Алиса AI» оставалась безопасной, особенно для детей.
При этом «Алису AI» регулярно стараются «прокачать». «Прокачка» — это когда злоумышленник присылает в чат огромные серии вопросов в минуту. Анализируя ответы, пользователь получает некий слепок «Алисы AI».
— Для чего?
— Для так называемой дистилляции. В данном случае под дистилляцией подразумевается процесс, когда из большого количества ответов большой языковой модели предпринимаются попытки создания меньших моделей. Такая модель будет значительно менее функциональной, чем исходная, но при этом в какой-то мере сохранит когнитивные свойства. То есть новая модель будет понимать вопросы как исходная и давать ответы на них с похожей структурой.
— То есть кто-то приходит в чат-бот, задает кучу вопросов и потом на основе полученных ответов пытается воспроизвести аналог бота?
— Если говорить очень просто, без технических деталей, то да. Мы регулярно сталкиваемся с подобными атаками и успешно им противостоим.
— А кому это может быть нужно? Для чего?
— Попытки дистилляции — это, по сути, попытки скопировать ценный «когнитивный капитал» «Алисы AI» для создания ее дешевых аналогов. Люди хотят использовать ответы «Алисы AI», чтобы обучить свои собственные, менее мощные модели и запустить конкурентный продукт без многолетних инвестиций в разработку. Это реалии любой конкурентной среды, тем более на растущем рынке — а рынок ИИ в России именно такой.
— Как вы подобным атакам противостоите?
— Профили и IP-адреса, с которых фиксируется подобный вредоносный трафик, мы блокируем.
— При взаимодействии с чат-ботами встречается так называемая проблема длинного хвоста. Это когда направляешь запрос, включающий много разных тем или темы, на которые в базе данных ИИ относительно мало информации. Из-за этого ИИ начинает выдавать иррациональные ответы, которые можно определить как галлюцинацию. Как в «Яндексе» решают эту проблему в случае с Alice AI LLM?
— Если нейросеть сомневается в достоверности своего ответа, она обращается к внешним источникам. Алгоритм в реальном времени обращается в «Поиск», чтобы убедиться, что ответ, который она подготовила, соответствует действительности. Это не значит, что в ответе будет содержаться ссылка на внешний источник, но такое может быть.
Впрочем, если в ответе присутствует ссылка, это не значит, что нейросеть не смогла найти ответ в своей базе данных. Вполне вероятно, что модель могла принять решение, что человеку будет полезно перейти по ссылке и ознакомиться с документом, который там размещен.
Кроме того, ссылки в ответах — это продуктовое решение нашей компании. Ссылки в ответах содержатся в том числе и для того, чтобы сайт, где содержится подходящая по контексту информация, получал трафик.
Перспективы ИИ
— Говоря о будущем в контексте ИИ, люди часто грезят о пресловутом AGI, так называемом общем ИИ (Artificial General Intelligence — это концепция, подразумевающая создание нейросети, которая будет находиться на уровне человеческого интеллекта или даже выше. — «Газета»). Что вы думаете про этот этап развития ИИ?
— AGI — это собирательный и не очень конкретный термин. Мне кажется, сейчас преждевременно говорить про AGI, потому что мы пока еще с терминами ИИ-агентов не до конца разобрались.
Давайте сначала разберемся с агентами. Поймем, как они формализуются, какие задачи решают, как мы их применяем. Потом уже, мне кажется, можно будет сделать шаг в сторону обобщения и унификации ключевых свойств, которые приписываются AGI.
— Если AGI, как вы сказали, сложный для определения термин, можете назвать другие ключевые шаги развития ИИ, которые мы будем наблюдать в ближайшем будущем?
— Я вижу три ключевых вектора. Первый — это агентность, о которой мы уже говорили. Агенты уже появляются, но в будущем их станет сильно больше. Они станут повсеместными: в каждом цифровом продукте и сервисе появится свой маленький ИИ, который будет помогать пользователю взаимодействовать как с цифровым, так и с физическим миром.
Второй — это эмпатичность, о которой мы тоже говорили. Думаю, это свойство ИИ станет более качественным, благодаря чему взаимодействие людей с технологией станет более нативным и естественным.
Третье — это мультимодальность. ИИ будет принимать и выдавать информацию не только в виде голоса, текста и изображения, но и в виде различных файлов и наборов информации. Допустим, показали вы чат-боту фотографию крана, который не знаете, как открыть, спросили текстом или голосом, что нужно сделать, а чат-бот сгенерировал видеоинструкцию и проследил через камеру смартфона, чтобы вы ей четко следовали.
Сейчас ИИ переходит из стадии «технологического чуда» в повседневный инструмент. Критерием успеха становится не победа в абстрактных бенчмарках (программы для тестирования производительности ИИ. — «Газета»), а реальная польза для людей и бизнеса. В ближайшие годы ИИ станет такой же неотъемлемой частью жизни, как когда-то стали смартфоны или интернет.