Ученые центра практического ИИ Сбера, сотрудники и студенты НИУ ВШЭ, а также эксперты Санкт-Петербургского федерального исследовательского центра РАН представили нейросеть, которая может распознавать эмоции, оценивать видимые черты личности и выявлять амбивалентность, сообщает пресс-служба Сбера.
Новый ИИ-инструмент анализирует видео, голос, содержание речи, сгенерированное описание мимики, позы, взгляда и жестов. Также нейросеть понимает эмоции, оценивает воспринимаемые черты личности и выявляет амбивалентность.
«В ходе этой работы удалось выяснить, что использование данных о личности и амбивалентности заметно улучшило распознавание эмоций на незнакомых данных. Однако до универсального эмоционального ИИ еще далеко: многозадачное обучение пока не всегда превосходит специализированные модели», — отметил научный директор центра практического искусственного интеллекта Сбера Андрей Савченко.
Как рассказал доцент школы информатики, физики и технологий НИУ ВШЭ Дмитрий Рюмин, теперь можно анализировать разные проявления человека во взаимосвязи друг с другом.
«Существующие модели часто специализируются на конкретном корпусе данных и хуже переносят знания. Чтобы решить эту проблему, мы объединили несколько разнородных корпусов, каждый из которых был размечен для своей задачи, и научили модель использовать всю информацию одновременно», — сказал он.
Всего ученые сравнили три модели обучения. Первая работала с размеченными данными, вторая добирала данные из других корпусов, а третья обучалась на нескольких задач.
Способность работать с новыми данными проверили на отдельном корпусе, который модель не видела во время обучения. Многозадачность улучшила качество распознавания эмоций на 13,7 %.
До конца 2026 года участники проекта планируют повысить адаптивность модели и внедрить нейросетевых экспертов.