Сбер обновил ИИ-помощника GigaChat, интегрировав в него новую языковую модель GigaChat Audio, способную обрабатывать аудиофайлы и голосовые сообщения без предварительного преобразования речи в текст. Одновременно компания открыла разработчикам доступ к облегченной версии модели и представила семейство моделей автоматического распознавания речи GigaAM Multilingual, сообщила пресс-служба Сбера.
Уточняется, что новая версия GigaChat Audio может анализировать голосовые сообщения с учетом интонации, тембра и особенностей произношения. Благодаря этому ИИ-помощник способен определять эмоциональную окраску речи пользователя и адаптировать стиль ответа с учетом контекста общения.
Модель поддерживает обработку аудиозаписей продолжительностью до трех часов. Пользователи могут запрашивать краткое содержание записи, находить отдельные фрагменты по содержанию, получать ссылки на соответствующие таймкоды, а также пересказывать отдельные части разговора.
Кроме того, система различает участников диалога, что может использоваться при расшифровке совещаний, телефонных переговоров и интервью.
Также в ИИ-помощник добавили функцию сохранения информации, озвученной в голосовом диалоге, для последующего использования. Как сообщили в компании, пользователь сможет просматривать, изменять или полностью отключать сохраненную память в настройках профиля.
По данным Сбера, во внутренних испытаниях модель ничем не уступила ведущим зарубежным аналогам.
Как отметил руководитель блока «Развитие генеративного ИИ» Сбербанка Антон Фролов, развитие голосовых технологий является одним из ключевых направлений рынка ИИ-помощников, а публикация моделей в открытом доступе позволит использовать их при создании сервисов синхронного перевода, решений для людей с нарушениями речи, а также других голосовых приложений.
Помимо интеграции в GigaChat, Сбер открыл разработчикам доступ к модели GigaChat3.1-Audio-10B. Она поддерживает русский, английский и другие языки и может использоваться при создании сервисов транскрибации, голосового перевода, оценки качества озвучивания и обработки длинных аудиозаписей.
Также компания представила семейство моделей автоматического распознавания речи GigaAM Multilingual. По данным разработчиков, это первая российская открытая модель с поддержкой нескольких языков.
В компании сообщили, что обе модели прошли предварительное обучение на большом массиве многоязычных данных и могут быть дообучены для поддержки дополнительных языков, в том числе стран СНГ.