ИТ-компания «Криптонит» (входит в ИКС Холдинг) разработала методику дообучения моделей транскрибирования, которая позволяет точнее расшифровывать аудиозаписи со словами на русском и английском языках в одном фрагменте речи. Об этом сообщила пресс-служба компании.
Методика может использоваться в системах автоматической расшифровки совещаний, обращений в техподдержку и других аудиоматериалов, где собеседники переключаются между языками. В ходе экспериментов средняя доля ошибок при распознавании смешанной речи снизилась на 13,6% по сравнению с исходной открытой моделью.
По прогнозу аналитиков, мировой рынок API для распознавания речи вырастет до $7,21 млрд к 2031 году, среднегодовой темп роста составит 20,23%. Среди факторов роста — расширение применения автоматической транскрибации в совещаниях и клиентском обслуживании. Однако при распознавании речи системы могут терять информацию, когда собеседники переключаются между языками: записывать иностранные слова латиницей, заменять их похожими по звучанию русскими словами или пропускать отдельные фрагменты, из-за чего смысл разговора искажается.
Например, в одном из тестовых фрагментов собеседник произносит «здесь, к сожалению, нет real-time превью». Исходная модель записала английское выражение русскими буквами — «реал тайм превью», тогда как дообученная сохранила его на английском: «real time preview». Аналогично команды вроде «switch» вместо «свич» и выражение «sign in» вместо «синг ин» распознаются с использованием латиницы.
Чтобы решить эту задачу, специалисты «Криптонита» подготовили около 10 тыс. часов аудиозаписей и использовали их для дообучения существующей модели. Данные создавали двумя способами: соединяли фрагменты записей на разных языках и синтезировали речь, в которой часть предложения звучит на другом языке. Так модель научилась распознавать переключение между русским и английским в пределах одного разговора.
«Результаты эксперимента показывают, что открытые модели распознавания речи можно адаптировать под более сложные сценарии использования. Для этого необязательно создавать новую модель с нуля: в нашем случае мы использовали существующую открытую модель и дообучили ее на специально подготовленных данных. Такой подход позволяет развивать возможности уже доступных технологий», — рассказал руководитель направления обработки аудиоданных лаборатории ИИ «Криптонита» Артём Рыженков.
Хотя в эксперименте рассматривалась пара языков — русский и английский, по словам разработчиков, подход можно адаптировать и для других языковых сочетаний. Ранее эксперты лаборатории ИИ «Криптонита» создали модель определения языка речи, которая работает в 10 раз быстрее и в пять раз легче аналога, а также разработали способ выборочно удалять цифровые образы людей из систем распознавания лиц.
Ранее сообщалось, что проверку распознавания речи с помощью ИИ ускорили в 10 раз.