Компания MWS AI (входит в МТС Web Services ) представила RESON — открытый инструмент для оценки качества моделей, которые распознают речь. Он позволяет сравнивать разные версии моделей и понимать, какая из них работает точнее. Об этом «Газете.Ru» сообщили в компании.
Инструмент поддерживает более 10 разных метрик — то есть способов измерить, насколько хорошо модель понимает сказанное. Среди них, например, количество ошибок в словах, ошибки в отдельных символах и оценка того, насколько точно распознаются редкие слова — названия компаний, продуктов или сервисов. Есть и специальный показатель, разработанный MWS AI: он помогает находить слова, которые почти не влияют на общую точность, но важны для конкретной задачи — например, бренды или англицизмы.
RESON можно встроить в существующие процессы разработки и развернуть внутри компании, в том числе в закрытом контуре. Инструмент рассчитан на команды, которые сравнивают разные модели, и на компании, выбирающие между решениями разных разработчиков.
Вместе с RESON MWS AI выложила открытый набор данных для оценки моделей распознавания речи. В него входят более 12 тысяч размеченных аудиозаписей общей длительностью около 38 часов. Это записи, которые часто встречаются в голосовой связи и контакт-центрах: обращения в поддержку, автоматические уведомления, бытовые звонки, а также фразы с номерами телефонов, счетами, датами и суммами. Есть записи как без помех, так и с шумом и фоновой речью.
MWS AI сравнила открытые модели от Сбера, Alpha Cephei, Nvidia и OpenAI по показателю ошибок в словах. Лучший средний результат показала GigaAM v3 от Сбера — 7,42% ошибок. У Vosk — 11,07%, у Nvidia Parakeet — 15,83%, у Nvidia Nemotron — 25,52%. То есть GigaAM ошибалась более чем вдвое реже, чем Nvidia Parakeet, и более чем втрое реже, чем Nvidia Nemotron. На втором месте по точности — другая российская разработка, Vosk от Alpha Cephei.
«RESON изначально создавался для внутренних задач команды. Раньше оценка качества собиралась из нескольких инструментов: отдельно считались метрики, отдельно разбирались ошибки, результаты сводились вручную. RESON объединил этот процесс в одной системе. Анализ, который раньше мог занимать несколько часов, сократился до 10–15 минут. Сейчас мы открываем этот подход для всей отрасли», — отметил руководитель команды распознавания речи MWS AI Александр Шевченко.
Ранее россиянам объяснили, как приложения получают доступ к микрофону их смартфона.