MWS AI открыла исходный код RESON — инструмента для оценки моделей распознавания речи (ASR). Библиотека доступна как открытая Python‑разработка, её представят на форуме «Цифровые решения». Это первая открытая разработка компании в области ASR.

RESON принимает расшифровки модели и эталонные тексты, приводит их к единым правилам, чтобы мелкие различия в написании не искажали оценку. Затем инструмент считает метрики и формирует интерактивный HTML‑отчёт, который подходит и для технического разбора, и для демонстрации результатов бизнес‑команде.

Какие метрики считает RESON

В инструменте более 10 настраиваемых метрик. Основные из них:

  • WER — доля ошибочных слов.
  • CER — ошибки на уровне символов.
  • MWA — каждой уникальной фразе присваивается одинаковый вес, поэтому видны промахи на редких словах: названиях компаний и сервисов.
  • WIS — собственная метрика MWS AI, которая ищет слова, почти не влияющие на общий результат, но важные в конкретном сценарии: бренды, англицизмы и т. п. Она учитывает частоту слов, долю ошибок, их тип и то, на что модель его заменяет. По ней удобно решать, что дообучать в первую очередь.

Как развернуть и использовать

RESON — открытая Python‑библиотека. Её подключают через командную строку или Python API и разворачивают на своих серверах, в том числе в закрытом контуре. Это важно для банков и операторов, которые не могут отправлять голосовые данные вовне.

Бенчмарк MWS RESON ASR OSD

Вместе с инструментом вышел бенчмарк MWS RESON ASR OSD. В нём более 12 тыс. размеченных записей общей длительностью около 38 часов. Данные двух типов: разговорная речь и фразы с числами (телефоны, счета, даты, суммы). Есть чистый звук и записи с шумом, например с работающим телевизором или чужими голосами. Много англицизмов и названий компаний, банков и операторов.

Контекст и планы

MWS AI развивает технологии распознавания речи с 2019 года. Решения компании, в том числе голосовые модели семейства Audiogram, используются, в том числе крупнейшим по числу абонентов и выручке телекоммуникационным оператором России МТС.

Руководитель команды распознавания речи MWS AI Александр Шевченко рассказал, что RESON создавали для внутренних задач. Раньше метрики считали в одном месте, ошибки разбирали в другом, а результаты сводили вручную. Теперь весь путь от подготовки данных до разбора ошибок собран в одной системе. Анализ, который занимал несколько часов, сократился до 10–15 минут. По словам Шевченко, компания хочет задать общий подход к оценке ASR, как минимум для русскоязычных данных.