Потоковое распознавание речи в реальном времени с внутренним механизмом финализации

Системы автоматического распознавания речи все чаще используются не как самостоятельные инструменты, а как компоненты более сложных систем: голосовых ассистентов, диалоговых интерфейсов, сервисов онлайн-транскрибации звонков и встреч. В таких сценариях важно не только получить качественную транскрипцию, но и уметь работать с аудио в реальном времени: выдавать промежуточные гипотезы, поддерживать длинные сессии, а также своевременно понимать, когда текущий фрагмент распознавания уже достаточно стабилен и его можно передавать дальше.

В данной работе предлагается новый подход к решению этой задачи. Ключевая гипотеза работы состоит в том, что решение о финализации распознавания может быть частью самой модели, а не внешним модулем. При таком подходе модель может сама определять, достаточно ли ей контекста, чтобы завершить текущий фрагмент, или ей нужно продолжить слушать аудио до появления более устойчивой гипотезы. В рамках работы представлен первый этап разработки такой системы (pretrain), который содержит все основные шаги подготовки модели: от выбора метрик и сбора данных и до обучения и сравнительного анализа с современными системами распознавания речи.