Платформа «VK Звонки» представила новые возможности на основе машинного обучения и нейросетей. Функция расшифровки автоматически переводит звуковую дорожку встречи в текст, который можно найти в чате звонка после его окончания. Пользователи также смогут запустить автосубтитры — они будут дублировать речь участников звонка в ходе встречи.
Новые возможности доступны всем пользователям «VK Звонков».
Текстовую расшифровку может включить любой пользователь группового звонка, при этом участники встречи получат уведомление о её начале. После окончания встречи файл с текстом придёт в чат звонка и сохранится в специальном разделе в профиле пользователя, запустившего функцию.
В файле расшифровки автоматически расставляются тайм-коды и имена говорящих. Также пользователи смогут включать автоматические субтитры — они появятся во время речи каждого спикера в реальном времени. При этом субтитры будут показываться только у тех участников, которые самостоятельно их включили.
Нейросеть умеет определять разных спикеров и разделять речь на предложения. Текстовую расшифровку можно запустить вместе с субтитрами и записью звонка. Новые функции также доступны в сессионных залах и в звонках от имени сообщества.
Автоматический перевод аудио в текст работает с речью на русском, в дальнейшем команда добавит и другие языки. Кроме того, в ближайших планах платформы запуск новых функций в звонках один на один и возможность администратора настраивать, кто из участников встречи может запускать расшифровку.
Перевод речи в текст использует собственные нейросетевые разработки «ВКонтакте», которые соцсеть применяет для расшифровки голосовых сообщений и создания автосубтитров в видео.
Для обеспечения высокого качества расшифровки аудиопоток проходит несколько этапов обработки. Запись очищается от фоновых звуков с помощью интеллектуального шумоподавления, затем нейросеть распознаёт слова, формирует из них текст и делит речь на предложения в соответствии с конкретным спикером.
Источник новости: habr.com
