О продукте

Audiogram – это сервис на базе нейронных сетей и методов машинного обучения для распознавания и синтеза речи. Audiogram позволяет выполнять:

• Синхронное распознавание речи. В этом случае сервис получает запрос с аудиофайлом, который необходимо расшифровать, и возвращает распознанный текст. Данный способ выполняется последовательно и считается наиболее точным. Подходит, например, для расшифровки телефонных разговоров.

• Потоковое распознавание речи. В случае потокового распознавания устанавливается соединение с Audiogram, по которому речь говорящего отправляется на распознавание частями в режиме online. Сервис возвращает результаты расшифровки по мере обработки. Данный способ подходит, например, для создания голосовых помощников или субтитров к видео.

• Синхронный синтез речи. При синхронном синтезе запрос к Audiogram содержит текст, который необходимо озвучить, и дополнительную информацию по голосу, частоте дискретизации и кодировке. В ответ возвращается аудиофайл с озвученным текстом. Этот способ может использоваться, например, для озвучивания книг.

• Потоковый синтез речи. При потоковом синтезе текст отправляется в Audiogram и озвучивается по частям. Потоковый синтез подходит, например, для создания ответных реплик голосовых помощников, так как позволяет достичь эффекта живого общения без неестественных пауз.

• Сбор аудиоартефактов. Аудиофайлы, поступающие в Audiogram на распознавание речи, сохраняются в отдельном хранилище и могут быть использованы для обучения и усовершенствования ML-моделей, отвечающих за расшифровку речи.

• Управление клиентами и просмотр статистики. Это можно сделать с помощью удобного веб-клиента в любом браузере.

Термины в документе

• Audiogram (также Продукт, Система) – сервис, выполняющий услуги по распознаванию речи (превращению аудиозаписей с речью в текст) и синтезированию речи (озвучиванию текстов).

• ASR (Automatic Speech Recognition) – запрос на распознавание речи.

• TTS (Text-to-Speech) – запрос на синтезирование речи.

• ML-модель (также нейросеть, искусственный интеллект) – программа, обученная распознаванию определенных типов закономерностей, которая используется в Audiogram для автоматизации и ускорения выполнения запросов на синтез и распознавание речи. В Audiogram используются различные ML-модели (в зависимости от типа запроса и деталей запросов).

• Бот (также чат-бот, электронный помощник) – программа, отвечающая на запросы пользователей и имитирующая живое общение между людьми.

Демонстрация Audiogram

Вы можете бесплатно попробовать отправить какой-нибудь текст на озвучку или аудиофайл на распознавание, используя демонстрационную форму Audiogram, которая доступна на основной странице продукта.

Варианты поставки Audiogram

Возможны 2 варианта поставки Audiogram:

• SaaS: Audiogram установлен в облаке MTS AI. Доступ к сервису осуществляется через подключение по API (gRPC).

• On-premise: Audiogram развернут и функционирует в инфраструктуре заказчика.

Справочник API

Распознавание речи

Для взаимодействия с API распознавания речи используется протокол gRPC.

Примечание: Подробности об этом протоколе можно прочитать на https://grpc.io/

Чтобы пользоваться сервисом Audiogram для распознавания речи нужно создать клиентское приложение. Можно использовать любой язык программирования, который есть в библиотеке для работы с gRPC.

При написании приложения используйте proto-файл stt.proto.

Максимальная длина сообщения, принимаемого от клиентов по gRPC (в байтах): 31457280

Методы

При обращении по gRPC-протоколу клиентское приложение использует нужный метод сервиса.

Recognize

Распознавание аудио целиком.

StreamingRecognize

Потоковое распознавание речи.

GetModelsInfo

Запрос моделей для распознавания речи.

Сообщения PROTOBUF для распознавания речи

VoiceActivityMark

Определяет разметку голосовой активности во входном акустическом сигнале. Сообщение включает в себя метку времени и тип метки.

VoiceActivityMarkType

Определяет тип метки голосовой активности.

VoiceActivityDetectionAlgorithmUsage

Тип используемого алгоритма VoiceActivity.

VoiceActivityMarkEventsMode

Режим отправки VoiceActivity разметки клиенту.

VADOptions

Настройки работы алгоритма VAD.

VoiceActivityDetectionMode

Выбор типа разметки аудио с помощью VAD.

DEPOptions

Настройки работы алгоритма DEP.

VoiceActivityConfig

Структура данных для хранения всех настроек VoiceActivity.

AudioEncoding

Поддерживаемые форматы аудиоданных.

AttackType

Тип атаки.

AntiSpoofingConfig

Конфигурация антиспуфинга.

RecognitionConfig

Конфигурация распознавания при вызове метода Recognize.

StreamingRecognitionConfig

Конфигурация распознавания при вызове метода StreamingRecognize.

StreamingRecognizeRequest

Запрос на распознавание аудио.

Первое сообщение типа StreamingRecognizeRequest должно содержать данные в поле «streaming_config» и не должно содержать данные в поле «audio». Все последующие сообщения StreamingRecognizeRequest наоборот не должны иметь данных в поле «streaming_config», а в поле «audio» передаются аудиоданные. Аудиобайты должны быть закодированы, как указано в RecognitionConfig.

RecognitionAudio

Аудио, отправляемое на распознавание.

RecognizeRequest

Запрос на распознавание аудио.

RecognizeResponse

Ответ с результатами распознавания для метода Recognize.

StreamingRecognizeResponse

Ответ с результатами распознавания для метода StreamingRecognize.

EmotionsRecognition

Эмоциональная окраска голоса спикера.

SpeakerGenderAgePrediction

Пол, возраст и эмоциональная окраска голоса спикера.

GenderClass

Пол говорящего.

AgeClass

Возраст говорящего.

SpoofingResult

AttackResult

SpeechRecognitionAlternative

Альтернативные гипотезы.

WordInfo

Объект, содержащий информацию, относящуюся к распознанному слову.

StreamingRecognitionResult

Результат вызова метода распознавания потокового аудио StreamingRecognize.

SpeechRecognitionResult

Результат вызова метода файлового распознавания аудио Recognize.

ModelsInfo

Доступные модели распознавания речи.

ModelInfo

Информация о модели распознавания речи.

Синтез речи

Взаимодействие с API синтеза речи осуществляется по протоколу gRPC.

Примечание: Подробности об этом протоколе можно прочитать на https://grpc.io/

Чтобы пользоваться сервисом Audiogram для синтеза речи нужно создать клиентское приложение. Можно использовать любой язык программирования, который есть в библиотеке для работы с gRPC.

При написании приложения используйте proto-файл tts.proto.

Максимальная длина сообщения, принимаемого от клиентов по gRPC (в байтах): 31457280

Методы

StreamingSynthesize

Потоковый синтез речи.

Synthesize

Синхронный файловый синтез речи.

GetModelsInfo

Запрос моделей для синтеза речи.

Сообщения PROTOBUF для синтеза речи

AudioEncoding

Поддерживаемые форматы аудиоданных.

VoiceStyle

Эмоциональная окраска голоса.

SynthesizeOptions

Опции синтеза.

CustomSynthesizeOptionValue

Индивидуальные настройки синтеза.

PostprocessingMode

Постобработка аудио (удаление фоновых шумов, выравнивание громкости, эквализация и другие улучшения).

SynthesizeSpeechRequest

Настройки синтеза для файлового метода синтеза речи.

StreamingSynthesizeSpeechResponse

Результат работы потокового синтеза речи.

SynthesizeSpeechResponse

Результат работы файлового синтеза речи.

ModelsInfo

Доступные голоса для синтеза речи.

ModelInfo

Информация о модели синтеза речи.

Использование SSML-разметки

SSML (Speech Synthesis Markup Language) – это язык разметки с фиксированным набором тегов и атрибутов, основанный на XML (но без тега xml в начале) и применяемый для синтеза речи. Его можно использовать, чтобы настроить скорость и звучание голоса.

Настройка проводится с помощью SSML-тегов, которые нужно указать в тексте, отправляемом на синтез.

Примечание: текст без тегов необходимо писать в поле SynthesizeSpeechRequest.text

На данный момент в Audiogram поддерживаются следующие SSML-теги:

Параметры тегов указываются внутри треугольных скобок в виде

<название_тега название_параметра1="величина_параметра1" название_параметра2="величина_параметра2" закрытие тега>

Как поставить ударение в слове

Некоторые слова могут читаться по-разному. Например, «жАркое» или «жаркОе». При помощи SSML-разметки можно указать где надо делать ударение. Для этого после ударной гласной необходимо вставить {'} :

• «жа{'}ркое», чтобы получилось «жАркое»; и
• «жарко{'}е», чтобы получилось «жаркОе».

Дополнительно

1. Если отправить какой-то текст без разметки на озвучку в поле text, а потом этот же текст обернуть только в тег и отправить на озвучку в поле ssml, то текст будет озвучен одинаково.

2. Если текст с SSML-тегами отправить на озвучку в поле text, то Audiogram озвучит не только текст, но и теги. Например, если отправить "Привет мир", то озвучка будет - "спик привет мир спик".

3. Знак ударения {'} синтез не считает ssml-тегом и он будет обработан как ударение и в text, и в ssml.

4. Синтез текста без SSML-разметки и синтез этого же текста с разметкой не будут различаться по нагрузке на систему.

Примеры использования SSML-тегов

Пример 1 (весь текст с SSML-разметкой, отправляемый на синтез, должен быть обернут в тег speak):

<speak>Глава 1.
Три девицы под окном
Пряли поздно вечерком. 
«Кабы я была царица, —
Говорит одна девица, —
То на весь крещеный мир
Приготовила б я пир».</speak>

Пример 2 (добавляем паузу после «Глава 1.»):

<speak>Глава 1. <break time="2s"/>
Три девицы под окном
Пряли поздно вечерком. 
«Кабы я была царица, —
Говорит одна девица, —
То на весь крещеный мир
Приготовила б я пир».</speak>

Пример 3 (поставим ударение, чтобы сервис правильно произнес «девИца», а не «дЕвица»):

<speak>Глава 1. <break time="2s"/>
Три девицы под окном
Пряли поздно вечерком. 
«Кабы я была царица, —
Говорит одна деви{'}ца, —
То на весь крещеный мир
Приготовила б я пир».</speak>

Пример 4 (укажем высоту и скорость произнесения всего текста):

<speak speed="0.8" pitch="-0.4">Глава 1. <break time="2s"/>
Три девицы под окном
Пряли поздно вечерком. 
«Кабы я была царица, —
Говорит одна деви{'}ца, —
То на весь крещеный мир
Приготовила б я пир».</speak>

Пример 5 (Изменим высоту и скорость произнесения прямой женской речи. Если выбрана мужская голосовая модель, это сделает звучание более аутентичным.):

<speak speed="0.8" pitch="-0.4">Глава 1. <break time="2s"/>
Три девицы под окном
Пряли поздно вечерком. 
<prosody speed="1.1" pitch="0.7">«Кабы я была царица, —
Говорит одна деви{'}ца, —
То на весь крещеный мир
Приготовила б я пир».</prosody></speak>

Метаданные gRPC-запросов

• Каждый запрос к Audiogram API должен содержать токен доступа. Передавайте токен следующим способом:

  authorization: Bearer <access_token>

• В запросе можно передать уникальный идентификатор, который позволит детально проследить за историей выполнения запроса. Для этого используйте ключ trace-id:

  external_trace_id: <id>

  Список ML-моделей и голосов в Audiogram

Модель для распознавания речи (ASR) или голос для синтеза речи (TTS) следует указывать, используя псевдоним (alias). Это позволяет обновлять модели без необходимости проводить повторную интеграцию клиентов.

Внимание! Если в запросе указана частота дискретизации (sample rate) отличная от значений, поддерживаемых моделью, то:

• в случае распознавания речи (ASR) произойдет перекодирование частоты дискретизации на значение, поддерживаемое моделью (16000 Гц).
• в случае синтеза речи (TTS) будет использована модель с ближайшей частотой дискретизации в большую сторону.

ASR e2e

TTS

Сообщения об ошибках

Примеры кода клиентских приложений Audiogram

Для работы с Audiogram необходимо создать клиентское приложение. В этом разделе можно посмотреть примеры кода клиентских приложений, написанных на Python. Однако, вы можете использовать и другие языки программирования, для которых существуют библиотеки gRPC.

При написании клиентских приложений используйте proto-файлы.

Распознавание аудио в файловом режиме

Посмотреть пример...

Распознавание аудио в потоковом режиме

Посмотреть пример...

Синтез аудио в файловом режиме

Посмотреть пример...

Синтез аудио в потоковом режиме

Посмотреть пример...

История релизов Audiogram

Текущая версия - Audiogram 3.17.0

Обновление Audiogram 3.17.0 содержит следующие улучшения, обновления и исправления:

Новый функционал

• Добавлена возможность передавать новый ключ session-id в метаданных запросов на распознавание речи. По этому ключу можно агрегировать из аудиоархива все запросы, относящиеся к одному диалогу.

Улучшения

• Обновлена модель high_quality: произведено ускорение тритон-сервера, улучшен интонационный рисунок синтеза.

Исправление ошибок

• Исправлена ошибка, которая приводила к погрешностям при сборе статистики по синтезу и распознаванию речи.
• Исправлена ошибка, из-за которой количество каналов в многоканальных аудио не изменялось на 1 при значении параметра split_by_channels = False, что приводило к ошибкам и сбоям в работе транскодера.

Предыдущие версии

Audiogram 3.16.0

Audiogram 3.16.0 содержит следующие улучшения, обновления и исправления:

Новый функционал

• Добавлен новый сервис Антиспуфинг, позволяющий отличить реального человека от бота при входящем звонке.

Улучшения

• Произведен рефакторинг компонента asr-e2e-agent.

Исправление ошибок

• Исправлена ошибка, из-за которой для некоторых аудио, отправленных на распознавание в потоковом режиме с выключенным VAD, приходили пустые результаты распознавания.

Audiogram 3.15.0

Audiogram 3.15.0 содержит следующие улучшения и исправления:

Оптимизация

• Ускорена ML-нормализация чисел более, чем в 2 раза, за счёт изменения алгоритмов работы.

Исправление ошибок

• Исправлена ошибка, из-за которой иногда происходила некорректная озвучка дат и сумм в некоторых падежах.

Audiogram 3.14.0

Audiogram 3.14.0 содержит следующие улучшения:

Новый функционал

• Добавлена поддержка определения тональности аудио при распознавании речи. По тону высказывание может быть позитивным, нейтральным, грустным или сердитым.
  Определение тональности работает по сегментам VAD (Voice Activity Detection). Если VAD выключен, определяется тональность всего аудио. Если VAD включен, то определяется тональность каждого сегмента, отмеченного VAD.

Оптимизация

• Проведены работы по общей оптимизации Audiogram, направленные на повышение быстродействия сервиса и уменьшение потребления системных ресурсов:

  • Библиотека log-kit была дополнительно переработана и обновлена в следующих сервисах:
  • api
  • asr-e2e-agent
  • tts-agent
  • vad-agent
  • genderage-agent
  • statistics-api
  • statistics-ingester
  • grpc-service-template
  • Сервисы Audiogram, работающие по gRPC, переведены на формат пропагации трассировки ABNF.
  • Оптимизирована упаковка чанков аудио в InferInput.
  • Удалена метка grpc-code для метрики grpc_requests_processing_time_seconds.
    

  Результаты оптимизации по сравнению с предыдущей версией Audiogram:
  

  Распознавание речи (ASR):

  • 100 одновременных запросов в потоковом режиме - Latency p95 сократился на 8%; Latency mean сократился на 11%
  • 150 одновременных запросов в потоковом режиме - Latency p95 сократился на 17.4%; Latency mean сократился на 29.8%
  • 100 одновременных запросов в файловом режиме - RTFx увеличился на 7%
  • 150 одновременных запросов в файловом режиме - RTFx увеличился на 6.1%

  Синтез речи (TTS) (проверялся только потоковый режим; замеры по файловому режиму отдельно не проводились, так как он основан на потоковом):

  • 100 одновременных запросов на синтез в потоковом режиме моделью light - Latency p95 сократился на 4.5%; Latency mean сократился на 3%; RTFx увеличился на 7.5%
  • 100 одновременных запросов на синтез в потоковом режиме моделью high_quality - Latency p95 сократился на 4.2%; Latency mean сократился на 6%; RTFx увеличился на 5.8%

• Проведены доработки сервиса transcriber:

  • Triton Inference Server обновлен до версии 23.07.
  • С целью улучшения качества синтеза речи пополнены следующие словари:
  • эфикация
  • ёфикация
  • однозначные ударения
  • морфологические омонимы
  • контекстуальные омонимы
  • слова с дефисом

• Проведены доработки и интеграция обновленного сервиса transcoder:

  • Изменен способ задания формата кодеков. Теперь приходящий в api запрос имеет следующий маппинг по полю encoding сообщения AudioEncoding:
    

    AudioEncoding	Значение поля format	Значение поля codec
    ENCODING_UNSPECIFIED	не поддерживается	не поддерживается
    LINEAR_PCM	s16le	s16le
    FLAC	не поддерживается	не поддерживается
    MULAW	s16le	pcm_mulaw
    ALAW	s16le	pcm_alaw

    
    

  • Передача трассировочной информации теперь осуществляется через метаданные в формате ABNF.

  • Добавлена поддержка версионирования api и обратная совместимость между версиями сервиса transcoder.

  • Проведена прямая интеграция библиотек FFmpeg в transcoder, что позволило увеличить пропускную способность сервиса в 10-15 раз.

• Повышена точность работы сервиса genderage за счет изменения значения CHUNK_ALIGNMENT_SIZE по умолчанию с 25600 до 32000 секунд.

Исправление ошибок

• Исправлена ошибка, из-за которой распознавание в файловом режиме проходило успешно, но в логах сервиса asr-e2e-agent иногда записывалась ложная ошибка о незакрытой последовательности контекста.
• Исправлена ошибка, из-за которой при запросе доступных ML-моделей в список попадали более не поддерживаемые модели.
• Исправлена ошибка, из-за которой клиентское приложение зависало при отправке в сервис genderage нечетного количества байт.
• Исправлена ошибка, из-за которой в запросах от api к transcoder иногда выставлялось неверное значение аудиоканалов.

Audiogram 3.10.0

Audiogram 3.10.0 содержит следующие улучшения:

Новый функционал

• Добавлена поддержка обработки сокращений и ML-нормализации чисел (с сохранением функционала нормализации чисел, работающей на правилах).
• Добавлена поддержка распознавания многоканального аудио (каждый канал распознаётся по отдельности).

Оптимизация

• Улучшена работа библиотеки log-kit, что позволит сервисам Audiogram тратить меньше времени и ресурсов на запись логов.

Исправление ошибок

• Исправлена ошибка в работе сервиса DEP, из-за которой в некоторых случаях, когда голос звучал в самом начале первого чанка, некорректно идентифицировалось начало речи.
• Исправлена ошибка в работе сервиса VAD, из-за которой иногда некорректно выставлялись метки начала и конца речи.

Audiogram 3.9.0

В обновлении Audiogram 3.9.0 вдвое увеличена скорость синтеза речи моделью high_quality.

Audiogram 3.8.0

Audiogram 3.8.0 содержит следующие улучшения:

Оптимизация

• Переработана и оптимизирована трассировка для компонентов asr-e2e-agent и vad-agent, что позволило сократить задержку (latency) p99.

• Переработано и оптимизировано логирование для компонента asr-e2e-agent, что позволило сократить задержку и нагрузку на систему.

• Проведены исследования и увеличена длительность аудиофрагмента, отправляемого на расшифровку, с 0.8 до 2 секунд. Это позволило снизить нагрузку на систему и количество ошибок распознавания речи (WER - Word Error Rate).

• Упрощено извлечение информации из логов за счет введения структурированного логирования для компонентов auth и audio-archive-back.

Исправление ошибок

• Исправлена ошибка, из-за которой в логах сборки обфусцированных образов asr-e2e-agent, vad-agent и audio-archive-back появлялась строка о проблеме, но при этом сами образы были рабочими.

• Исправлена ошибка, из-за которой метрики производительности компонента vad-agent не отображались на обзорной панели.

• Исправлена ошибка, из-за которой в ключе tts-cache не учитывалось применение постобработки, вследствие чего один и тот же текст нельзя было озвучить с другим видом постобработки.

• Исправлена ошибка, из-за которой наблюдалось снижение производительности синтеза речи при включенной авторизации.

• Исправлена ошибка, из-за которой в ответе на запрос распознанных фраз из архива audio-archive-back возвращал только первую фразу.

Дополнительно

• Версия Triton в VAD обновлена до 23.07 для более стабильной работы сервиса.

• Для избежания проблем с уязвимостью обновлена версия утилиты grpc_health_probe до 0.7.0.

• Обновлён образ audio-archive-back (Python > v3.11).

Audiogram 3.7.0

Audiogram 3.7.0 содержит следующие улучшения:

Новый функционал:

• Добавлены gRPC-метрики, позволяющие отслеживать взаимодействие между компонентами asr-e2e-agent и genderage_agent (количество запросов, количество запросов в прогрессе, время выполнения запросов, количество ошибок и т.д.) с помощью Prometheus.

• Реализована возможность работы сервиса genderage отдельно от встроенного VAD (Voice Activity Detection), что позволяет заказчикам при необходимости подключать свой собственный VAD (компонент, отвечающий за определение голосовой активности в аудио).

Оптимизация

• Фразы, полученные при распознавании в файловом режиме, больше не объединяются в один элемент, а перечисляются по отдельности. Это позволяет впоследствии корректно выполнить определение пола и возраста участников разговора, если в аудио несколько спикеров.

• Повышена скорость взаимодействия asr-e2e-agent и Triton-сервера благодаря оптимизации подготовки инпутов (объектов для входа).

Исправление ошибок

• Исправлена ошибка с отправкой некорректной метки, из-за которой в Prometheus не отображались алерты (alerts) для компонента asr-e2e-agent.

• Исправлена ошибка с отправкой некорректной метки, из-за которой в Prometheus не отображались алерты (alerts) для компонента vad-agent.

• Исправлена ошибка, из-за которой возникали разные результаты определения пола при отправке запроса к genderage через Audiogram API и напрямую.

• Исправлена ошибка, из-за которой распознавание речи не работало при выключенном VAD.

Audiogram 3.6.0

Audiogram 3.6.0 содержит следующие улучшения:

1. В ходе тестирования были выявлены и исправлены несколько ошибок, что повысило общую стабильность работы сервиса.

2. Оптимизированы развертывание, работа и названия моделей для синтеза речи. Теперь обе модели доступны одновременно. Чтобы выбрать какой моделью необходимо произвести озвучку, передайте её название в запросе:

   • light - эта модель является менее ресурсоемкой и рекомендуется к использованию в производственных целях.
   • high_quality - данная модель потребляет больше системных ресурсов, так как относится к новому поколению моделей, отличающихся более хорошими показателями качества синтеза, На данный момент ее рекомендуется использовать при невысокой нагрузке.

   Вы можете выбрать любую модель, но если в запросе не указать конкретное название, то для синтеза в потоковом режиме по умолчанию будет использоваться light, а для синтеза в файловом режиме - high_quality.

Audiogram 3.5.1

Audiogram 3.5.1 содержит следующее улучшение:

1. Исправлена ошибка трассировки, из-за которой в один трейс попадали спаны нескольких запросов.

Audiogram 3.5.0

Audiogram 3.5.0 содержит следующие улучшения:

Для сервиса распознавания речи (ASR)

1. Проведены работы по снижению задержки (latency). Например: убрано шифрование модуля sentence-piece (данное изменение не влияет на безопасность); внедрен новый предиктор ML-модели; и др.

Для сервиса синтеза речи

1. Внедрена новая модель, что привело к улучшению интонаций и уменьшению количества потребляемых ресурсов видеокарты.
2. Улучшено качество синтеза голоса Ганджаева благодаря дополнительному обучению моделей.