О продукте

Audiogram – это сервис на базе нейронных сетей и методов машинного обучения для распознавания и синтеза речи. Audiogram позволяет выполнять:

• Синхронное распознавание речи. В этом случае сервис получает запрос с аудиофайлом, который необходимо расшифровать, и возвращает распознанный текст. Данный способ выполняется последовательно и считается наиболее точным. Подходит, например, для расшифровки телефонных разговоров.

• Асинхронное (отложенное) распознавание речи. Этот способ позволяет распознавать крупные аудиофайлы (размером до 1 ГБ) за период до 8 часов. Необходимо сохранить аудиофайл в s3-хранилище, а затем отправить в Audiogram запрос на отложенное распознавание, содержащий путь к аудиофайлу и параметры распознавания. Во время распознавания можно проверить статус или отменить задачу. Когда распознавание будет закончено, Audiogram сохранит результаты распознавания в s3 рядом с аудио.

• Потоковое распознавание речи. В случае потокового распознавания устанавливается соединение с Audiogram, по которому речь говорящего отправляется на распознавание частями в режиме online. Сервис возвращает результаты расшифровки по мере обработки. Данный способ подходит, например, для создания голосовых помощников или субтитров к видео.

• Синхронный синтез речи. При синхронном синтезе запрос к Audiogram содержит текст, который необходимо озвучить, и дополнительную информацию по голосу, частоте дискретизации и кодировке. В ответ возвращается аудиофайл с озвученным текстом. Этот способ может использоваться, например, для озвучивания книг.

• Потоковый синтез речи. При потоковом синтезе текст отправляется в Audiogram и озвучивается по частям. Потоковый синтез подходит, например, для создания ответных реплик голосовых помощников, так как позволяет достичь эффекта живого общения без неестественных пауз.

• Сбор аудиоартефактов. Аудиофайлы, поступающие в Audiogram на распознавание речи, сохраняются в отдельном хранилище и могут быть использованы для обучения и усовершенствования ML-моделей, отвечающих за расшифровку речи.

• Управление клиентами и просмотр статистики. Это можно сделать с помощью удобного веб-клиента в любом браузере.

Термины в документе

• Audiogram (также Продукт, Система) – сервис, выполняющий услуги по распознаванию речи (превращению аудиозаписей с речью в текст) и синтезированию речи (озвучиванию текстов).

• ASR (Automatic Speech Recognition) – запрос на распознавание речи.

• TTS (Text-to-Speech) – запрос на синтезирование речи.

• ML-модель (также нейросеть, искусственный интеллект) – программа, обученная распознаванию определенных типов закономерностей, которая используется в Audiogram для автоматизации и ускорения выполнения запросов на синтез и распознавание речи. В Audiogram используются различные ML-модели (в зависимости от типа запроса и деталей запросов).

• Бот (также чат-бот, электронный помощник) – программа, отвечающая на запросы пользователей и имитирующая живое общение между людьми.

Демонстрация Audiogram

Вы можете бесплатно попробовать отправить какой-нибудь текст на озвучку или аудиофайл на распознавание, используя демонстрационную форму Audiogram, которая доступна на основной странице продукта.

Варианты поставки Audiogram

Возможны 2 варианта поставки Audiogram:

• SaaS: Audiogram установлен в облаке MTS AI. Доступ к сервису осуществляется через подключение по API (gRPC).

• On-premise: Audiogram развернут и функционирует в инфраструктуре заказчика.

Справочник API

Синхронное распознавание речи

Для взаимодействия с API распознавания речи используется протокол gRPC.

Примечание: Подробности об этом протоколе можно прочитать на https://grpc.io/

Чтобы пользоваться сервисом Audiogram для распознавания речи нужно создать клиентское приложение. Можно использовать любой язык программирования, который есть в библиотеке для работы с gRPC.

При написании приложения используйте proto-файл stt.proto.

Максимальная длина сообщения, принимаемого от клиентов по gRPC (в байтах): 62914560

Методы

При обращении по gRPC-протоколу клиентское приложение использует нужный метод сервиса.

FileRecognize

Выполняет распознавание речи в файловом режиме.

Recognize

Выполняет распознавание речи в потоковом режиме.

GetModelsInfo

Запрашивает список моделей для распознавания речи.

Сообщения PROTOBUF для распознавания речи

//Начало конфига запроса по распознаванию речи

FileRecognizeRequest

Запрос на распознавание аудио в файловом режиме.

RecognizeRequest

Запрос на распознавание аудио в потоковом режиме.

Первое сообщение типа RecognizeRequest должно содержать данные в поле «config» и не должно содержать данные в поле «audio». Все последующие сообщения RecognizeRequest, наоборот, не должны иметь данных в поле «config», а в поле «audio» передаются аудиоданные. Аудиобайты должны быть закодированы, как указано в RecognitionConfig.

RecognitionConfig

Конфигурация распознавания при вызове метода FileRecognize.

VoiceActivityMarkEventsMode

Режим отправки разметки VoiceActivity клиенту.

StreamRecognitionConfig

Конфигурация распознавания при вызове метода Recognize.

AudioEncoding

Поддерживаемые форматы аудиоданных.

VoiceActivityConfig

Структура данных для хранения всех настроек VoiceActivity.

VoiceActivityDetectionAlgorithmUsage

Тип используемого алгоритма VoiceActivity.

VADOptions

Настройки работы алгоритма VAD.

VoiceActivityDetectionMode

Выбор типа разметки аудио с помощью VAD.

DEPOptions

Настройки работы алгоритма DEP.

GenderAgeEmotionConfig

Настройки работы сервиса genderage.

AttackType

Тип атаки.

AntiSpoofingConfig

Конфигурация антиспуфинга.

ContextDictionaryConfig

Конфигурация распознавания речи с участием словаря.

PunctuationConfig

Конфигурация модели капитализации и расстановки знаков препинания.

DenormalizationConfig

Конфигурация модели денормализации чисел.

SpeakerLabelingConfig

Конфигурация диаризации.

//Окончание конфига запроса по распознаванию речи

//Начало конфига ответа на запрос по распознаванию речи

FileRecognizeResponse

Ответ с результатами распознавания для метода FileRecognize.

RecognizeResponse

Ответ с результатами распознавания для метода Recognize.

SpeechRecognitionHypothesis

Результат распознавания речи.

WordInfo

Объект, содержащий информацию, относящуюся к распознанному слову.

VoiceActivityMark

Определяет разметку голосовой активности во входном акустическом сигнале. Сообщение включает в себя метку времени и тип метки.

VoiceActivityMarkType

Определяет тип метки голосовой активности.

SpeakerGenderAgePrediction

Пол, возраст и эмоциональная окраска голоса спикера.

EmotionsRecognition

Эмоциональная окраска голоса спикера.

GenderClass

Пол говорящего.

AgeClass

Возраст говорящего.

SpoofingResult

Результат работы модели, определяющей является ли аудио, поступившее на распознавание, спуфинг-атакой.

AttackResult

Информация - является ли аудио, поступившее на распознавание, спуфинг-атакой или голос принадлежит человеку.

SpeakerInfo

Информация по спикеру, которому принадлежат распознанные фразы.

//Окончание конфига ответа на запрос по распознаванию речи

//Начало информации о моделях распознавания речи.

ModelsInfo

Доступные модели распознавания речи.

ModelInfo

Информация о модели распознавания речи.

//Окончание информации о моделях распознавания речи.

Асинхронное (отложенное) распознавание речи

Взаимодействие с API отложенного распознавания речи осуществляется по протоколу gRPC.

Примечание: Подробности об этом протоколе можно прочитать на https://grpc.io/

Чтобы пользоваться сервисом Audiogram для отложенного распознавания речи нужно создать клиентское приложение. Можно использовать любой язык программирования, который есть в библиотеке для работы с gRPC.

При написании приложения используйте proto-файл longrunning_stt.proto.

Методы

LongRunningRecognize

GetTaskInfo

CancelTask

Сообщения PROTOBUF для отложенного распознавания речи в файловом режиме (асинхронном)

Task

Status

Audio

TaskRequest

LongRunningRecognizeRequest

AudioPath

Синтез речи

Взаимодействие с API синтеза речи осуществляется по протоколу gRPC.

Примечание: Подробности об этом протоколе можно прочитать на https://grpc.io/

Чтобы пользоваться сервисом Audiogram для синтеза речи нужно создать клиентское приложение. Можно использовать любой язык программирования, который есть в библиотеке для работы с gRPC.

При написании приложения используйте proto-файл tts.proto.

Максимальная длина сообщения, принимаемого от клиентов по gRPC (в байтах): 62914560

Методы

StreamingSynthesize

Потоковый синтез речи.

Synthesize

Синхронный файловый синтез речи.

GetModelsInfo

Запрос моделей для синтеза речи.

Сообщения PROTOBUF для синтеза речи

AudioEncoding

Поддерживаемые форматы аудиоданных.

VoiceStyle

Эмоциональная окраска голоса.

SynthesizeOptions

Опции синтеза.

CustomSynthesizeOptionValue

Индивидуальные настройки синтеза.

PostprocessingMode

Постобработка аудио (удаление фоновых шумов, выравнивание громкости, эквализация и другие улучшения).

SynthesizeSpeechRequest

Настройки синтеза для файлового метода синтеза речи.

StreamingSynthesizeSpeechResponse

Результат работы потокового синтеза речи.

SynthesizeSpeechResponse

Результат работы файлового синтеза речи.

ModelsInfo

Доступные голоса для синтеза речи.

ModelInfo

Информация о модели синтеза речи.

Использование SSML-разметки

SSML (Speech Synthesis Markup Language) – это язык разметки с фиксированным набором тегов и атрибутов, основанный на XML (но без тега xml в начале) и применяемый для синтеза речи. Его можно использовать, чтобы настроить скорость и звучание голоса.

Настройка проводится с помощью SSML-тегов, которые нужно указать в тексте, отправляемом на синтез.

Примечание: текст без тегов необходимо писать в поле SynthesizeSpeechRequest.text

На данный момент в Audiogram поддерживаются следующие SSML-теги:

Параметры тегов указываются внутри треугольных скобок в виде

<название_тега название_параметра1="величина_параметра1" название_параметра2="величина_параметра2" закрытие тега>

Важно! Обратите внимание на кавычки, в которых указываются величины параметров. Необходимо использовать " (ASCII code 34).

Как поставить ударение в слове

Некоторые слова могут читаться по-разному. Например, «жАркое» или «жаркОе». При помощи SSML-разметки можно указать где надо делать ударение. Для этого после ударной гласной необходимо вставить {'} :

• «жа{'}ркое», чтобы получилось «жАркое»; и
• «жарко{'}е», чтобы получилось «жаркОе».

Важно! В фигурных скобках необходимо использовать одинарную кавычку ' (ASCII code 39).

Дополнительно

1. Если отправить какой-то текст без разметки на озвучку в поле text, а потом этот же текст обернуть только в тег и отправить на озвучку в поле ssml, то текст будет озвучен одинаково.

2. Если текст с SSML-тегами отправить на озвучку в поле text, то Audiogram озвучит не только текст, но и теги. Например, если отправить "Привет мир", то озвучка будет - "спик привет мир спик".

3. Знак ударения {'} синтез не считает ssml-тегом и он будет обработан как ударение и в text, и в ssml.

4. Синтез текста без SSML-разметки и синтез этого же текста с разметкой не будут различаться по нагрузке на систему.

Примеры использования SSML-тегов

Пример 1 (весь текст с SSML-разметкой, отправляемый на синтез, должен быть обернут в тег speak):

<speak>Глава 1.
Жаркое лето изменило все планы. Было решено сэкономить на поездке к морю и провести весь отпуск на даче.
«Я уверен вам понравится, поставим бассейн, будем шашлыки жарить» - резюмировал Георгий.
Супруга не разделяла радость: «Я чувствую комары нас съедят».</speak>

Пример 2 (добавляем паузу после «Глава 1.»):

<speak>Глава 1. <break time="1.5s"/>
Жаркое лето изменило все планы. Было решено сэкономить на поездке к морю и провести весь отпуск на даче.
«Я уверен вам понравится, поставим бассейн, будем шашлыки жарить» - резюмировал Георгий.
Супруга не разделяла радость: «Я чувствую комары нас съедят».</speak>

Пример 3 (ставим ударение, чтобы Audiogram правильно произнес «жАркое», а не «жаркОе»):

<speak>Глава 1. <break time="1.5s"/>
Жа{'}ркое лето изменило все планы. Было решено сэкономить на поездке к морю и провести весь отпуск на даче.
«Я уверен вам понравится, поставим бассейн, будем шашлыки жарить» - резюмировал Георгий.
Супруга не разделяла радость: «Я чувствую комары нас съедят».</speak>

Пример 4 (укажем высоту и скорость произнесения всего текста):

<speak speed="0.8" pitch="-0.4">Глава 1. <break time="1.5s"/>
Жа{'}ркое лето изменило все планы. Было решено сэкономить на поездке к морю и провести весь отпуск на даче.
«Я уверен вам понравится, поставим бассейн, будем шашлыки жарить» - резюмировал Георгий.
Супруга не разделяла радость: «Я чувствую комары нас съедят».</speak>

Пример 5 (изменим высоту и скорость произнесения прямой мужской речи):

<speak speed="0.8" pitch="-0.4">Глава 1. <break time="1.5s"/>
Жа{'}ркое лето изменило все планы. Было решено сэкономить на поездке к морю и провести весь отпуск на даче.
<prosody speed="1.1" pitch="-0.2">«Я уверен вам понравится, поставим бассейн, будем шашлыки жарить»</prosody> - резюмировал Георгий.
Супруга не разделяла радость: «Я чувствую комары нас съедят».</speak>

Пример 6 (если для синтеза речи используется модель high_quality, можно указать какими голосами и эмоциональной окраской озвучить прямую речь):

<speak speed="0.8" pitch="-0.4">Глава 1. <break time="1.5s"/>
Жа{'}ркое лето изменило все планы. Было решено сэкономить на поездке к морю и провести весь отпуск на даче.
<prosody speed="1.1" pitch="-0.2"><voice name="gandzhaev" style="happy">«Я уверен вам понравится, поставим бассейн, будем шашлыки жарить»</voice></prosody> - резюмировал Георгий.
Супруга не разделяла радость: <voice name="borisova" style="sad">«Я чувствую комары нас съедят».</voice></speak>

Метаданные gRPC-запросов

• Каждый запрос к Audiogram API должен содержать токен доступа. Передавайте токен следующим способом:

  authorization: Bearer <access_token>

• В запросе можно передать уникальный идентификатор, который позволит детально проследить за историей выполнения запроса. Для этого используйте ключ trace-id:

  external_trace_id: <id>

  Список ML-моделей и голосов в Audiogram

Модель для распознавания речи (ASR) или голос для синтеза речи (TTS) следует указывать, используя псевдоним (alias). Это позволяет обновлять модели без необходимости проводить повторную интеграцию клиентов.

Внимание! Если в запросе указана частота дискретизации (sample rate) отличная от значений, поддерживаемых моделью, то:

• в случае распознавания речи (ASR) произойдет перекодирование частоты дискретизации на значение, поддерживаемое моделью (16000 Гц).
• в случае синтеза речи (TTS) будет использована модель с ближайшей частотой дискретизации в большую сторону.

ASR e2e

TTS

Сообщения об ошибках

Примеры кода клиентских приложений Audiogram

Для работы с Audiogram необходимо создать клиентское приложение. Примеры кода клиентских приложений собраны в этом разделе. Их можно использовать в качестве образцов при написании сервисов, использующих Audiogram.

Архив содержит следующие примеры кода:

Распознавание речи:

• клиент, выполняющий распознавание речи в файловом режиме
• клиент, выполняющий распознавание речи в потоковом режиме
• клиент, получающий список доступных моделей для распознавания речи

Синтез речи:

• клиент, выполняющий синтез речи в файловом режиме
• клиент, выполняющий синтез речи в потоковом режиме
• клиент, получающий список доступных моделей для синтеза речи

Работа с аудиоархивом:

• клиент, получающий список запросов на распознавание речи
• клиент, позволяющий скачать аудио, полученное на распознавание речи
• клиент, позволяющий скачать разметку голосовой активности
• клиент, позволяющий скачать результат распознавания речи

Внимание! Примеры из архива, перечисленные выше, создавались для stt_v3.proto и tts_v2.proto

В качестве образца кода клиентских приложений для предыдущей версии stt.proto файла используйте следующие примеры:

• распознавание речи в файловом режиме
• распознавание речи в потоковом режиме

История релизов Audiogram

Текущая версия - Audiogram 3.31.0

Обновление Audiogram 3.31.0 содержит следующие улучшения и исправления:

Новый функционал

• В компоненте asr-e2e-agent:
  • добавлена возможность проверять состояние соединений с помощью механизма KEEPALIVE.
  • добавлена возможность принимать и устанавливать защищенное соединение.

Улучшения

• Добавлена метрика real_time_lag, которая показывает есть ли задержки во время потокового распознавания речи. Это позволит вовремя обнаружить возможные проблемы с производительностью.
• Часть логов информативного характера (например, финальные расшифровки речи) вынесены с уровня DEBUG на уровень INFO, что позволит извлекать логи в тех случаях, когда нет параметра request_id.
• В целях устранения уязвимостей в asr-e2e-agent выровнены версии базового образа и зависимых Python-библиотек.

Исправления

• Исправлена ошибка потокового распознавания речи, которая появлялась при включении режима отправки разметки VAD va_response_mode=VA_ENABLE.

Предыдущие версии

Audiogram 3.30.0

Audiogram 3.30.0 содержит следующее улучшение:

• Внесены различные изменения, повышающие стабильность работы компонентов, отвечающих за асинхронное (отложенное) распознавание.

Audiogram 3.29.0

Audiogram 3.29.0 содержит следующие улучшения и исправления:

Новый функционал

• Добавлена возможность настраивать через переменную окружения компонента audio-archive-back к какому бакету хранилища extremum будет обращаться Audiogram. Это упрощает настройку окружений, когда у вас несколько стендов с Audiogram.
• На всех микросервисах, вошедших в это обновление Audiogram, добавлена возможность проверять состояние соединений с помощью механизма KEEPALIVE.

Улучшения

• В асинхронное (отложенное) распознавание речи добавлена более оптимальная модель VAD (Voice Activity Detection), что позволит увеличить пропускную способность и распознавать файлы больших размеров.
• Повышена стабильность функционирования ML-модели, отвечающей за диаризацию (разделение) спикеров, на GPU.
• В целях оптимизации часть логов с уровня INFO была перенесена на уровень DEBUG.

Исправления

• Исправлена ошибка, которая возникала из-за того, что Triton-server и ML-модель одновременно использовали порт 8003.
• Исправлена проблема с утечкой памяти в интерфейсе offline_vad, который используется для диаризации спикеров, посредством перевода работы offline_vad с CPU на GPU.

Audiogram 3.28.0

Audiogram 3.28.0 содержит следующее улучшение:

• Осуществлен переход на групповую (батчевую) обработку запросов между компонентами для синтеза речи tts-agent и tts-server. Это позволит минимизировать сетевые задержки и затраты на передачу служебной информации. Алгоритм группировки запросов работает без таймаута, что делает его более приемлемым для непрерывной большой нагрузки. Размер группы (по умолчанию 5 запросов) настраивается на стороне tts-agent через переменную TTS_AGENT_TTS_BATCH_SIZE.

Audiogram 3.27.0

Audiogram 3.27.0 содержит следующие улучшения и изменения:

Новый функционал

• Внедрена поддержка отложенного распознавания речи. Этот функционал позволяет распознавать файлы размером до 1 ГБ за период до 8 часов.

Улучшения

• Обновлена модель синтеза речи high_quality. В ней выровнен интонационный рисунок на "склейках" (местах соединения фрагментов озвучивания) и улучшено качество синтеза в целом. Также модель теперь потребляет столько же ресурсов, сколько и менее ресурсоемкая модель light, при той же пропускной способности и том же уровне latency.

Изменения

• Начиная с этого обновления, вступают в силу следующие изменения:
  • Audiogram API поддерживает транскодер только версии 2.0 и выше.
  • tts-agent больше не поддерживает модель синтеза light. Для вызова модели light необходимо использовать tts-agent версии 7.1.z.
  • Протокол взаимодействия с сервисами transcriber, acronym и numbers изменен с HTTP на gRPC.

Audiogram 3.26.0

Audiogram 3.26.0 содержит следующее улучшение:

• Реализована поддержка шифрования данных, сохраняемых в аудиоархив, и возможность их дешифровки на стороне компонента archive-back. Это позволило повысить уровень безопасности для коммуникации между архивом и другими сервисами Audiogram, а также надежнее защитить данные в архиве от потенциальных угроз.

Audiogram 3.25.0

Audiogram 3.25.0 содержит следующие улучшения и исправления:

• Скорость модели антиспуфинга повышена в ~2 раза с улучшением качества работы.
• Модели пунктуатора и денормализатора чисел оптимизированы и объединены в один Triton-сервер без потери обратной совместимости, что позволило повысить уровень RPS и снизить latency.
• Улучшено качество работы модели денормализатора чисел (особое внимание было уделено обработке номеров карт, лицевых счетов, серии/номера паспорта, а также почтовых индексов):
  • Исправлена ошибка, из-за которой денормализатор не обрабатывал числа, написанные с большой буквы.
  • Исправлена ошибка, из-за которой в распознавании длинных последовательностей цифр, продиктованных по одной цифре, могли появиться лишние элементы.
  • Исправлена ошибка, из-за которой денормализатор не обрабатывал числительные, в названии которых присутствовала буква "ё".

Audiogram 3.24.0

Audiogram 3.24.0 содержит следующие улучшения и исправления:

• Улучшена ML-модель "Денормализатор чисел":
  • Triton-сервер обновлен до версии 24.05.
  • Добавлены 2 вида config-файлов - для CPU- и GPU-версий.
  • При выборе работы модели на GPU теперь все вычисления максимально переносятся на видеокарту. Это уменьшает потребление CPU-ядер и несколько ускоряет работу на видеокарте.
• Улучшена ML-модель "Обработчик сокращений":
  • Исправлен ряд ошибок, которые приводили к некорректной озвучке некоторых сокращений.
  • Расширен датасет с "руб." и "коп." для более корректной озвучки этих сокращений.
• Исправлена ошибка записи результатов распознавания речи в случаях мгновенного закрытия канала после отправки данных со стороны клиента.

Audiogram 3.23.0

Audiogram 3.23.0 содержит следующие улучшения:

• Исправлена ошибка, из-за которой паузы между словами при синтезе речи были длиннее, чем указывалось в ssml-разметке.
• Исправлена ошибка, из-за которой первые запросы на синтез речи в "непрогретую" ML-модель завершались падением.

Audiogram 3.22.1

В обновлении Audiogram 3.22.1 оптимизирована логика передачи client_id (необходим для получения данных из s3) в Audiogram API для записи в хранилище s3.

Если при работе с Audiogram используется авторизация, client_id не нужно передавать в запросе - Audiogram api сделает это автоматически.

Если работа с Audiogram проходит без авторизации, client_id необходимо передавать в заголовке запроса в виде пары ключ-значение.

Audiogram 3.22.0

Audiogram 3.22.0 содержит следующие обновления и улучшения:

Новый функционал

• Добавлен сервис, который в распознанной речи осуществляет денормализацию чисел (преобразует текстовое представление числа в цифровое, например, "пять файлов > 5 файлов").
• Добавлен сервис, который в распознанной речи проводит капитализацию необходимых слов и расставляет знаки препинания (точка, запятая, вопросительный знак, дефис).
• Добавлен сервис, который осуществляет диаризацию речи во время распознавания (разделяет входящий аудиопоток на однородные сегменты в соответствии с их принадлежностью тому или иному говорящему).

Улучшения

• В ответе на запрос списка моделей распознавания речи теперь содержатся имена WFST графов, интегрированных в модели.
• Обновлены дашборды для Triton-серверов.
• Обновлён дашборд для сервиса api.
• Исправлены разного рода уязвимости (в частности, добавлены последние версии различных библиотек).

Audiogram 3.21.0

Audiogram 3.21.0 содержит следующие обновления, улучшения и исправления:

• В Audiogram API добавлена поддержка публичного stt_v3.proto и сохранена обратная совместимость с stt_v2.proto.
• Выполнен переход на stt_v3.proto во всех сервисах модулей ASR и MEDIA.
• Проведена подготовка по добавлению нового сервиса денормализации чисел (преобразует текстовое представление числа в цифровое, например, "пять файлов > 5 файлов").
• Проведена подготовка по добавлению нового сервиса, который в распознанной речи проводит капитализацию необходимых слов и расставляет знаки препинания (точка, запятая, вопросительный знак, дефис).
• Добавлена возможность оперативно улучшать результаты распознавания речи с помощью технологии WFST графов. Заказчик предоставляет список терминов, распознавание которых необходимо улучшить. На основе списка создается WFST граф и интегрируется в модель распознавания речи. После этого модель будет распознавать слова из списка более точно.
• Исправлены разного рода уязвимости (в частности, добавлены последние версии различных библиотек).
• Улучшено качество распознавания англицизмов с помощью модели e2e-enru (данная модель распознает англицизмы английскими словами).

Audiogram 3.20.0

Audiogram 3.20.0 содержит следующие улучшения:

Исправление ошибок

• Исправлена ошибка, которая иногда возникала при подготовке текста на озвучку и приводила к появлению искажений в конечном звучании.

Audiogram 3.19.0

Audiogram 3.19.0 содержит следующие улучшения и исправления:

Улучшения

• Информация о client_id (для api) перенесена с уровня debug-логов на уровень info с целью реализации возможности собирать данные по запросам от разных клиентов.

Исправление ошибок

• Исправлена ошибка синтеза речи, из-за которой символ тире "-" в некоторых случаях озвучивался как "минус".
• Исправлена ошибка, из-за которой некорректно озвучивались структуры типа "0.01 руб.".
• Исправлена ошибка, из-за которой некорректно озвучивались фразы, оканчивающиеся на сокращение, сразу за которым следовал SSML-тег (например, ... 562.0 руб.</speak>).

Audiogram 3.18.0

Audiogram 3.18.0 содержит следующие улучшения и исправления:

Улучшения

• Повышена скорость работы Triton-серверов с ML-моделями на CPU.
• Повышена скорость записи аудиоданных, поступивших на распознавание, и результатов расшифровки в архив (Extremum).
• Добавлена балансировка по весам для antispoofing-agent.
• Реализована поддержка масштабируемости и наблюдаемости сервиса antispoofing-agent, а также создан дашборд для Grafana.

Исправление ошибок

• Исправлена редкая ошибка, из-за которой случались искажения в распознавании речи при отправке чанков аудио нечетного размера.
• Исправлена ошибка, из-за которой при детекции речи через DEP в редких случаях могла дублироваться метка BEGIN, что приводило к прерыванию выполнения запроса.

Audiogram 3.17.0

Audiogram 3.17.0 содержит следующие улучшения, обновления и исправления:

Новый функционал

• Добавлена возможность передавать новый ключ session-id в метаданных запросов на распознавание речи. По этому ключу можно агрегировать из аудиоархива все запросы, относящиеся к одному диалогу.

Улучшения

• Обновлена модель high_quality: произведено ускорение тритон-сервера, улучшен интонационный рисунок синтеза.

Исправление ошибок

• Исправлена ошибка, которая приводила к погрешностям при сборе статистики по синтезу и распознаванию речи.
• Исправлена ошибка, из-за которой количество каналов в многоканальных аудио не изменялось на 1 при значении параметра split_by_channels = False, что приводило к ошибкам и сбоям в работе транскодера.

Audiogram 3.16.0

Audiogram 3.16.0 содержит следующие улучшения, обновления и исправления:

Новый функционал

• Добавлен новый сервис Антиспуфинг, позволяющий отличить реального человека от бота при входящем звонке.

Улучшения

• Произведен рефакторинг компонента asr-e2e-agent.

Исправление ошибок

• Исправлена ошибка, из-за которой для некоторых аудио, отправленных на распознавание в потоковом режиме с выключенным VAD, приходили пустые результаты распознавания.

Audiogram 3.15.0

Audiogram 3.15.0 содержит следующие улучшения и исправления:

Оптимизация

• Ускорена ML-нормализация чисел более, чем в 2 раза, за счёт изменения алгоритмов работы.

Исправление ошибок

• Исправлена ошибка, из-за которой иногда происходила некорректная озвучка дат и сумм в некоторых падежах.

Audiogram 3.14.0

Audiogram 3.14.0 содержит следующие улучшения:

Новый функционал

• Добавлена поддержка определения тональности аудио при распознавании речи. По тону высказывание может быть позитивным, нейтральным, грустным или сердитым.
  Определение тональности работает по сегментам VAD (Voice Activity Detection). Если VAD выключен, определяется тональность всего аудио. Если VAD включен, то определяется тональность каждого сегмента, отмеченного VAD.

Оптимизация

• Проведены работы по общей оптимизации Audiogram, направленные на повышение быстродействия сервиса и уменьшение потребления системных ресурсов:

  • Библиотека log-kit была дополнительно переработана и обновлена в следующих сервисах:
  • api
  • asr-e2e-agent
  • tts-agent
  • vad-agent
  • genderage-agent
  • statistics-api
  • statistics-ingester
  • grpc-service-template
  • Сервисы Audiogram, работающие по gRPC, переведены на формат пропагации трассировки ABNF.
  • Оптимизирована упаковка чанков аудио в InferInput.
  • Удалена метка grpc-code для метрики grpc_requests_processing_time_seconds.
    

  Результаты оптимизации по сравнению с предыдущей версией Audiogram:
  

  Распознавание речи (ASR):

  • 100 одновременных запросов в потоковом режиме - Latency p95 сократился на 8%; Latency mean сократился на 11%
  • 150 одновременных запросов в потоковом режиме - Latency p95 сократился на 17.4%; Latency mean сократился на 29.8%
  • 100 одновременных запросов в файловом режиме - RTFx увеличился на 7%
  • 150 одновременных запросов в файловом режиме - RTFx увеличился на 6.1%

  Синтез речи (TTS) (проверялся только потоковый режим; замеры по файловому режиму отдельно не проводились, так как он основан на потоковом):

  • 100 одновременных запросов на синтез в потоковом режиме моделью light - Latency p95 сократился на 4.5%; Latency mean сократился на 3%; RTFx увеличился на 7.5%
  • 100 одновременных запросов на синтез в потоковом режиме моделью high_quality - Latency p95 сократился на 4.2%; Latency mean сократился на 6%; RTFx увеличился на 5.8%

• Проведены доработки сервиса transcriber:

  • Triton Inference Server обновлен до версии 23.07.
  • С целью улучшения качества синтеза речи пополнены следующие словари:
  • эфикация
  • ёфикация
  • однозначные ударения
  • морфологические омонимы
  • контекстуальные омонимы
  • слова с дефисом

• Проведены доработки и интеграция обновленного сервиса transcoder:

  • Изменен способ задания формата кодеков. Теперь приходящий в api запрос имеет следующий маппинг по полю encoding сообщения AudioEncoding:
    

    AudioEncoding	Значение поля format	Значение поля codec
    ENCODING_UNSPECIFIED	не поддерживается	не поддерживается
    LINEAR_PCM	s16le	s16le
    FLAC	не поддерживается	не поддерживается
    MULAW	s16le	pcm_mulaw
    ALAW	s16le	pcm_alaw

    
    

  • Передача трассировочной информации теперь осуществляется через метаданные в формате ABNF.

  • Добавлена поддержка версионирования api и обратная совместимость между версиями сервиса transcoder.

  • Проведена прямая интеграция библиотек FFmpeg в transcoder, что позволило увеличить пропускную способность сервиса в 10-15 раз.

• Повышена точность работы сервиса genderage за счет изменения значения CHUNK_ALIGNMENT_SIZE по умолчанию с 25600 до 32000 секунд.

Исправление ошибок

• Исправлена ошибка, из-за которой распознавание в файловом режиме проходило успешно, но в логах сервиса asr-e2e-agent иногда записывалась ложная ошибка о незакрытой последовательности контекста.
• Исправлена ошибка, из-за которой при запросе доступных ML-моделей в список попадали более не поддерживаемые модели.
• Исправлена ошибка, из-за которой клиентское приложение зависало при отправке в сервис genderage нечетного количества байт.
• Исправлена ошибка, из-за которой в запросах от api к transcoder иногда выставлялось неверное значение аудиоканалов.

Audiogram 3.10.0

Audiogram 3.10.0 содержит следующие улучшения:

Новый функционал

• Добавлена поддержка обработки сокращений и ML-нормализации чисел (с сохранением функционала нормализации чисел, работающей на правилах).
• Добавлена поддержка распознавания многоканального аудио (каждый канал распознаётся по отдельности).

Оптимизация

• Улучшена работа библиотеки log-kit, что позволит сервисам Audiogram тратить меньше времени и ресурсов на запись логов.

Исправление ошибок

• Исправлена ошибка в работе сервиса DEP, из-за которой в некоторых случаях, когда голос звучал в самом начале первого чанка, некорректно идентифицировалось начало речи.
• Исправлена ошибка в работе сервиса VAD, из-за которой иногда некорректно выставлялись метки начала и конца речи.

Audiogram 3.9.0

В обновлении Audiogram 3.9.0 вдвое увеличена скорость синтеза речи моделью high_quality.

Audiogram 3.8.0

Audiogram 3.8.0 содержит следующие улучшения:

Оптимизация

• Переработана и оптимизирована трассировка для компонентов asr-e2e-agent и vad-agent, что позволило сократить задержку (latency) p99.

• Переработано и оптимизировано логирование для компонента asr-e2e-agent, что позволило сократить задержку и нагрузку на систему.

• Проведены исследования и увеличена длительность аудиофрагмента, отправляемого на расшифровку, с 0.8 до 2 секунд. Это позволило снизить нагрузку на систему и количество ошибок распознавания речи (WER - Word Error Rate).

• Упрощено извлечение информации из логов за счет введения структурированного логирования для компонентов auth и audio-archive-back.

Исправление ошибок

• Исправлена ошибка, из-за которой в логах сборки обфусцированных образов asr-e2e-agent, vad-agent и audio-archive-back появлялась строка о проблеме, но при этом сами образы были рабочими.

• Исправлена ошибка, из-за которой метрики производительности компонента vad-agent не отображались на обзорной панели.

• Исправлена ошибка, из-за которой в ключе tts-cache не учитывалось применение постобработки, вследствие чего один и тот же текст нельзя было озвучить с другим видом постобработки.

• Исправлена ошибка, из-за которой наблюдалось снижение производительности синтеза речи при включенной авторизации.

• Исправлена ошибка, из-за которой в ответе на запрос распознанных фраз из архива audio-archive-back возвращал только первую фразу.

Дополнительно

• Версия Triton в VAD обновлена до 23.07 для более стабильной работы сервиса.

• Для избежания проблем с уязвимостью обновлена версия утилиты grpc_health_probe до 0.7.0.

• Обновлён образ audio-archive-back (Python > v3.11).

Audiogram 3.7.0

Audiogram 3.7.0 содержит следующие улучшения:

Новый функционал:

• Добавлены gRPC-метрики, позволяющие отслеживать взаимодействие между компонентами asr-e2e-agent и genderage_agent (количество запросов, количество запросов в прогрессе, время выполнения запросов, количество ошибок и т.д.) с помощью Prometheus.

• Реализована возможность работы сервиса genderage отдельно от встроенного VAD (Voice Activity Detection), что позволяет заказчикам при необходимости подключать свой собственный VAD (компонент, отвечающий за определение голосовой активности в аудио).

Оптимизация

• Фразы, полученные при распознавании в файловом режиме, больше не объединяются в один элемент, а перечисляются по отдельности. Это позволяет впоследствии корректно выполнить определение пола и возраста участников разговора, если в аудио несколько спикеров.

• Повышена скорость взаимодействия asr-e2e-agent и Triton-сервера благодаря оптимизации подготовки инпутов (объектов для входа).

Исправление ошибок

• Исправлена ошибка с отправкой некорректной метки, из-за которой в Prometheus не отображались алерты (alerts) для компонента asr-e2e-agent.

• Исправлена ошибка с отправкой некорректной метки, из-за которой в Prometheus не отображались алерты (alerts) для компонента vad-agent.

• Исправлена ошибка, из-за которой возникали разные результаты определения пола при отправке запроса к genderage через Audiogram API и напрямую.

• Исправлена ошибка, из-за которой распознавание речи не работало при выключенном VAD.

Audiogram 3.6.0

Audiogram 3.6.0 содержит следующие улучшения:

1. В ходе тестирования были выявлены и исправлены несколько ошибок, что повысило общую стабильность работы сервиса.

2. Оптимизированы развертывание, работа и названия моделей для синтеза речи. Теперь обе модели доступны одновременно. Чтобы выбрать какой моделью необходимо произвести озвучку, передайте её название в запросе:

   • light - эта модель является менее ресурсоемкой и рекомендуется к использованию в производственных целях.
   • high_quality - данная модель потребляет больше системных ресурсов, так как относится к новому поколению моделей, отличающихся более хорошими показателями качества синтеза, На данный момент ее рекомендуется использовать при невысокой нагрузке.

   Вы можете выбрать любую модель, но если в запросе не указать конкретное название, то для синтеза в потоковом режиме по умолчанию будет использоваться light, а для синтеза в файловом режиме - high_quality.

Audiogram 3.5.1

Audiogram 3.5.1 содержит следующее улучшение:

1. Исправлена ошибка трассировки, из-за которой в один трейс попадали спаны нескольких запросов.

Audiogram 3.5.0

Audiogram 3.5.0 содержит следующие улучшения:

Для сервиса распознавания речи (ASR)

1. Проведены работы по снижению задержки (latency). Например: убрано шифрование модуля sentence-piece (данное изменение не влияет на безопасность); внедрен новый предиктор ML-модели; и др.

Для сервиса синтеза речи

1. Внедрена новая модель, что привело к улучшению интонаций и уменьшению количества потребляемых ресурсов видеокарты.
2. Улучшено качество синтеза голоса Ганджаева благодаря дополнительному обучению моделей.