О продукте

Audiogram – это сервис на базе нейронных сетей и методов машинного обучения для распознавания и синтеза речи. Audiogram позволяет выполнять:

• Синхронное распознавание речи. В этом случае сервис получает запрос с аудиофайлом, который необходимо расшифровать, и возвращает распознанный текст. Данный способ выполняется последовательно и считается наиболее точным. Подходит, например, для расшифровки телефонных разговоров.

• Асинхронное (отложенное) распознавание речи. Этот способ позволяет распознавать крупные аудиофайлы (размером до 1 ГБ) за период до 8 часов. Необходимо сохранить аудиофайл в s3-хранилище, а затем отправить в Audiogram запрос на отложенное распознавание, содержащий путь к аудиофайлу и параметры распознавания. Во время распознавания можно проверить статус или отменить задачу. Когда распознавание будет закончено, Audiogram сохранит результаты распознавания в s3 рядом с аудио.

• Потоковое распознавание речи. В случае потокового распознавания устанавливается соединение с Audiogram, по которому речь говорящего отправляется на распознавание частями в режиме online. Сервис возвращает результаты расшифровки по мере обработки. Данный способ подходит, например, для создания голосовых помощников или субтитров к видео.

• Синхронный синтез речи. При синхронном синтезе запрос к Audiogram содержит текст, который необходимо озвучить, и дополнительную информацию по голосу, частоте дискретизации и кодировке. В ответ возвращается аудиофайл с озвученным текстом. Этот способ может использоваться, например, для озвучивания книг.

• Потоковый синтез речи. При потоковом синтезе текст отправляется в Audiogram и озвучивается по частям. Потоковый синтез подходит, например, для создания ответных реплик голосовых помощников, так как позволяет достичь эффекта живого общения без неестественных пауз.

• Сбор аудиоартефактов. Аудиофайлы, поступающие в Audiogram на распознавание речи, сохраняются в отдельном хранилище и могут быть использованы для обучения и усовершенствования ML-моделей, отвечающих за расшифровку речи.

• Управление клиентами и просмотр статистики. Это можно сделать с помощью удобного веб-клиента в любом браузере.

Термины в документе

• Audiogram (также Продукт, Система) – сервис, выполняющий услуги по распознаванию речи (превращению аудиозаписей с речью в текст) и синтезированию речи (озвучиванию текстов).

• ASR (Automatic Speech Recognition) – запрос на распознавание речи.

• TTS (Text-to-Speech) – запрос на синтезирование речи.

• ML-модель (также нейросеть, искусственный интеллект) – программа, обученная распознаванию определенных типов закономерностей, которая используется в Audiogram для автоматизации и ускорения выполнения запросов на синтез и распознавание речи. В Audiogram используются различные ML-модели (в зависимости от типа запроса и деталей запросов).

• Бот (также чат-бот, электронный помощник) – программа, отвечающая на запросы пользователей и имитирующая живое общение между людьми.

Демонстрация Audiogram

Вы можете бесплатно попробовать отправить какой-нибудь текст на озвучку или аудиофайл на распознавание, используя демонстрационную форму Audiogram, которая доступна на основной странице продукта.

Варианты поставки Audiogram

Возможны 2 варианта поставки Audiogram:

• SaaS: Audiogram установлен в облаке MTS AI. Доступ к сервису осуществляется через подключение по API (gRPC).

• On-premise: Audiogram развернут и функционирует в инфраструктуре заказчика.

Справочник API

Синхронное распознавание речи

Распознавание речи - это процесс преобразования аудио в текст. Синхронное распознавание речи работает следующим образом - вы отправляете в Audiogram запрос с аудио, речь из которого необходимо распознать, а в ответ получаете результаты распознавания.

Синхронное распознавание бывает 2 видов:

• потоковое: В этом случае между клиентским приложением и Audiogram устанавливается соединение. Речь поступает на распознавание частями (чанками), по мере записи аудиосигнала. Audiogram выполняет и возвращает результаты распознавания также по частям. Чаще всего потоковое распознавание используется для создания голосовых помощников.
  

• файловое синхронное: клиентское приложение отправляет в Audiogram запрос с файлом, речь из которого надо распознать. Audiogram выполняет распознавание и возвращает результат в ответе на запрос. Файловое синхронное распознавание используют, когда необходимо транскрибировать речь из небольших аудиофайлов, записанных заранее.
  

Для работы с Audiogram Заказчикам предлагается gRPC контракт (proto-файлы), который можно использовать, например, для создания собственного клиентского приложения.

Важно! Есть 2 вида gRPC контрактов:

1. Через полную конфигурацию запроса: позволяет самостоятельно настраивать все параметры распознавания речи.
   

2. Через пресеты: под Заказчика заранее создается конфигурация распознавания речи (пресет), которая скрывает все настройки. Этот вид контракта позволяет пользователям избежать непреднамеренных ошибок конфигурации.

В следующих секциях подробнее рассмотрим эти контракты.

Через полную конфигурацию запроса

Для создания клиентского приложения, которое будет отправлять в Audiogram запросы на распознавание речи через полную конфигурацию настроек, вам понадобятся следующие .proto-файлы:

Основной контракт:

• stt_v3.proto - основной контракт, по которому происходит распознавание речи.

Зависимости:

• stt_response.proto - конфигурация ответа на запрос на распознавание речи.
• response_header.proto - структура, содержащая временную метку ответа сервиса; позволяет отследить сетевые задержки.

Примечание 1: Для создания собственного клиентского приложения можно использовать любой язык программирования, который есть в библиотеке для работы с gRPC. Подробную информацию об этом протоколе можно посмотреть на https://grpc.io

Примечание 2: Максимальная длина сообщения, принимаемого от клиентских приложений по gRPC (в байтах): 62914560

stt_v3.proto

Методы

FileRecognize

Выполняет распознавание речи в файловом режиме.

Recognize

Выполняет распознавание речи в потоковом режиме.

GetModelsInfo

Запрашивает список моделей для распознавания речи.

Сообщения PROTOBUF

FileRecognizeRequest

Запрос на распознавание аудио в файловом режиме.

RecognizeRequest

Запрос на распознавание аудио в потоковом режиме.

Первое сообщение типа RecognizeRequest должно содержать данные в поле «config» и не должно содержать данные в поле «audio». Все последующие сообщения RecognizeRequest, наоборот, не должны иметь данных в поле «config», а в поле «audio» передаются аудиоданные. Аудиобайты должны быть закодированы, как указано в RecognitionConfig.

RecognitionConfig

Конфигурация распознавания при вызове метода FileRecognize.

VoiceActivityMarkEventsMode

Режим отправки разметки VoiceActivity клиенту.

StreamRecognitionConfig

Конфигурация распознавания при вызове метода Recognize.

AudioEncoding

Поддерживаемые форматы аудиоданных.

VoiceActivityConfig

Структура данных для хранения всех настроек VoiceActivity.

VoiceActivityDetectionAlgorithmUsage

Тип используемого алгоритма VoiceActivity.

VADOptions

Настройки работы алгоритма VAD.

VoiceActivityDetectionMode

Выбор типа разметки аудио с помощью VAD.

DEPOptions

Настройки работы алгоритма DEP.

EnhancedVADOptions

TargetSpeechVADOptions

GenderAgeEmotionConfig

Настройки работы сервиса genderage.

AntiSpoofingConfig

Конфигурация антиспуфинга.

ContextDictionaryConfig

Конфигурация распознавания речи с участием словаря.

PunctuationConfig

Конфигурация модели капитализации и расстановки знаков препинания.

DenormalizationConfig

Конфигурация модели денормализации чисел.

SpeakerLabelingConfig

Конфигурация диаризации.

ModelsInfo

Доступные модели распознавания речи.

ModelInfo

Информация о модели распознавания речи.

stt_response.proto

Сообщения PROTOBUF

FileRecognizeResponse

RecognizeResponse

Ответ с результатами распознавания для метода Recognize.

SpeechRecognitionHypothesis

Результат распознавания речи.

WordInfo

Объект, содержащий информацию, относящуюся к распознанному слову.

VoiceActivityMark

Определяет разметку голосовой активности во входном акустическом сигнале. Сообщение включает в себя метку времени и тип метки.

VoiceActivityMarkType

Определяет тип метки голосовой активности.

SpeakerGenderAgePrediction

Пол, возраст и эмоциональная окраска голоса спикера.

EmotionsRecognition

Эмоциональная окраска голоса спикера.

GenderClass

Пол говорящего.

AgeClass

Возраст говорящего.

SpoofingResult

Результат работы модели, определяющей является ли аудио, поступившее на распознавание, спуфинг-атакой.

AttackResult

Информация - является ли аудио, поступившее на распознавание, спуфинг-атакой или голос принадлежит человеку.

SpeakerInfo

Информация по спикеру, которому принадлежат распознанные фразы.

response_header.proto

Сообщения PROTOBUF

ResponseHeader

Через пресеты

Для создания клиентского приложения, которое будет отправлять в Audiogram запросы на распознавание речи через пресеты (заранее созданные под Заказчика конфигурации настроек запроса), вам понадобятся следующие .proto-файлы:

Основной контракт:

• stt_presets.proto - основной контракт, по которому происходит распознавание речи.

Зависимости:

• stt_response.proto - конфигурация ответа на запрос на распознавание речи. Описание этого .proto-файла представлено в секции stt_response.proto
• response_header.proto - структура, содержащая временную метку ответа сервиса; позволяет отследить сетевые задержки. Описание этого .proto-файла представлено в секции response_header.proto

Примечание 1: Для создания собственного клиентского приложения можно использовать любой язык программирования, который есть в библиотеке для работы с gRPC. Подробную информацию об этом протоколе можно посмотреть на https://grpc.io

Примечание 2: Максимальная длина сообщения, принимаемого от клиентских приложений по gRPC (в байтах): 62914560

stt_presets.proto

Методы

FileRecognize

Recognize

Сообщения PROTOBUF

Preset

Эта структура содержит информацию о пресете настроек, который необходимо использовать для распознавания речи.

Название и версию пресета, который вам надо использовать, можно получить у менеджеров Audiogram.

FileRecognizeRequest

Конфигурация файлового (синхронного) распознавания.

RecognizeRequest

Конфигурация потокового распознавания.

Асинхронное (отложенное) распознавание речи

Распознавание речи - это процесс преобразования аудио в текст. Асинхронное (или отложенное) распознавание позволяет распознать речь из больших аудиофайлов (объемом до 1 ГБ). Чем больше размер аудио, тем дольше займет распознавание (до 8 часов).

Асинхронное распознавание работает следующим образом:

1. Клиент сохраняет аудиофайл (можно несколько, но объем каждого не должен превышать 1 ГБ) в хранилище (например, S3), которое используется Audiogram.
   

2. Далее, через gRPC API, необходимо поставить Audiogram задачу на асинхронное распознавание. В задаче указывается путь до аудиофайла и ряд других параметров (они описаны в следующих секциях).
   

3. По истечении некоторого времени, через клиентское приложение необходимо отправить в Audiogram запрос на получение статуса поставленной задачи.
   

4. Если задача выполнена, можно скачать результаты распознавания. Это делается через HTTP API сервиса audio-archive-back, который входит в состав Audiogram. Результаты асинхронного распознавания сохраняются в хранилище рядом с исходными аудиофайлами.

Для работы с асинхронным распознаванием Заказчикам предлагается gRPC контракт (proto-файлы), который можно использовать, например, для создания собственного клиентского приложения.

Важно! Есть 2 вида gRPC контрактов:

1. Через полную конфигурацию запроса: позволяет самостоятельно настраивать все параметры распознавания речи.
   

2. Через пресеты: под Заказчика заранее создается конфигурация распознавания речи (пресет), которая скрывает все настройки. Этот вид контракта позволяет пользователям избежать непреднамеренных ошибок конфигурации.

В следующих секциях подробнее рассмотрим эти контракты.

Через полную конфигурацию запроса

Для создания клиентского приложения, которое будет отправлять в Audiogram запросы на асинхронное распознавание речи через полную конфигурацию настроек, вам понадобятся следующие .proto-файлы:

Основной контракт:

• longrunning_stt.proto - основной контракт, по которому происходит асинхронное распознавание речи.

Зависимости:

• stt_v3.proto - полная конфигурация настроек распознавания речи. Описание этого .proto-файла представлено в секции stt_v3.proto

• stt_response.proto - конфигурация ответа на запрос на распознавание речи. Описание этого .proto-файла представлено в секции stt_response.proto

• response_header.proto - структура, содержащая временную метку ответа сервиса; позволяет отследить сетевые задержки. Описание этого .proto-файла представлено в секции response_header.proto

• longrunning_task.proto - конфигурация задачи на асинхронное распознавание.

Примечание 1: Для создания собственного клиентского приложения можно использовать любой язык программирования, который есть в библиотеке для работы с gRPC. Подробную информацию об этом протоколе можно посмотреть на https://grpc.io

Примечание 2: Максимальная длина сообщения, принимаемого от клиентских приложений по gRPC (в байтах): 62914560

longrunning_stt.proto

Методы

LongRunningRecognize

GetTaskInfo

CancelTask

Сообщения PROTOBUF

LongRunningRecognizeRequest

AudioPath

longrunning_task.proto

Сообщения PROTOBUF

Task

Эта структура содержит информацию о поставленной задаче на асинхронное распознавание речи.

Status

Статус задачи на асинхронное распознавание речи.

Audio

Информация об аудиофайлах, которые будут распознаны в рамках задачи.

TaskRequest

Через пресеты

Для создания клиентского приложения, которое будет отправлять в Audiogram запросы на асинхронное распознавание речи через пресеты (заранее созданные под Заказчика конфигурации настроек запроса), вам понадобятся следующие .proto-файлы:

Основной контракт:

• longrunning_presets.proto - основной контракт, по которому происходит асинхронное распознавание речи через пресеты.

Зависимости:

• stt_presets.proto - контракт, по которому происходит распознавание речи через пресеты. Описание этого .proto-файла представлено в секции stt_presets.proto

• longrunning_task.proto - конфигурация задачи на асинхронное распознавание. Описание этого .proto-файла представлено в секции longrunning_task.proto

• stt_response.proto - конфигурация ответа на запрос на распознавание речи. Описание этого .proto-файла представлено в секции stt_response.proto

• response_header.proto - структура, содержащая временную метку ответа сервиса; позволяет отследить сетевые задержки. Описание этого .proto-файла представлено в секции response_header.proto

Примечание 1: Для создания собственного клиентского приложения можно использовать любой язык программирования, который есть в библиотеке для работы с gRPC. Подробную информацию об этом протоколе можно посмотреть на https://grpc.io

Примечание 2: Максимальная длина сообщения, принимаемого от клиентских приложений по gRPC (в байтах): 62914560

longrunning_presets.proto

Методы

LongRunningRecognize

GetTaskInfo

CancelTask

Сообщения PROTOBUF

LongRunningRecognizeRequest

AudioPath

Синтез речи

Синтез речи - это процесс преобразования текста в голос. Вы отправляете в Audiogram запрос с текстом, который необходимо озвучить, и дополнительные настройки (каким голосом, с какой интонацией и т. д.). Audiogram выполняет озвучку и в ответе возвращает получившийся аудиофайл.

Синтез речи бывает 2 видов:

• потоковый: В этом случае текст отправляется в Audiogram и озвучивается частями по мере поступления. Потоковый синтез подходит, например, для создания ответных реплик голосовых помощников, так как позволяет достичь эффекта живого общения без неестественных пауз.
  

• файловый: При файловом синтезе весь текст, который необходимо озвучить, поступает в Audiogram целиком. В ответ возвращается аудиофайл с озвучкой. Этот способ может использоваться, например, для озвучивания книг.
  

Для работы с Audiogram Заказчикам предлагается gRPC контракт (proto-файлы), который можно использовать, например, для создания собственного клиентского приложения.

Важно! Есть 2 вида gRPC контрактов:

1. Через полную конфигурацию запроса: позволяет самостоятельно настраивать все параметры синтеза речи.
   

2. Через пресеты: под Заказчика заранее создается конфигурация синтеза речи (пресет), которая скрывает все настройки. Этот вид контракта позволяет пользователям избежать непреднамеренных ошибок конфигурации.

В следующих секциях подробнее рассмотрим эти контракты.

Через полную конфигурацию запроса

Для создания клиентского приложения, которое будет отправлять в Audiogram запросы на синтез речи через полную конфигурацию настроек, вам понадобятся следующие .proto-файлы:

Основной контракт:

• tts.proto (потоковый или файловый синтез речи через полную конфигурацию настроек запроса)

Зависимости:

• response_header.proto - структура, содержащая временную метку ответа сервиса; позволяет отследить сетевые задержки. Описание этого .proto-файла представлено в секции response_header.proto

Примечание 1: Для создания собственного клиентского приложения можно использовать любой язык программирования, который есть в библиотеке для работы с gRPC. Подробную информацию об этом протоколе можно посмотреть на https://grpc.io

Примечание 2: Максимальная длина сообщения, принимаемого от клиентских приложений по gRPC (в байтах): 62914560

tts.proto

Методы

StreamingSynthesize

Потоковый синтез речи.

Synthesize

Синхронный файловый синтез речи.

GetModelsInfo

Запрос моделей для синтеза речи.

Сообщения PROTOBUF

AudioEncoding

Поддерживаемые форматы аудиоданных.

VoiceStyle

Эмоциональная окраска голоса.

SynthesizeOptions

Опции синтеза.

CustomSynthesizeOptionValue

Индивидуальные настройки синтеза.

PostprocessingMode

Постобработка аудио (удаление фоновых шумов, выравнивание громкости, эквализация и другие улучшения).

SynthesizeSpeechRequest

Настройки синтеза для файлового метода синтеза речи.

StreamingSynthesizeSpeechResponse

Результат работы потокового синтеза речи.

SynthesizeSpeechResponse

Результат работы файлового синтеза речи.

ModelsInfo

Доступные голоса для синтеза речи.

ModelInfo

Информация о модели синтеза речи.

Через пресеты

Для создания клиентского приложения, которое будет отправлять в Audiogram запросы на синтез речи через пресеты (заранее созданные под Заказчика конфигурации настроек запроса), вам понадобятся следующие .proto-файлы:

Основной контракт:

• tts_presets.proto (потоковый или файловый синтез речи через заранее созданные пресеты конфигурационных настроек)

Зависимости:

• response_header.proto - структура, содержащая временную метку ответа сервиса; позволяет отследить сетевые задержки. Описание этого .proto-файла представлено в секции response_header.proto

Примечание 1: Для создания собственного клиентского приложения можно использовать любой язык программирования, который есть в библиотеке для работы с gRPC. Подробную информацию об этом протоколе можно посмотреть на https://grpc.io

Примечание 2: Максимальная длина сообщения, принимаемого от клиентских приложений по gRPC (в байтах): 62914560

tts_presets.proto

Методы

StreamingSynthesize

Потоковый синтез речи.

Synthesize

Синхронный файловый синтез речи.

Сообщения PROTOBUF

Preset

Эта структура содержит информацию о пресете настроек, который необходимо использовать для синтеза речи.

Название и версию пресета, который вам надо использовать, можно получить у менеджеров Audiogram.

SynthesizeSpeechRequest

Настройки синтеза для синтеза речи.

StreamingSynthesizeSpeechResponse

Результат работы потокового синтеза речи.

SynthesizeSpeechResponse

Результат работы файлового синтеза речи.

Использование SSML-разметки

SSML (Speech Synthesis Markup Language) – это язык разметки с фиксированным набором тегов и атрибутов, основанный на XML (но без тега xml в начале) и применяемый для синтеза речи. Его можно использовать, чтобы настроить скорость и звучание голоса.

Настройка проводится с помощью SSML-тегов, которые нужно указать в тексте, отправляемом на синтез.

Примечание: текст без тегов необходимо писать в поле SynthesizeSpeechRequest.text

На данный момент в Audiogram поддерживаются следующие SSML-теги:

Параметры тегов указываются внутри треугольных скобок в виде

<название_тега название_параметра1="величина_параметра1" название_параметра2="величина_параметра2" закрытие тега>

Важно! Обратите внимание на кавычки, в которых указываются величины параметров. Необходимо использовать " (ASCII code 34).

Как поставить ударение в слове

Некоторые слова могут читаться по-разному. Например, «жАркое» или «жаркОе». При помощи SSML-разметки можно указать где надо делать ударение. Для этого после ударной гласной необходимо вставить {'} :

• «жа{'}ркое», чтобы получилось «жАркое»; и
• «жарко{'}е», чтобы получилось «жаркОе».

Важно! В фигурных скобках необходимо использовать одинарную кавычку ' (ASCII code 39).

Дополнительно

1. Если отправить какой-то текст без разметки на озвучку в поле text, а потом этот же текст обернуть только в тег и отправить на озвучку в поле ssml, то текст будет озвучен одинаково.

2. Если текст с SSML-тегами отправить на озвучку в поле text, то Audiogram озвучит не только текст, но и теги. Например, если отправить "Привет мир", то озвучка будет - "спик привет мир спик".

3. Знак ударения {'} синтез не считает ssml-тегом и он будет обработан как ударение и в text, и в ssml.

4. Синтез текста без SSML-разметки и синтез этого же текста с разметкой не будут различаться по нагрузке на систему.

Тег say-as для озвучки числительных

Русский язык относится к группе флективных языков. Это означает, что различные грамматические категории (род, число, падеж и т. д.) выражаются в пределах одного слова при помощи окончаний, суффиксов и других морфологических средств.

Такие нюансы делают русский язык не самым простым для озвучки машиной. ML-модели могут допускать ошибки, особенно при озвучке различных числительных. Избежать ошибок позволяет настройка параметров озвучки при помощи SSML-тега say-as.

В этом разделе рассмотрим как настроить озвучку числительных при помощи тега say-as, но сначала вспомним какие у числительных бывают род, число и падеж, разделим числительные на категории, а также рассмотрим структуру тега say-as.

Род

Число

Числительные бывают единственного и множественного числа. По умолчанию числительные озвучиваются в единственном числе.

Если необходимо озвучить во множественном числе, это надо указать с помощью значения plural. Примеры представлены в дальнейших описаниях.

Падеж

Категории числительных

Структура тега say-as

У тега say-as есть ряд обязательных и необязательных атрибутов:

Рассмотрим структуру тега say-as на конкретном примере. Представим, что нам нужно озвучить фразу "1 ложка". В этом примере 1 - это количественное (cardinal) числительное в единственном числе. Так как слово "ложка" женского рода и в именительном падеже, нужно, чтобы цифра 1 была озвучена как "одна". Действуем следующим образом:

1. Сначала обрамляем фразу в тег speak: <speak>1 ложка</speak>
   

2. Теперь добавляем тег say-as и его обязательный атрибут interpret-as. Это нужно сделать вокруг числительного. Слово "ложка" должно быть за их пределами: <speak><say-as interpret-as="cardinal">1</say-as> ложка</speak>
   

3. По умолчанию, если не указать атрибут format, числительное озвучивается в мужском роде, единственном числе и именительном падеже. То есть, если мы оставим как было сделано на шаге 2, фраза будет озвучена как "один ложка". Это неправильно, поэтому добавляем атрибут format, в котором указываем женский род и именительный падеж: <speak><say-as interpret-as="cardinal" format="feminine_nominative">1</say-as> ложка</speak>
   

Теперь фраза будет озвучена правильно - "одна ложка".

А теперь рассмотрим пример со множественным числом. Представим, что нам нужно озвучить фразу "нет 5 ложек". В этом примере 5 - количественное (cardinal) числительное. Существительное представлено во множественном числе и родительном (genitive) падеже. Числительное надо озвучить также. Действуем следующим образом:

1. Сначала обрамляем фразу в тег speak: <speak>нет 5 ложек</speak>
   

2. Теперь добавляем тег say-as и его обязательный атрибут interpret-as. Это нужно сделать вокруг числительного. Слова "нет" и "ложек" должны быть за их пределами: <speak>нет <say-as interpret-as="cardinal">5</say-as> ложек</speak>
   

3. По умолчанию, если не указать атрибут format, числительное озвучивается в мужском роде, единственном числе и именительном падеже. То есть, если мы оставим как было сделано на шаге 2, фраза будет озвучена как "нет пять ложек". Это неправильно, поэтому добавляем атрибут format, в котором указываем множественное число и родительный падеж: <speak>нет <say-as interpret-as="cardinal" format="plural_genitive">5</say-as> ложек</speak>
   

Теперь фраза будет озвучена правильно - "нет пяти ложек".

cardinal

Примеры использования:

ordinal

Примеры использования:

date

Примеры использования:

time

Примеры использования:

telephone

Примеры использования:

money

Примеры использования:

split-by

Примеры использования:

fraction

Примеры использования:

decimal

Примеры использования:

non-roman

Примеры использования:

Тег phoneme для озвучки с помощью фонем

В русском языке, как и в других языках, существуют различные фонетические процессы, из-за которых некоторые слова могут писаться и произноситься по-разному. К таким процессам относятся:

• Оглушение - пишем "книжка", но произносим "кни[ш]ка".
• Озвончение - пишем "отбор", но произносим "о[д]бор".
• Смягчение - пишем "лесть", но в речи смягчаем букву "с" - "ле[с']ть".
• и другие...

Если Вас не устраивает как Audiogram озвучивает какое-то слово, можно использовать SSML-тег phoneme для правильной озвучки при помощи фонем. Примечание: эта функциональность поддерживается только для русского языка.

В этом разделе вкратце разберем что такое фонема и как использовать тег phoneme.

Буквы, звуки и фонемы

В русском языке буквы делятся на гласные и согласные. Каждая буква дает какой-то звук.

Но, если обратить внимание, слышно, что одна и та же буква может давать разные звуки. Например, буква "Я" в слове "клятва" звучит как "а", а в слове "пяти" (не хватает пяти рублей) буква "Я" звучит как "и". А в слове "входят" буква "Я" звучит вроде бы как в "клятве", но все равно не так, как будто не так ярко.

Получается, что буквы обозначают некие множества звуков. Эти множества звуков называются фонемами.

Структура тега phoneme

У тега say-as есть ряд обязательных и необязательных атрибутов:

Рассмотрим структуру тега phoneme на конкретном примере. Сразу стоит отметить, что работать с тегом phoneme рекомендуется сотруднику, обладающему знаниями о фонетических процессах в русском языке. Это важно, чтобы прописать корректную транскрипцию озвучиваемого слова в атрибуте ph.

Представим, что нам нужно озвучить фразу "Привет, дед!". Допустим, нам не нравится, что в озвучке по умолчанию вторая буква "д" в слове "дед" звучит звонко - "деД" - и мы хотим с помощью тега phoneme ее оглушить, чтобы она звучала естественно - "деТ".

Действуем следующим образом:

1. Сначала обрамляем фразу в тег speak: <speak>Привет, дед!</speak>
   

2. Теперь добавляем тег phoneme вокруг слова "дед". Помним, что в 1 теге должно быть 1 слово: <speak>Привет, <phoneme>дед</phoneme>!</speak>
   

3. Добавляем обязательный атрибут alphabet. В нем прописываем avan, так как поддерживается нотация Аванесова: <speak>Привет, <phoneme alphabet="avan">дед</phoneme>!</speak>
   

4. Добавляем обязательный атрибут ph (список поддерживаемых фонем по концепции Аванесова представлен в следующем разделе).

   Первая буква "д" смягчается последующей гласной, поэтому она даст мягкий звук [д']. Буква "е" под ударением - она даст звук [е+]. Вторая буква "д" в речи оглушается, поэтому она даст не твердый звук [д], а твердый звук [т]. В итоге получается: <speak>Привет, <phoneme alphabet="avan" ph="д' е+ т">дед</phoneme>!</speak> Теперь слово "дед" будет произнесено корректно - с глухим звуком "т" на конце - "деТ".

Список поддерживаемых фонем

Примеры использования SSML-тегов

Пример 1 (весь текст с SSML-разметкой, отправляемый на синтез, должен быть обернут в тег speak):

<speak>Глава 1.
Жаркое лето изменило все планы. Было решено сэкономить на поездке к морю и провести весь отпуск на даче.
«Я уверен вам понравится, поставим бассейн, будем шашлыки жарить» - резюмировал Георгий.
Супруга не разделяла радость: «Я чувствую комары нас съедят».</speak>

Пример 2 (добавляем паузу после «Глава 1.»):

<speak>Глава 1. <break time="1.5s"/>
Жаркое лето изменило все планы. Было решено сэкономить на поездке к морю и провести весь отпуск на даче.
«Я уверен вам понравится, поставим бассейн, будем шашлыки жарить» - резюмировал Георгий.
Супруга не разделяла радость: «Я чувствую комары нас съедят».</speak>

Пример 3 (ставим ударение, чтобы Audiogram правильно произнес «жАркое», а не «жаркОе»):

<speak>Глава 1. <break time="1.5s"/>
Жа{'}ркое лето изменило все планы. Было решено сэкономить на поездке к морю и провести весь отпуск на даче.
«Я уверен вам понравится, поставим бассейн, будем шашлыки жарить» - резюмировал Георгий.
Супруга не разделяла радость: «Я чувствую комары нас съедят».</speak>

Пример 4 (укажем высоту и скорость произнесения всего текста):

<speak speed="0.8" pitch="-0.4">Глава 1. <break time="1.5s"/>
Жа{'}ркое лето изменило все планы. Было решено сэкономить на поездке к морю и провести весь отпуск на даче.
«Я уверен вам понравится, поставим бассейн, будем шашлыки жарить» - резюмировал Георгий.
Супруга не разделяла радость: «Я чувствую комары нас съедят».</speak>

Пример 5 (изменим высоту и скорость произнесения прямой мужской речи):

<speak speed="0.8" pitch="-0.4">Глава 1. <break time="1.5s"/>
Жа{'}ркое лето изменило все планы. Было решено сэкономить на поездке к морю и провести весь отпуск на даче.
<prosody speed="1.1" pitch="-0.2">«Я уверен вам понравится, поставим бассейн, будем шашлыки жарить»</prosody> - резюмировал Георгий.
Супруга не разделяла радость: «Я чувствую комары нас съедят».</speak>

Пример 6 (если для синтеза речи используется модель high_quality, можно указать какими голосами и эмоциональной окраской озвучить прямую речь):

<speak speed="0.8" pitch="-0.4">Глава 1. <break time="1.5s"/>
Жа{'}ркое лето изменило все планы. Было решено сэкономить на поездке к морю и провести весь отпуск на даче.
<prosody speed="1.1" pitch="-0.2"><voice name="gandzhaev" style="happy">«Я уверен вам понравится, поставим бассейн, будем шашлыки жарить»</voice></prosody> - резюмировал Георгий.
Супруга не разделяла радость: <voice name="borisova" style="sad">«Я чувствую комары нас съедят».</voice></speak>

Клонирование голоса

Audiogram поддерживает клонирование голоса. Эта технология используется по запросу абонента для персонализации автоответчика, чтобы научить его разговаривать голосом абонента.

Внимание! Голос человека относится к персональным данным. В соответствии с федеральным законом №152-ФЗ "О персональных данных" их сбор и обработка должны осуществляться с согласия субъекта персональных данных в письменной форме на обработку его персональных данных. Недопустимо использовать голос человека (как настоящий, так и результат клонирования) в противоправных целях - за это грозит административная и уголовная ответственность.

Клонирование голоса осуществляется следующим образом:

1. В Audiogram отправляется запрос на клонирование голоса. В запросе должны быть аудиофайлы с образцами речи, которую необходимо склонировать.

2. Audiogram создает задачу по клонированию и возвращает ее идентификационный номер.

3. Через некоторое время, используя этот номер, необходимо проверить статус задачи.

4. Если задача выполнена, голос склонирован и готов к использованию. Далее, чтобы озвучить им какой-либо текст, необходимо отправить в Audiogram запрос на синтез речи. В запросе передать текст, который необходимо озвучить, и идентификационный номер голоса для озвучки.

Для клонирования голоса предоставляется gRPC-контракт (.proto-файлы), который можно использовать для создания собственного клиентского приложения:

Основной контракт:

• voice_cloning.proto - основной контракт, по которому происходит распознавание речи.

Зависимости:

• stt_v3.proto - контракт, по которому осуществляется распознавание речи. Описание этого .proto-файла представлено в секции stt_v3.proto
• stt_response.proto - конфигурация ответа на запрос на распознавание речи. Описание этого .proto-файла представлено в секции stt_response.proto
• response_header.proto - структура, содержащая временную метку ответа сервиса; позволяет отследить сетевые задержки. Описание этого .proto-файла представлено в секции response_header.proto

voice_cloning.proto

Методы

CloneVoice

GetTaskInfo

DeleteVoice

Сообщения PROTOBUF

TaskInfo

Информация о задаче по клонированию голоса.

Status

Статус задачи по клонированию голоса.

AudioFormat

Формат аудиоданных.

CloneVoiceRequest

Настройки запроса на клонирование голоса.

TaskId

Идентификационный номер задачи по клонированию голоса.

DeleteVoiceRequest

Настройки запроса на удаление клонированного голоса.

Метаданные gRPC-запросов

• Каждый запрос к Audiogram API должен содержать токен доступа. Передавайте токен следующим способом:

  authorization: Bearer <access_token>

• В запросе можно передать уникальный идентификатор, который позволит детально проследить за историей выполнения запроса. Для этого используйте ключ trace-id:

  external_trace_id: <id>

  Список ML-моделей и голосов в Audiogram

Модель для распознавания речи (ASR) или голос для синтеза речи (TTS) следует указывать, используя псевдоним (alias). Это позволяет обновлять модели без необходимости проводить повторную интеграцию клиентов.

Внимание! Если в запросе указана частота дискретизации (sample rate) отличная от значений, поддерживаемых моделью, то:

• в случае распознавания речи (ASR) произойдет перекодирование частоты дискретизации на значение, поддерживаемое моделью (16000 Гц).
• в случае синтеза речи (TTS) будет использована модель с ближайшей частотой дискретизации в большую сторону.

ASR e2e

Alias – это имя модели, которое указывается в конфиге распознавания RecognitionConfig.model

TTS

Alias – это имя голоса, которое указывается в конфиге распознавания SynthesizeSpeechRequest.voice_name

Сообщения об ошибках

Примеры кода клиентских приложений Audiogram

Для работы с Audiogram необходимо создать клиентское приложение. Примеры кода клиентских приложений собраны в этом разделе. Их можно использовать в качестве образцов при написании сервисов, использующих Audiogram.

Архив содержит следующие примеры кода:

Распознавание речи:

• клиент, выполняющий распознавание речи в файловом режиме
• клиент, выполняющий распознавание речи в потоковом режиме
• клиент, получающий список доступных моделей для распознавания речи

Синтез речи:

• клиент, выполняющий синтез речи в файловом режиме
• клиент, выполняющий синтез речи в потоковом режиме
• клиент, получающий список доступных моделей для синтеза речи

Работа с аудиоархивом:

• клиент, получающий список запросов на распознавание речи
• клиент, позволяющий скачать аудио, полученное на распознавание речи
• клиент, позволяющий скачать разметку голосовой активности
• клиент, позволяющий скачать результат распознавания речи

Внимание! Примеры из архива, перечисленные выше, создавались для stt_v3.proto и tts_v2.proto

В качестве образца кода клиентских приложений для предыдущей версии stt.proto файла используйте следующие примеры:

• распознавание речи в файловом режиме
• распознавание речи в потоковом режиме

История релизов Audiogram

Текущая версия - Audiogram 3.37.0

Обновление Audiogram 3.37.0 содержит следующие улучшения, исправления и изменения:

Новые возможности

• Для улучшения качества синтеза речи добавлен новый SSML-тег <phoneme>, который позволяет управлять минимальными единицами языка - фонемами.

Улучшения

• Модель антиспуфинга переведена в float16 для увеличения производительности на GPU.
• Проведены доработки в медиа-архиве по части выгрузки аудио и конфигураций.
• Добавлен интонационный DEP.

Исправления

• Исправлены ошибки по обрезанию аудио в DEP.
• В компоненте, отвечающем за отложенное распознавание речи, исправлена ошибка с доступом к S3.
• Исправлена ошибка в компоненте punct-denorm, из-за которой при обработке последовательностей чисел в контексте запроса на арифметические действия вырезался союз "и".

Известные проблемы

• Аудио не всегда сохраняется в аудиоархиве, ведутся работы по устранению этой ошибки.

Предыдущие версии

Audiogram 3.36.2

Audiogram 3.36.2 содержит следующее улучшение:

• В лог-сообщение уровня DEBUG, начинающееся с "Sent message to audio archive", добавлено поле с request_id запроса.

Audiogram 3.36.1

Audiogram 3.36.1 содержит следующие исправления:

• Исправлена ошибка, из-за которой сумма в рублях с копейками произносилась как дробное число.
• Исправлена ошибка, из-за которой номер телефона произносился как целое число.

Audiogram 3.36.0

Audiogram 3.36.0 содержит следующие улучшения и исправления:

Новые возможности

• Добавлена новая версия модели high_quality со сниженным потреблением ресурсов без ухудшения качества синтеза речи.

Улучшения

• Обновлен способ поставки модели распознавания речи e2e-v3 — поддержана возможность развертывания модели на видеокартах A40.
• В балансировщик медиа-архива добавлено дебаг-логирование получаемых в grpc-gateway и отправляемых в receiver данных.
• Добавлены кастомные метрики для tts-server-triton.
• Версия Triton-сервера в компонентах синтеза и распознавания речи обновлена до 24.09 для поддержки кастомных метрик.

Исправления

• Исправлена неконсистентность эмоции surprised в теге <voice>.
• Исправлена проблема с утечкой памяти в api.

Audiogram 3.35.1

Audiogram 3.35.1 содержит следующие улучшения и исправления:

Новые возможности

• Расширена функциональность SSML-тега <say-as>. Теперь с его помощью можно более корректно озвучить номера телефонов, денежные суммы, числа по группам, дроби, десятичные дроби, буквенные значения, которые можно принять за численные, полные даты, а также добавить слово "год" к дате.

Улучшения

• В ответы сервиса api добавлены временные метки (timestamps), с помощью которых можно высчитать сетевые задержки.

Исправления

• Исправлена ошибка с утечкой памяти компонента speech-segmentation-server.
• Исправлена ошибка, когда "ответ." (с точкой) озвучивалось как "ответственный".

Audiogram 3.35.0

Audiogram 3.35.0 содержит следующие улучшения:

• Обновлен сервис rate limiter, позволяющий осуществлять лимитирование запросов на различных вариантах инсталляции Audiogram.
• Обновлен сервис api для работы с rate limiter.

Audiogram 3.34.0

Audiogram 3.34.0 содержит следующие улучшения и изменения:

Новые возможности

• Добавлен сервис settings-provider, который позволяет осуществлять синтез и распознавание речи через "пресеты" (заранее сконфигурированные наборы настроек). Это помогает избегать непреднамеренные ошибки в конфигурациях запросов.
• Добавлен сервис rate-limiter. На текущем этапе он позволяет задавать ограничения потребления ресурсов для отдельных кластеров инсталляции Audiogram.

Улучшения

• Обновлен сервис antispoofing. Теперь обнаруживаются не только логические атаки (синтезированный голос), но и replay-атаки (заранее записанный "живой" голос).
• Добавлен новый режим VAD - target_speech_VAD. Он позволяет улучшить работу с аудиосигналом — при наличии нескольких источников аудио в одном канале, этот режим должен исключать любые звуки, не являющиеся речью целевого спикера.
• Сервис api обновлен для работы с settings-provider.
• Для балансировщика в медиа-архиве добавлены новые метрики мониторинга.

Audiogram 3.33.0

Audiogram 3.33.0 содержит следующие улучшения и изменения:

Новые возможности

• Добавлены SSML-теги для еще более правильного синтеза речи:
  • тег <say-as> (работает только с нормализацией на правилах) для более правильного озвучивания количественных и порядковых числительных, дат и времени.
  • тег <emphasis> для более правильного управления интонацией в вопросительных и восклицательных предложениях.
• Добавлена возможность использовать SSML-тег <date> с моделью high_quality.

Улучшения

• Улучшена нормализация на правилах согласно комментариям пользователей Audiogram.
• В компонент transcriber добавлены наработки по фонетической фразе и ряд исправлений по части ударений и других фонетических аспектов.
• Добавлены новые способы аутентификации для подключения к Kafka.
• Добавлена асинхронная запись в статистику.
• В VAD добавлен новый режим (enhanced_VAD), в котором нарезка аудио производится более точно.
• Оптимизирован прогрев для модели распознавания речи e2e-v1.

Изменения

• Нормализатор чисел (numbers) и обработчик сокращений (acronym) объединены в один сервис.
• Прекращена поддержка модели синтеза речи light. Теперь синтез осуществляется только с помощью модели high_quality.

Audiogram 3.32.0

Audiogram 3.32.0 содержит следующие улучшения и изменения:

Новые возможности

• Добавлены две новые модели распознавания речи:
  • модель на базе архитектуры Emformer+Conformer с добавлением TDT (Token-and-Duration Transducer). Название этой модели для обращения в запросах - e2e-v3. Модель имеет встроенный акустический пунктуатор, который работает в файловом, отложенном файловом и потоковом режимах распознавания речи. Примечание: пользователям Audiogram рекомендуется тестировать эту модель, так как она показывает наименьший WER (Word Error Rate) среди других моделей для распознавания речи.
  • модель на базе архитектуры Emformer+Conformer. Название этой модели для обращения в запросах - e2e-v2. Также имеет встроенный акустический пунктуатор.

Изменения

• Внесены изменения в компонент asr-e2e-agent с целью поддержки новых моделей распознавания речи и новых режимов VAD, которые будут представлены в следующих обновлениях.
• Обновлены сервисы аутентификации пользователей на базе IAM с целью поддержки новых моделей распознавания речи.

Audiogram 3.31.0

Audiogram 3.31.0 содержит следующие улучшения и исправления:

Новый функционал

• В компоненте asr-e2e-agent:
  • добавлена возможность проверять состояние соединений с помощью механизма KEEPALIVE.
  • добавлена возможность принимать и устанавливать защищенное соединение.

Улучшения

• Добавлена метрика real_time_lag, которая показывает есть ли задержки во время потокового распознавания речи. Это позволит вовремя обнаружить возможные проблемы с производительностью.
• Часть логов информативного характера (например, финальные расшифровки речи) вынесены с уровня DEBUG на уровень INFO, что позволит извлекать логи в тех случаях, когда нет параметра request_id.
• В целях устранения уязвимостей в asr-e2e-agent выровнены версии базового образа и зависимых Python-библиотек.

Исправления

• Исправлена ошибка потокового распознавания речи, которая появлялась при включении режима отправки разметки VAD va_response_mode=VA_ENABLE.

Audiogram 3.30.0

Audiogram 3.30.0 содержит следующее улучшение:

• Внесены различные изменения, повышающие стабильность работы компонентов, отвечающих за асинхронное (отложенное) распознавание.

Audiogram 3.29.0

Audiogram 3.29.0 содержит следующие улучшения и исправления:

Новый функционал

• Добавлена возможность настраивать через переменную окружения компонента audio-archive-back к какому бакету хранилища extremum будет обращаться Audiogram. Это упрощает настройку окружений, когда у вас несколько стендов с Audiogram.
• На всех микросервисах, вошедших в это обновление Audiogram, добавлена возможность проверять состояние соединений с помощью механизма KEEPALIVE.

Улучшения

• В асинхронное (отложенное) распознавание речи добавлена более оптимальная модель VAD (Voice Activity Detection), что позволит увеличить пропускную способность и распознавать файлы больших размеров.
• Повышена стабильность функционирования ML-модели, отвечающей за диаризацию (разделение) спикеров, на GPU.
• В целях оптимизации часть логов с уровня INFO была перенесена на уровень DEBUG.

Исправления

• Исправлена ошибка, которая возникала из-за того, что Triton-server и ML-модель одновременно использовали порт 8003.
• Исправлена проблема с утечкой памяти в интерфейсе offline_vad, который используется для диаризации спикеров, посредством перевода работы offline_vad с CPU на GPU.

Audiogram 3.28.0

Audiogram 3.28.0 содержит следующее улучшение:

• Осуществлен переход на групповую (батчевую) обработку запросов между компонентами для синтеза речи tts-agent и tts-server. Это позволит минимизировать сетевые задержки и затраты на передачу служебной информации. Алгоритм группировки запросов работает без таймаута, что делает его более приемлемым для непрерывной большой нагрузки. Размер группы (по умолчанию 5 запросов) настраивается на стороне tts-agent через переменную TTS_AGENT_TTS_BATCH_SIZE.

Audiogram 3.27.0

Audiogram 3.27.0 содержит следующие улучшения и изменения:

Новый функционал

• Внедрена поддержка отложенного распознавания речи. Этот функционал позволяет распознавать файлы размером до 1 ГБ за период до 8 часов.

Улучшения

• Обновлена модель синтеза речи high_quality. В ней выровнен интонационный рисунок на "склейках" (местах соединения фрагментов озвучивания) и улучшено качество синтеза в целом. Также модель теперь потребляет столько же ресурсов, сколько и менее ресурсоемкая модель light, при той же пропускной способности и том же уровне latency.

Изменения

• Начиная с этого обновления, вступают в силу следующие изменения:
  • Audiogram API поддерживает транскодер только версии 2.0 и выше.
  • tts-agent больше не поддерживает модель синтеза light. Для вызова модели light необходимо использовать tts-agent версии 7.1.z.
  • Протокол взаимодействия с сервисами transcriber, acronym и numbers изменен с HTTP на gRPC.

Audiogram 3.26.0

Audiogram 3.26.0 содержит следующее улучшение:

• Реализована поддержка шифрования данных, сохраняемых в аудиоархив, и возможность их дешифровки на стороне компонента archive-back. Это позволило повысить уровень безопасности для коммуникации между архивом и другими сервисами Audiogram, а также надежнее защитить данные в архиве от потенциальных угроз.

Audiogram 3.25.0

Audiogram 3.25.0 содержит следующие улучшения и исправления:

• Скорость модели антиспуфинга повышена в ~2 раза с улучшением качества работы.
• Модели пунктуатора и денормализатора чисел оптимизированы и объединены в один Triton-сервер без потери обратной совместимости, что позволило повысить уровень RPS и снизить latency.
• Улучшено качество работы модели денормализатора чисел (особое внимание было уделено обработке номеров карт, лицевых счетов, серии/номера паспорта, а также почтовых индексов):
  • Исправлена ошибка, из-за которой денормализатор не обрабатывал числа, написанные с большой буквы.
  • Исправлена ошибка, из-за которой в распознавании длинных последовательностей цифр, продиктованных по одной цифре, могли появиться лишние элементы.
  • Исправлена ошибка, из-за которой денормализатор не обрабатывал числительные, в названии которых присутствовала буква "ё".

Audiogram 3.24.0

Audiogram 3.24.0 содержит следующие улучшения и исправления:

• Улучшена ML-модель "Денормализатор чисел":
  • Triton-сервер обновлен до версии 24.05.
  • Добавлены 2 вида config-файлов - для CPU- и GPU-версий.
  • При выборе работы модели на GPU теперь все вычисления максимально переносятся на видеокарту. Это уменьшает потребление CPU-ядер и несколько ускоряет работу на видеокарте.
• Улучшена ML-модель "Обработчик сокращений":
  • Исправлен ряд ошибок, которые приводили к некорректной озвучке некоторых сокращений.
  • Расширен датасет с "руб." и "коп." для более корректной озвучки этих сокращений.
• Исправлена ошибка записи результатов распознавания речи в случаях мгновенного закрытия канала после отправки данных со стороны клиента.

Audiogram 3.23.0

Audiogram 3.23.0 содержит следующие улучшения:

• Исправлена ошибка, из-за которой паузы между словами при синтезе речи были длиннее, чем указывалось в ssml-разметке.
• Исправлена ошибка, из-за которой первые запросы на синтез речи в "непрогретую" ML-модель завершались падением.

Audiogram 3.22.1

В обновлении Audiogram 3.22.1 оптимизирована логика передачи client_id (необходим для получения данных из s3) в Audiogram API для записи в хранилище s3.

Если при работе с Audiogram используется авторизация, client_id не нужно передавать в запросе - Audiogram api сделает это автоматически.

Если работа с Audiogram проходит без авторизации, client_id необходимо передавать в заголовке запроса в виде пары ключ-значение.

Audiogram 3.22.0

Audiogram 3.22.0 содержит следующие обновления и улучшения:

Новый функционал

• Добавлен сервис, который в распознанной речи осуществляет денормализацию чисел (преобразует текстовое представление числа в цифровое, например, "пять файлов > 5 файлов").
• Добавлен сервис, который в распознанной речи проводит капитализацию необходимых слов и расставляет знаки препинания (точка, запятая, вопросительный знак, дефис).
• Добавлен сервис, который осуществляет диаризацию речи во время распознавания (разделяет входящий аудиопоток на однородные сегменты в соответствии с их принадлежностью тому или иному говорящему).

Улучшения

• В ответе на запрос списка моделей распознавания речи теперь содержатся имена WFST графов, интегрированных в модели.
• Обновлены дашборды для Triton-серверов.
• Обновлён дашборд для сервиса api.
• Исправлены разного рода уязвимости (в частности, добавлены последние версии различных библиотек).

Audiogram 3.21.0

Audiogram 3.21.0 содержит следующие обновления, улучшения и исправления:

• В Audiogram API добавлена поддержка публичного stt_v3.proto и сохранена обратная совместимость с stt_v2.proto.
• Выполнен переход на stt_v3.proto во всех сервисах модулей ASR и MEDIA.
• Проведена подготовка по добавлению нового сервиса денормализации чисел (преобразует текстовое представление числа в цифровое, например, "пять файлов > 5 файлов").
• Проведена подготовка по добавлению нового сервиса, который в распознанной речи проводит капитализацию необходимых слов и расставляет знаки препинания (точка, запятая, вопросительный знак, дефис).
• Добавлена возможность оперативно улучшать результаты распознавания речи с помощью технологии WFST графов. Заказчик предоставляет список терминов, распознавание которых необходимо улучшить. На основе списка создается WFST граф и интегрируется в модель распознавания речи. После этого модель будет распознавать слова из списка более точно.
• Исправлены разного рода уязвимости (в частности, добавлены последние версии различных библиотек).
• Улучшено качество распознавания англицизмов с помощью модели e2e-enru (данная модель распознает англицизмы английскими словами).

Audiogram 3.20.0

Audiogram 3.20.0 содержит следующие улучшения:

Исправление ошибок

• Исправлена ошибка, которая иногда возникала при подготовке текста на озвучку и приводила к появлению искажений в конечном звучании.

Audiogram 3.19.0

Audiogram 3.19.0 содержит следующие улучшения и исправления:

Улучшения

• Информация о client_id (для api) перенесена с уровня debug-логов на уровень info с целью реализации возможности собирать данные по запросам от разных клиентов.

Исправление ошибок

• Исправлена ошибка синтеза речи, из-за которой символ тире "-" в некоторых случаях озвучивался как "минус".
• Исправлена ошибка, из-за которой некорректно озвучивались структуры типа "0.01 руб.".
• Исправлена ошибка, из-за которой некорректно озвучивались фразы, оканчивающиеся на сокращение, сразу за которым следовал SSML-тег (например, ... 562.0 руб.</speak>).

Audiogram 3.18.0

Audiogram 3.18.0 содержит следующие улучшения и исправления:

Улучшения

• Повышена скорость работы Triton-серверов с ML-моделями на CPU.
• Повышена скорость записи аудиоданных, поступивших на распознавание, и результатов расшифровки в архив (Extremum).
• Добавлена балансировка по весам для antispoofing-agent.
• Реализована поддержка масштабируемости и наблюдаемости сервиса antispoofing-agent, а также создан дашборд для Grafana.

Исправление ошибок

• Исправлена редкая ошибка, из-за которой случались искажения в распознавании речи при отправке чанков аудио нечетного размера.
• Исправлена ошибка, из-за которой при детекции речи через DEP в редких случаях могла дублироваться метка BEGIN, что приводило к прерыванию выполнения запроса.

Audiogram 3.17.0

Audiogram 3.17.0 содержит следующие улучшения, обновления и исправления:

Новый функционал

• Добавлена возможность передавать новый ключ session-id в метаданных запросов на распознавание речи. По этому ключу можно агрегировать из аудиоархива все запросы, относящиеся к одному диалогу.

Улучшения

• Обновлена модель high_quality: произведено ускорение тритон-сервера, улучшен интонационный рисунок синтеза.

Исправление ошибок

• Исправлена ошибка, которая приводила к погрешностям при сборе статистики по синтезу и распознаванию речи.
• Исправлена ошибка, из-за которой количество каналов в многоканальных аудио не изменялось на 1 при значении параметра split_by_channels = False, что приводило к ошибкам и сбоям в работе транскодера.

Audiogram 3.16.0

Audiogram 3.16.0 содержит следующие улучшения, обновления и исправления:

Новый функционал

• Добавлен новый сервис Антиспуфинг, позволяющий отличить реального человека от бота при входящем звонке.

Улучшения

• Произведен рефакторинг компонента asr-e2e-agent.

Исправление ошибок

• Исправлена ошибка, из-за которой для некоторых аудио, отправленных на распознавание в потоковом режиме с выключенным VAD, приходили пустые результаты распознавания.

Audiogram 3.15.0

Audiogram 3.15.0 содержит следующие улучшения и исправления:

Оптимизация

• Ускорена ML-нормализация чисел более, чем в 2 раза, за счёт изменения алгоритмов работы.

Исправление ошибок

• Исправлена ошибка, из-за которой иногда происходила некорректная озвучка дат и сумм в некоторых падежах.

Audiogram 3.14.0

Audiogram 3.14.0 содержит следующие улучшения:

Новый функционал

• Добавлена поддержка определения тональности аудио при распознавании речи. По тону высказывание может быть позитивным, нейтральным, грустным или сердитым.
  Определение тональности работает по сегментам VAD (Voice Activity Detection). Если VAD выключен, определяется тональность всего аудио. Если VAD включен, то определяется тональность каждого сегмента, отмеченного VAD.

Оптимизация

• Проведены работы по общей оптимизации Audiogram, направленные на повышение быстродействия сервиса и уменьшение потребления системных ресурсов:

  • Библиотека log-kit была дополнительно переработана и обновлена в следующих сервисах:
  • api
  • asr-e2e-agent
  • tts-agent
  • vad-agent
  • genderage-agent
  • statistics-api
  • statistics-ingester
  • grpc-service-template
  • Сервисы Audiogram, работающие по gRPC, переведены на формат пропагации трассировки ABNF.
  • Оптимизирована упаковка чанков аудио в InferInput.
  • Удалена метка grpc-code для метрики grpc_requests_processing_time_seconds.
    

  Результаты оптимизации по сравнению с предыдущей версией Audiogram:
  

  Распознавание речи (ASR):

  • 100 одновременных запросов в потоковом режиме - Latency p95 сократился на 8%; Latency mean сократился на 11%
  • 150 одновременных запросов в потоковом режиме - Latency p95 сократился на 17.4%; Latency mean сократился на 29.8%
  • 100 одновременных запросов в файловом режиме - RTFx увеличился на 7%
  • 150 одновременных запросов в файловом режиме - RTFx увеличился на 6.1%

  Синтез речи (TTS) (проверялся только потоковый режим; замеры по файловому режиму отдельно не проводились, так как он основан на потоковом):

  • 100 одновременных запросов на синтез в потоковом режиме моделью light - Latency p95 сократился на 4.5%; Latency mean сократился на 3%; RTFx увеличился на 7.5%
  • 100 одновременных запросов на синтез в потоковом режиме моделью high_quality - Latency p95 сократился на 4.2%; Latency mean сократился на 6%; RTFx увеличился на 5.8%

• Проведены доработки сервиса transcriber:

  • Triton Inference Server обновлен до версии 23.07.
  • С целью улучшения качества синтеза речи пополнены следующие словари:
  • эфикация
  • ёфикация
  • однозначные ударения
  • морфологические омонимы
  • контекстуальные омонимы
  • слова с дефисом

• Проведены доработки и интеграция обновленного сервиса transcoder:

  • Изменен способ задания формата кодеков. Теперь приходящий в api запрос имеет следующий маппинг по полю encoding сообщения AudioEncoding:
    

    AudioEncoding	Значение поля format	Значение поля codec
    ENCODING_UNSPECIFIED	не поддерживается	не поддерживается
    LINEAR_PCM	s16le	s16le
    FLAC	не поддерживается	не поддерживается
    MULAW	s16le	pcm_mulaw
    ALAW	s16le	pcm_alaw

    
    

  • Передача трассировочной информации теперь осуществляется через метаданные в формате ABNF.

  • Добавлена поддержка версионирования api и обратная совместимость между версиями сервиса transcoder.

  • Проведена прямая интеграция библиотек FFmpeg в transcoder, что позволило увеличить пропускную способность сервиса в 10-15 раз.

• Повышена точность работы сервиса genderage за счет изменения значения CHUNK_ALIGNMENT_SIZE по умолчанию с 25600 до 32000 секунд.

Исправление ошибок

• Исправлена ошибка, из-за которой распознавание в файловом режиме проходило успешно, но в логах сервиса asr-e2e-agent иногда записывалась ложная ошибка о незакрытой последовательности контекста.
• Исправлена ошибка, из-за которой при запросе доступных ML-моделей в список попадали более не поддерживаемые модели.
• Исправлена ошибка, из-за которой клиентское приложение зависало при отправке в сервис genderage нечетного количества байт.
• Исправлена ошибка, из-за которой в запросах от api к transcoder иногда выставлялось неверное значение аудиоканалов.

Audiogram 3.10.0

Audiogram 3.10.0 содержит следующие улучшения:

Новый функционал

• Добавлена поддержка обработки сокращений и ML-нормализации чисел (с сохранением функционала нормализации чисел, работающей на правилах).
• Добавлена поддержка распознавания многоканального аудио (каждый канал распознаётся по отдельности).

Оптимизация

• Улучшена работа библиотеки log-kit, что позволит сервисам Audiogram тратить меньше времени и ресурсов на запись логов.

Исправление ошибок

• Исправлена ошибка в работе сервиса DEP, из-за которой в некоторых случаях, когда голос звучал в самом начале первого чанка, некорректно идентифицировалось начало речи.
• Исправлена ошибка в работе сервиса VAD, из-за которой иногда некорректно выставлялись метки начала и конца речи.

Audiogram 3.9.0

В обновлении Audiogram 3.9.0 вдвое увеличена скорость синтеза речи моделью high_quality.

Audiogram 3.8.0

Audiogram 3.8.0 содержит следующие улучшения:

Оптимизация

• Переработана и оптимизирована трассировка для компонентов asr-e2e-agent и vad-agent, что позволило сократить задержку (latency) p99.

• Переработано и оптимизировано логирование для компонента asr-e2e-agent, что позволило сократить задержку и нагрузку на систему.

• Проведены исследования и увеличена длительность аудиофрагмента, отправляемого на расшифровку, с 0.8 до 2 секунд. Это позволило снизить нагрузку на систему и количество ошибок распознавания речи (WER - Word Error Rate).

• Упрощено извлечение информации из логов за счет введения структурированного логирования для компонентов auth и audio-archive-back.

Исправление ошибок

• Исправлена ошибка, из-за которой в логах сборки обфусцированных образов asr-e2e-agent, vad-agent и audio-archive-back появлялась строка о проблеме, но при этом сами образы были рабочими.

• Исправлена ошибка, из-за которой метрики производительности компонента vad-agent не отображались на обзорной панели.

• Исправлена ошибка, из-за которой в ключе tts-cache не учитывалось применение постобработки, вследствие чего один и тот же текст нельзя было озвучить с другим видом постобработки.

• Исправлена ошибка, из-за которой наблюдалось снижение производительности синтеза речи при включенной авторизации.

• Исправлена ошибка, из-за которой в ответе на запрос распознанных фраз из архива audio-archive-back возвращал только первую фразу.

Дополнительно

• Версия Triton в VAD обновлена до 23.07 для более стабильной работы сервиса.

• Для избежания проблем с уязвимостью обновлена версия утилиты grpc_health_probe до 0.7.0.

• Обновлён образ audio-archive-back (Python > v3.11).

Audiogram 3.7.0

Audiogram 3.7.0 содержит следующие улучшения:

Новый функционал:

• Добавлены gRPC-метрики, позволяющие отслеживать взаимодействие между компонентами asr-e2e-agent и genderage_agent (количество запросов, количество запросов в прогрессе, время выполнения запросов, количество ошибок и т.д.) с помощью Prometheus.

• Реализована возможность работы сервиса genderage отдельно от встроенного VAD (Voice Activity Detection), что позволяет заказчикам при необходимости подключать свой собственный VAD (компонент, отвечающий за определение голосовой активности в аудио).

Оптимизация

• Фразы, полученные при распознавании в файловом режиме, больше не объединяются в один элемент, а перечисляются по отдельности. Это позволяет впоследствии корректно выполнить определение пола и возраста участников разговора, если в аудио несколько спикеров.

• Повышена скорость взаимодействия asr-e2e-agent и Triton-сервера благодаря оптимизации подготовки инпутов (объектов для входа).

Исправление ошибок

• Исправлена ошибка с отправкой некорректной метки, из-за которой в Prometheus не отображались алерты (alerts) для компонента asr-e2e-agent.

• Исправлена ошибка с отправкой некорректной метки, из-за которой в Prometheus не отображались алерты (alerts) для компонента vad-agent.

• Исправлена ошибка, из-за которой возникали разные результаты определения пола при отправке запроса к genderage через Audiogram API и напрямую.

• Исправлена ошибка, из-за которой распознавание речи не работало при выключенном VAD.

Audiogram 3.6.0

Audiogram 3.6.0 содержит следующие улучшения:

1. В ходе тестирования были выявлены и исправлены несколько ошибок, что повысило общую стабильность работы сервиса.

2. Оптимизированы развертывание, работа и названия моделей для синтеза речи. Теперь обе модели доступны одновременно. Чтобы выбрать какой моделью необходимо произвести озвучку, передайте её название в запросе:

   • light - эта модель является менее ресурсоемкой и рекомендуется к использованию в производственных целях.
   • high_quality - данная модель потребляет больше системных ресурсов, так как относится к новому поколению моделей, отличающихся более хорошими показателями качества синтеза, На данный момент ее рекомендуется использовать при невысокой нагрузке.

   Вы можете выбрать любую модель, но если в запросе не указать конкретное название, то для синтеза в потоковом режиме по умолчанию будет использоваться light, а для синтеза в файловом режиме - high_quality.

Audiogram 3.5.1

Audiogram 3.5.1 содержит следующее улучшение:

1. Исправлена ошибка трассировки, из-за которой в один трейс попадали спаны нескольких запросов.

Audiogram 3.5.0

Audiogram 3.5.0 содержит следующие улучшения:

Для сервиса распознавания речи (ASR)

1. Проведены работы по снижению задержки (latency). Например: убрано шифрование модуля sentence-piece (данное изменение не влияет на безопасность); внедрен новый предиктор ML-модели; и др.

Для сервиса синтеза речи

1. Внедрена новая модель, что привело к улучшению интонаций и уменьшению количества потребляемых ресурсов видеокарты.
2. Улучшено качество синтеза голоса Ганджаева благодаря дополнительному обучению моделей.