ИИ научился улучшать качество видео и проматывать титры к фильмам

Picture

Онлайн-кинотеатр KION обратился в MTS AI с запросом создать решения, с помощью которых можно комфортно смотреть фильмы и сериалы, снятые в разные эпохи, и пропускать повторяющиеся фрагменты. 

SuperResolution – перевод видео в 4к

CV-инженеры из MTS AI разработали систему SuperResolution на основе технологий искусственного интеллекта, которая позволяет увеличивать разрешение картинки, не влияя на ее качество. Так владельцы телевизоров, поддерживающих формат 4к, могут без искажений смотреть старые фильмы и сериалы. Разработчики технологии в рамках независимого исследования сравнили оригинальное видео в формате 1080р и улучшенное до качества 4к и пришли к выводу, что оно выигрывает по нескольким параметрам. У 4к-изображения выше четкость, ярче цвета, а сама картинка выглядит реалистичнее.

Picture

Автоматический пропуск титров

Вторая часть решения для KION – автоматический пропуск титров и заставок. Чтобы у пользователей была возможность проматывать повторяющиеся элементы серий, необходимо размечать большой объем видеоданных и прогонять его через ML-модель для выявления титров и заставок. Такая работа в ручном режиме, во-первых, предполагает большие временные затраты, во-вторых, требует дополнительных ресурсов: бюджета, квалифицированных сотрудников и контроля со стороны менеджеров. Чтобы внедрить функцию автоматического пропуска титров и заставок, было принято решение использовать нейросети, набор микросервисов и видеокарты Nvidia Tesla.

Алгоритм, который разработали инженеры из MTS AI, предполагает несколько этапов: 

  1. Декодирование серии – извлечение каждого кадра. На этом этапе для каждого сезона сериала приходится извлекать в среднем 1 200 000 кадров, для чего используются аппаратные декодеры NVDEC.
  2. Прогон кадров через нейросеть без дополнительной разметки при обучении (unsupervised learning) для преобразования изображений в массив из чисел и дальнейшей работы с ним.
  3. Сравнение каждого кадра одного эпизода с другими кадрами всех серий сезона, чтобы выявить повторяющиеся. В среднем, после декодирования получается 60 000 кадров за эпизод, а сравнение и выявление повторяющихся кадров в одном сезоне сериала занимает 4-5 минут благодаря мощностям видеокарт.

Разметка одного сериала занимает в среднем 40-60 минут. 

Picture

Что получилось в результате?

  • Преобразование видео в формат 4к дает возможность наслаждаться высоким качеством даже тех фильмов, которые были сняты в эпоху черно-белого кино.
  • На больших экранах (компьютеры, приставки, Smart ТВ) увеличилось время просмотра тех сериалов, в которых есть возможность пропускать титры и заставки.
  • Увеличилась среднее количество времени, которое пользователи KION проводят на онлайн-платформе.
Новости
Главное за последнее время
Смотреть все

Инвестиции

MTS AI в медиа

Новости команды

Партнерство

Кейсы

Решения

ВобъективеИИ

События

Технологии

Без рубрики

ВобъективеИИ
Как ИИ судит в футболе и за что судят ИИ
ВобъективеИИ
Искусный переговорщик, хороший диагност и так себе кулинар
Кейсы
MTS AI помогла запустить продукт «МТС Видеонаблюдение для бизнеса»
Решения
Аналитика коммуникаций для онлайн-ритейлера
Кейсы
Как с помощью Audiogram мы создали ИИ-оператора для контакт-центра МТС
ВобъективеИИ
Свет для ML-вычислений и робот-истребитель… тараканов
События
TenVision: узнайте больше о гибком подход к видеоаналитике и видеонаблюдению от MTS AI
ВобъективеИИ
Знания об эволюции в помощь робототехникам и диагностика болезней по голосу
Технологии
ИИ научился улучшать качество видео и проматывать титры к фильмам
ВобъективеИИ
ИИ спасает животных и помогает понять медицинские тексты