Онлайн-кинотеатр KION обратился в MTS AI с запросом создать решения, с помощью которых можно комфортно смотреть фильмы и сериалы, снятые в разные эпохи, и пропускать повторяющиеся фрагменты.
SuperResolution – перевод видео в 4к
CV-инженеры из MTS AI разработали систему SuperResolution на основе технологий искусственного интеллекта, которая позволяет увеличивать разрешение картинки, не влияя на ее качество. Так владельцы телевизоров, поддерживающих формат 4к, могут без искажений смотреть старые фильмы и сериалы. Разработчики технологии в рамках независимого исследования сравнили оригинальное видео в формате 1080р и улучшенное до качества 4к и пришли к выводу, что оно выигрывает по нескольким параметрам. У 4к-изображения выше четкость, ярче цвета, а сама картинка выглядит реалистичнее.
Автоматический пропуск титров
Вторая часть решения для KION – автоматический пропуск титров и заставок. Чтобы у пользователей была возможность проматывать повторяющиеся элементы серий, необходимо размечать большой объем видеоданных и прогонять его через ML-модель для выявления титров и заставок. Такая работа в ручном режиме, во-первых, предполагает большие временные затраты, во-вторых, требует дополнительных ресурсов: бюджета, квалифицированных сотрудников и контроля со стороны менеджеров. Чтобы внедрить функцию автоматического пропуска титров и заставок, было принято решение использовать нейросети, набор микросервисов и видеокарты Nvidia Tesla.
Алгоритм, который разработали инженеры из MTS AI, предполагает несколько этапов:
- Декодирование серии – извлечение каждого кадра. На этом этапе для каждого сезона сериала приходится извлекать в среднем 1 200 000 кадров, для чего используются аппаратные декодеры NVDEC.
- Прогон кадров через нейросеть без дополнительной разметки при обучении (unsupervised learning) для преобразования изображений в массив из чисел и дальнейшей работы с ним.
- Сравнение каждого кадра одного эпизода с другими кадрами всех серий сезона, чтобы выявить повторяющиеся. В среднем, после декодирования получается 60 000 кадров за эпизод, а сравнение и выявление повторяющихся кадров в одном сезоне сериала занимает 4-5 минут благодаря мощностям видеокарт.
Разметка одного сериала занимает в среднем 40-60 минут.
Что получилось в результате?
- Преобразование видео в формат 4к дает возможность наслаждаться высоким качеством даже тех фильмов, которые были сняты в эпоху черно-белого кино.
- На больших экранах (компьютеры, приставки, Smart ТВ) увеличилось время просмотра тех сериалов, в которых есть возможность пропускать титры и заставки.
- Увеличилась среднее количество времени, которое пользователи KION проводят на онлайн-платформе.
