Онлайн-кинотеатр KION обратился к MTS AI для разработки системы пропуска титров и заставок. Эта функция стала бенчмарком современных стриминговых сервисов. Когда одна серия сериала идет сразу же за другой, это удобно и зрителю, и кинотеатру.
Пользователю не нужно проматывать знакомый эпизод, и он дольше остается на площадке из-за желания посмотреть очередную серию, которая уже началась.
Однако онлайн-кинотеатры сталкиваются с тем, что без ИИ внедрить разметку и пропуск титров в каждый фильм и сериал на площадке практически невозможно. Чтобы просмотреть весь контент, требуются большие временные затраты, бюджет, квалифицированные сотрудники и контроль со стороны менеджеров.
MTS AI предложил обучить нейросети распознавать логотипы киностудий, опенинги сериалов и оригинальные заставки к каждой серии, титры, а также дополнительные творческие вставки — например, как в фильмах Marvel.
При подготовке проекта появилась гипотеза о том, что с помощью ИИ можно размечать один сезон сериала в 3-5 раз быстрее.
Реализация проекта
Чтобы создать решение для KION, специалисты по компьютерному зрению из MTS AI проанализировали более 250 фильмов и обнаружили, что все заставки находятся в рамках первых 10% от начала и 15% до его конца.
Таким образом, значительно сократилось количество кадров для разработки, и, следовательно, можно сэкономить вычислительные мощности и повысить скорость разметки и передачи данных в онлайн-кинотеатр.
Далее разработчики создали нейросеть, которая ищет в фильмах и сериалах совпадение по базе типичных заставок от киностудий разных лет и стран – для этого используется механизм математического хеширования, чтобы сопоставить числовое значение архивных заставок с фрагментами анализируемого фильма или сериала.
Затем алгоритмы определяют все потенциальные заставки по более чем 10 критериям, таким как:
- логотипы киностудий;
- текст на черном фоне;
- анимационные ролики с творческим монтажом;
- повторяющиеся кадры и тд.
Чтобы исключить возможность ошибки, отобранные фрагменты видео проходят множество фильтров — в частности, по продолжительности (заставка не может быть короче 5 секунд и длиннее 8 минут) и наличию текста (в заставке хотя бы раз должна быть какая-либо подпись). При завершении разметки система с помощью хеширования уточняет границы заставок, чтобы при перемотке зритель попал к началу сюжетной сцены.
Результат
У KION появился удобная функция пропуска титров, которая внедрена во все фильмы и сериалы на площадке.
После внедрения автоматической разметки время просмотра контента на компьютерах, телевизорах и других широких экранах выросло на 3,3% – дома зрители дольше смотрят сериалы, если им предлагать пропускать заставку и титры, а также автоматически запускать новую серию.
Точность распознавания титров и заставок нейросетью составляет 90%.
Как прогнозировалось, с помощью ИИ один сезон сериала можно обработать в 3-5 раз быстрее — примерно за 40 минут.
