Пропуск титров и заставок с помощью ИИ на платформе KION

fgfg Picture

Онлайн-кинотеатр KION обратился к MTS AI для разработки системы пропуска титров и заставок. Эта функция стала бенчмарком современных стриминговых сервисов. Когда одна серия сериала идет сразу же за другой, это удобно и зрителю, и кинотеатру. 

Пользователю не нужно проматывать знакомый эпизод, и он дольше остается на площадке из-за желания посмотреть очередную серию, которая уже началась. 

Однако онлайн-кинотеатры сталкиваются с тем, что без ИИ внедрить разметку и пропуск титров в каждый фильм и сериал на площадке практически невозможно. Чтобы просмотреть весь контент, требуются большие временные затраты, бюджет, квалифицированные сотрудники и контроль со стороны менеджеров. 

MTS AI предложил обучить нейросети распознавать логотипы киностудий, опенинги сериалов и оригинальные заставки к каждой серии, титры, а также дополнительные творческие вставки — например, как в фильмах Marvel.

При подготовке проекта появилась гипотеза о том, что с помощью ИИ можно размечать один сезон сериала в 3-5 раз быстрее.

Реализация проекта

Чтобы создать решение для KION, специалисты по компьютерному зрению из MTS AI проанализировали более 250 фильмов и обнаружили, что все заставки находятся в рамках первых 10% от начала и 15% до его конца. 

Таким образом, значительно сократилось количество кадров для разработки, и, следовательно, можно сэкономить вычислительные мощности и повысить скорость разметки и передачи данных в онлайн-кинотеатр.

Далее разработчики создали нейросеть, которая ищет в фильмах и сериалах совпадение по базе типичных заставок от киностудий разных лет и стран – для этого используется механизм математического хеширования, чтобы сопоставить числовое значение архивных заставок с фрагментами анализируемого фильма или сериала. 

Затем алгоритмы определяют все потенциальные заставки по более чем 10 критериям, таким как:

  • логотипы киностудий;
  • текст на черном фоне;
  • анимационные ролики с творческим монтажом;
  • повторяющиеся кадры и тд.

Чтобы исключить возможность ошибки, отобранные фрагменты видео проходят множество фильтров — в частности, по продолжительности (заставка не может быть короче 5 секунд и длиннее 8 минут) и наличию текста (в заставке хотя бы раз должна быть какая-либо подпись). При завершении разметки система с помощью хеширования уточняет границы заставок, чтобы при перемотке зритель попал к началу сюжетной сцены.

Результат

У KION появился удобная функция пропуска титров, которая внедрена во все фильмы и сериалы на площадке. 

После внедрения автоматической разметки время просмотра контента на компьютерах, телевизорах и других широких экранах выросло на 3,3% – дома зрители дольше смотрят сериалы, если им предлагать пропускать заставку и титры, а также автоматически запускать новую серию. 

Точность распознавания титров и заставок нейросетью составляет 90%. 
Как прогнозировалось, с помощью ИИ один сезон сериала можно обработать в 3-5 раз быстрее — примерно за 40 минут.

Новости
Главное за последнее время
Смотреть все
События
Вебинар «Как бизнесу использовать LLM в 2025 году»
События
Вебинар «Биометрические сервисы в реалиях 572-ФЗ»
События
Вебинар: как с помощью ИИ защитить бизнес и репутацию от дипфейков
События
Вебинар: разговор на языке данных
ВобъективеИИ
Предсказания Маска и конкуренция на ИИ-поле
Новости команды
MTS AI подписала декларацию об ответственной разработке генеративного ИИ
ВобъективеИИ
Снижение цен на лидары и расцвет промышленной роботизации в Китае
ВобъективеИИ
«Кентавр» для имитации поведения человека и ИИ-вдохновение от Кандинского
ВобъективеИИ
Машина Хабермаса и дружба ИИ с аддитивными технологиями
Технологии
MTS AI открыл публичный доступ к демоверсии Kodify
Решения
MTS AI создала ИИ-помощника для банковских сотрудников
ВобъективеИИ
Надежность LLM и альтернатива лидарам
События
FINOPOLIS 2024. 16-18 октября Сочи
События
AI Journey 2024. Ноябрь Москва