Пропуск титров и заставок с помощью ИИ на платформе KION

fgfg Picture

Онлайн-кинотеатр KION обратился к MTS AI для разработки системы пропуска титров и заставок. Эта функция стала бенчмарком современных стриминговых сервисов. Когда одна серия сериала идет сразу же за другой, это удобно и зрителю, и кинотеатру. 

Пользователю не нужно проматывать знакомый эпизод, и он дольше остается на площадке из-за желания посмотреть очередную серию, которая уже началась. 

Однако онлайн-кинотеатры сталкиваются с тем, что без ИИ внедрить разметку и пропуск титров в каждый фильм и сериал на площадке практически невозможно. Чтобы просмотреть весь контент, требуются большие временные затраты, бюджет, квалифицированные сотрудники и контроль со стороны менеджеров. 

MTS AI предложил обучить нейросети распознавать логотипы киностудий, опенинги сериалов и оригинальные заставки к каждой серии, титры, а также дополнительные творческие вставки — например, как в фильмах Marvel.

При подготовке проекта появилась гипотеза о том, что с помощью ИИ можно размечать один сезон сериала в 3-5 раз быстрее.

Реализация проекта

Чтобы создать решение для KION, специалисты по компьютерному зрению из MTS AI проанализировали более 250 фильмов и обнаружили, что все заставки находятся в рамках первых 10% от начала и 15% до его конца. 

Таким образом, значительно сократилось количество кадров для разработки, и, следовательно, можно сэкономить вычислительные мощности и повысить скорость разметки и передачи данных в онлайн-кинотеатр.

Далее разработчики создали нейросеть, которая ищет в фильмах и сериалах совпадение по базе типичных заставок от киностудий разных лет и стран – для этого используется механизм математического хеширования, чтобы сопоставить числовое значение архивных заставок с фрагментами анализируемого фильма или сериала. 

Затем алгоритмы определяют все потенциальные заставки по более чем 10 критериям, таким как:

  • логотипы киностудий;
  • текст на черном фоне;
  • анимационные ролики с творческим монтажом;
  • повторяющиеся кадры и тд.

Чтобы исключить возможность ошибки, отобранные фрагменты видео проходят множество фильтров — в частности, по продолжительности (заставка не может быть короче 5 секунд и длиннее 8 минут) и наличию текста (в заставке хотя бы раз должна быть какая-либо подпись). При завершении разметки система с помощью хеширования уточняет границы заставок, чтобы при перемотке зритель попал к началу сюжетной сцены.

Результат

У KION появился удобная функция пропуска титров, которая внедрена во все фильмы и сериалы на площадке. 

После внедрения автоматической разметки время просмотра контента на компьютерах, телевизорах и других широких экранах выросло на 3,3% – дома зрители дольше смотрят сериалы, если им предлагать пропускать заставку и титры, а также автоматически запускать новую серию. 

Точность распознавания титров и заставок нейросетью составляет 90%. 
Как прогнозировалось, с помощью ИИ один сезон сериала можно обработать в 3-5 раз быстрее — примерно за 40 минут.

Новости
Главное за последнее время
Смотреть все
События
Вебинар: как с помощью ИИ защитить бизнес и репутацию от дипфейков
События
Вебинар: разговор на языке данных
ВобъективеИИ
Предсказания Маска и конкуренция на ИИ-поле
Новости команды
MTS AI подписала декларацию об ответственной разработке генеративного ИИ
ВобъективеИИ
Борьба за справедливость решений ИИ и эластичные батарейки
Технологии
MTS AI создала ИИ-помощника программиста
ВобъективеИИ
Трансцендентность ИИ-моделей и улыбка робота
Технологии
Как сервису объявлений избежать оттока клиентов с помощью ИИ
ВобъективеИИ
Понимание визуального мира LLM и опасности игр со спецификациями
MTS AI в медиа
Как применяется GenAI в речевой аналитике
Партнерство
Компания «Синимекс» и MTS AI стали партнерами
ВобъективеИИ
Гуманоид с открытым кодом и мода от Пушкина
Технологии
Искусственный интеллект в финансовом секторе