Пропуск титров и заставок с помощью ИИ на платформе KION

fgfg Picture

Онлайн-кинотеатр KION обратился к MTS AI для разработки системы пропуска титров и заставок. Эта функция стала бенчмарком современных стриминговых сервисов. Когда одна серия сериала идет сразу же за другой, это удобно и зрителю, и кинотеатру. 

Пользователю не нужно проматывать знакомый эпизод, и он дольше остается на площадке из-за желания посмотреть очередную серию, которая уже началась. 

Однако онлайн-кинотеатры сталкиваются с тем, что без ИИ внедрить разметку и пропуск титров в каждый фильм и сериал на площадке практически невозможно. Чтобы просмотреть весь контент, требуются большие временные затраты, бюджет, квалифицированные сотрудники и контроль со стороны менеджеров. 

MTS AI предложил обучить нейросети распознавать логотипы киностудий, опенинги сериалов и оригинальные заставки к каждой серии, титры, а также дополнительные творческие вставки — например, как в фильмах Marvel.

При подготовке проекта появилась гипотеза о том, что с помощью ИИ можно размечать один сезон сериала в 3-5 раз быстрее.

Реализация проекта

Чтобы создать решение для KION, специалисты по компьютерному зрению из MTS AI проанализировали более 250 фильмов и обнаружили, что все заставки находятся в рамках первых 10% от начала и 15% до его конца. 

Таким образом, значительно сократилось количество кадров для разработки, и, следовательно, можно сэкономить вычислительные мощности и повысить скорость разметки и передачи данных в онлайн-кинотеатр.

Далее разработчики создали нейросеть, которая ищет в фильмах и сериалах совпадение по базе типичных заставок от киностудий разных лет и стран – для этого используется механизм математического хеширования, чтобы сопоставить числовое значение архивных заставок с фрагментами анализируемого фильма или сериала. 

Затем алгоритмы определяют все потенциальные заставки по более чем 10 критериям, таким как:

  • логотипы киностудий;
  • текст на черном фоне;
  • анимационные ролики с творческим монтажом;
  • повторяющиеся кадры и тд.

Чтобы исключить возможность ошибки, отобранные фрагменты видео проходят множество фильтров — в частности, по продолжительности (заставка не может быть короче 5 секунд и длиннее 8 минут) и наличию текста (в заставке хотя бы раз должна быть какая-либо подпись). При завершении разметки система с помощью хеширования уточняет границы заставок, чтобы при перемотке зритель попал к началу сюжетной сцены.

Результат

У KION появился удобная функция пропуска титров, которая внедрена во все фильмы и сериалы на площадке. 

После внедрения автоматической разметки время просмотра контента на компьютерах, телевизорах и других широких экранах выросло на 3,3% – дома зрители дольше смотрят сериалы, если им предлагать пропускать заставку и титры, а также автоматически запускать новую серию. 

Точность распознавания титров и заставок нейросетью составляет 90%. 
Как прогнозировалось, с помощью ИИ один сезон сериала можно обработать в 3-5 раз быстрее — примерно за 40 минут.

Новости
Главное за последнее время
Смотреть все
События
ВЕБИНАР: LLM для бизнес: возможности, ограничения и реальные кейсы
События
ВЕБИНАР: Возможности генеративного ИИ для бизнеса
ВобъективеИИ
Жажда скорости и ИИ против подделок
MTS AI в медиа
MTS AI создала LLM для корпоративного сектора
Новости команды
MTS AI провела специальную оценку условий труда
Новости команды
Сотрудник MTS AI вошел в Научный совет Альянса в сфере ИИ
ВобъективеИИ
Защита от биоугроз и LLM под знаком дракона
Решения
Использование LLM в телекоме для суммирования звонков
ВобъективеИИ
Спящие агенты и новые возможности GPT
Решения
По каким критериям оценивать качество голосового бота
ВобъективеИИ
Джейлбрейк LLM и ИИ для обучения роботов