Распознавание актеров в фильмах и сериалах онлайн-кинотеатра KION

fgfg Picture

Распознавание актеров в кадре — функция, без которой невозможно представить современный онлайн-кинотеатр. Поставив видео на паузу, зритель может сразу узнать имя актера и получить доступ к его фильмографии. 

Онлайн-кинотеатр KION решил тоже внедрить у себя эту функцию и обратился к MTS AI. Специалисты по искусственному интеллекту изучили эту задачу и предложили использовать технологии Face recognition, поиск по фото и библиотеку OpenCV. 

Как разработчики MTS AI научили ИИ распознавать актеров в кадре

Для решения поставленной задачи специалисты по компьютерному зрению применили нейросетевые алгоритмы распознавания лиц. 

Сначала KION предоставил специалистам по компьютерному зрению список фильмов 

и имен актеров, которых нужно было распознать на видео, а также сам контент.  Параллельно специалисты MTS AI по открытым источникам собрали датасет из фотографий с селебрити, откуда удалили все неподходящие варианты – например, изображения других людей или те снимки, на которых более одного человека.

Далее собранные фотографии загрузили в LUNA Platfrom – решение для распознавания лиц, созданное VisionLabs – портфельной компанией MTS AI. Алгоритмы присвоили каждому из лиц вектора-дескрипторы и затем объединили их в кластеры. Таким образом, разработчики получили фотографии актёров, которых нужно было найти в фильме.  

После с помощью LUNA Platform были проанализировали все выбранные фильмы и сериалы. Алгоритмы платформы выделили лица в каждом кадре, присвоили им вектора-дескрипторы, а затем сравнили их с векторами-дескрипторами актёров, которых нужно было найти в кадре.

Так специалисты получили по каждому кадру информацию о том, есть ли там искомый актёр и что это за актёр. Более того, нейросеть присвоила каждому ID персонажу и обвела его лицо в рамку.  Полученные данные объединили в JSON-файл и отправили в базу данных онлайн-кинотеатра KION.  

Результат 

Система распознавания актеров, созданная MTS AI работает с точностью свыше 90%. Использование функции позволяет пользователям активно пополнять свою синематеку, чаще возвращаться в сервис и проводить в нем больше времени за просмотром отложенных фильмов. Кроме того, формирование кластеров легло в основу следующего проекта генерации постеров для сериалов.

Новости
Главное за последнее время
Смотреть все
События
ВЕБИНАР: LLM для бизнес: возможности, ограничения и реальные кейсы
События
ВЕБИНАР: Возможности генеративного ИИ для бизнеса
ВобъективеИИ
Жажда скорости и ИИ против подделок
MTS AI в медиа
MTS AI создала LLM для корпоративного сектора
Новости команды
MTS AI провела специальную оценку условий труда
Новости команды
Сотрудник MTS AI вошел в Научный совет Альянса в сфере ИИ
ВобъективеИИ
Защита от биоугроз и LLM под знаком дракона
Решения
Использование LLM в телекоме для суммирования звонков
ВобъективеИИ
Спящие агенты и новые возможности GPT
Решения
По каким критериям оценивать качество голосового бота
ВобъективеИИ
Джейлбрейк LLM и ИИ для обучения роботов