Распознавание актеров в фильмах и сериалах онлайн-кинотеатра KION

fgfg Picture

Распознавание актеров в кадре — функция, без которой невозможно представить современный онлайн-кинотеатр. Поставив видео на паузу, зритель может сразу узнать имя актера и получить доступ к его фильмографии. 

Онлайн-кинотеатр KION решил тоже внедрить у себя эту функцию и обратился к MTS AI. Специалисты по искусственному интеллекту изучили эту задачу и предложили использовать технологии Face recognition, поиск по фото и библиотеку OpenCV. 

Как разработчики MTS AI научили ИИ распознавать актеров в кадре

Для решения поставленной задачи специалисты по компьютерному зрению применили нейросетевые алгоритмы распознавания лиц. 

Сначала KION предоставил специалистам по компьютерному зрению список фильмов 

и имен актеров, которых нужно было распознать на видео, а также сам контент.  Параллельно специалисты MTS AI по открытым источникам собрали датасет из фотографий с селебрити, откуда удалили все неподходящие варианты – например, изображения других людей или те снимки, на которых более одного человека.

Далее собранные фотографии загрузили в LUNA Platfrom – решение для распознавания лиц, созданное VisionLabs – портфельной компанией MTS AI. Алгоритмы присвоили каждому из лиц вектора-дескрипторы и затем объединили их в кластеры. Таким образом, разработчики получили фотографии актёров, которых нужно было найти в фильме.  

После с помощью LUNA Platform были проанализировали все выбранные фильмы и сериалы. Алгоритмы платформы выделили лица в каждом кадре, присвоили им вектора-дескрипторы, а затем сравнили их с векторами-дескрипторами актёров, которых нужно было найти в кадре.

Так специалисты получили по каждому кадру информацию о том, есть ли там искомый актёр и что это за актёр. Более того, нейросеть присвоила каждому ID персонажу и обвела его лицо в рамку.  Полученные данные объединили в JSON-файл и отправили в базу данных онлайн-кинотеатра KION.  

Результат 

Система распознавания актеров, созданная MTS AI работает с точностью свыше 90%. Использование функции позволяет пользователям активно пополнять свою синематеку, чаще возвращаться в сервис и проводить в нем больше времени за просмотром отложенных фильмов. Кроме того, формирование кластеров легло в основу следующего проекта генерации постеров для сериалов.

Новости
Главное за последнее время
Смотреть все
ВобъективеИИ
Влияние опечаток на LLM и исследование генома
Технологии
MWS AI выпускает открытого ИИ-ассистента для программистов
ВобъективеИИ
Квантовые достижения, экологичный цемент и влияние ИИ на климат
ВобъективеИИ
Новая action-модель и отслеживание мыслей LLM
Решения
MTS AI выпустила корпоративных ИИ-помощников для поиска по документам и аналитики
Исследования
Более 60% россиян уже не могут отличить дипфейк от фотографии
ВобъективеИИ
Bring Your Own AI и новый метод обучения LLM от Alibaba
ВобъективеИИ
Язык дельфинов и самодетоксикация LLM
ВобъективеИИ
ИИ-хакеры и новые конкуренты DeepSeek
Исследования
Исследование MTS AI: У 70% программистов есть претензии к ИИ-ассистентам для написания кода, но большинство признает их пользу