Распознавание актеров в кадре — функция, без которой невозможно представить современный онлайн-кинотеатр. Поставив видео на паузу, зритель может сразу узнать имя актера и получить доступ к его фильмографии.
Онлайн-кинотеатр KION решил тоже внедрить у себя эту функцию и обратился к MTS AI. Специалисты по искусственному интеллекту изучили эту задачу и предложили использовать технологии Face recognition, поиск по фото и библиотеку OpenCV.
Как разработчики MTS AI научили ИИ распознавать актеров в кадре
Для решения поставленной задачи специалисты по компьютерному зрению применили нейросетевые алгоритмы распознавания лиц.
Сначала KION предоставил специалистам по компьютерному зрению список фильмов
и имен актеров, которых нужно было распознать на видео, а также сам контент. Параллельно специалисты MTS AI по открытым источникам собрали датасет из фотографий с селебрити, откуда удалили все неподходящие варианты – например, изображения других людей или те снимки, на которых более одного человека.
Далее собранные фотографии загрузили в LUNA Platfrom – решение для распознавания лиц, созданное VisionLabs – портфельной компанией MTS AI. Алгоритмы присвоили каждому из лиц вектора-дескрипторы и затем объединили их в кластеры. Таким образом, разработчики получили фотографии актёров, которых нужно было найти в фильме.
После с помощью LUNA Platform были проанализировали все выбранные фильмы и сериалы. Алгоритмы платформы выделили лица в каждом кадре, присвоили им вектора-дескрипторы, а затем сравнили их с векторами-дескрипторами актёров, которых нужно было найти в кадре.
Так специалисты получили по каждому кадру информацию о том, есть ли там искомый актёр и что это за актёр. Более того, нейросеть присвоила каждому ID персонажу и обвела его лицо в рамку. Полученные данные объединили в JSON-файл и отправили в базу данных онлайн-кинотеатра KION.
Результат
Система распознавания актеров, созданная MTS AI работает с точностью свыше 90%. Использование функции позволяет пользователям активно пополнять свою синематеку, чаще возвращаться в сервис и проводить в нем больше времени за просмотром отложенных фильмов. Кроме того, формирование кластеров легло в основу следующего проекта генерации постеров для сериалов.
