Исследователь MTS AI завоевал золото на конкурсе Google Image Matching Challenge 2023 

Команда Аммара Али оказалась сильнее 500 других участников международных соревнований по искусственному интеллекту. 

Старший инженер-исследователь MTS AI завоевал золото Google Image Matching Challenge 2023. Аммар Али принимал участие в соревнованиях вместе со своим другом Жаафаром Махмудом. Их команда вошла в топ-10 золотых медалистов.

Оба победителя соревнований учатся в ИТМО. Аммар — аспирант факультета информационных технологий и программирования, Жаафар — аспирант факультета систем управления и робототехники, его научный руководитель — Сергей Колюбин, директор по исследовательским проектам MTS AI. 

Конкурс Image Matching Challenge от Google Research проводится уже четвертый год подряд. При этом сложность задач только нарастает. Для сравнения: в прошлом году участники искали способ создания панорамных изображений из нескольких фото. В этом — им нужно было придумать решение для подготовки 3D-реконструкции зданий по фотографиям, которые загрузили пользователи Google Maps. В перспективе лучшие из предложенных методов планируют использовать для создания цифровых копий объектов культурного наследия. Призовой фонд конкурса в этом году составил $50 000 долларов. 

Для реконструкций используется технология Structure from Motion (SfM), или фотограмметрия, когда на основе множества снимков одного и того же объекта с разных ракурсов создается модель. При этом изображения нужно было не только отсортировать, но и правильно расположить в пространстве, чтобы получилась объемная модель. 

Жаафар Махмуд и Аммар Али предложили несколько вариантов решения поставленной задачи. Самой успешной стала система, состоявшая из нескольких компонентов: 

  • нейронной сети которая анализировала ракурс и позиционирование всех фотографий из датасета;
  • поискового алгоритма, отбирающего пары изображений с наибольшим совпадением ракурса и расположения объекта на фото.

Жаафар и Аммар с помощью своих разработок создали объемную реконструкцию главного корпуса ИТМО. Они сделали около 35 фотографий фасада с разных ракурсов. Поисковый алгоритм автоматически сгруппировал похожие изображения ― именно они стали основой для 3D-реконструкции. Отобранные фотографии были несколько раз обработаны с помощью технологий оптимизации и алгоритма определения положения камеры при съемке, что позволило более аккуратно позиционировать изображения по точкам координат в пространстве 3D-сцены.    

Жаафар Махмуд и Аммар Али участвуют в международных соревнованиях второй год подряд. В 2022-м они также боролись за победу на Google Image Matching Challenge ― тогда им удалось войти в топ-30 лучших команд и завоевать серебряную медаль. По словам аспирантов, секрет их успеха ― в объединении компетенций: Аммар — специалист по машинному обучению, Жаафар изучает возможности компьютерного зрения.

Новости
Главное за последнее время
Смотреть все
События
ВЕБИНАР: LLM для бизнес: возможности, ограничения и реальные кейсы
События
ВЕБИНАР: Возможности генеративного ИИ для бизнеса
ВобъективеИИ
Жажда скорости и ИИ против подделок
MTS AI в медиа
MTS AI создала LLM для корпоративного сектора
Новости команды
MTS AI провела специальную оценку условий труда
Новости команды
Сотрудник MTS AI вошел в Научный совет Альянса в сфере ИИ
ВобъективеИИ
Защита от биоугроз и LLM под знаком дракона
Решения
Использование LLM в телекоме для суммирования звонков
ВобъективеИИ
Спящие агенты и новые возможности GPT
Решения
По каким критериям оценивать качество голосового бота
ВобъективеИИ
Джейлбрейк LLM и ИИ для обучения роботов