Команда Аммара Али оказалась сильнее 500 других участников международных соревнований по искусственному интеллекту.
Старший инженер-исследователь MTS AI завоевал золото Google Image Matching Challenge 2023. Аммар Али принимал участие в соревнованиях вместе со своим другом Жаафаром Махмудом. Их команда вошла в топ-10 золотых медалистов.
Оба победителя соревнований учатся в ИТМО. Аммар — аспирант факультета информационных технологий и программирования, Жаафар — аспирант факультета систем управления и робототехники, его научный руководитель — Сергей Колюбин, директор по исследовательским проектам MTS AI.
Конкурс Image Matching Challenge от Google Research проводится уже четвертый год подряд. При этом сложность задач только нарастает. Для сравнения: в прошлом году участники искали способ создания панорамных изображений из нескольких фото. В этом — им нужно было придумать решение для подготовки 3D-реконструкции зданий по фотографиям, которые загрузили пользователи Google Maps. В перспективе лучшие из предложенных методов планируют использовать для создания цифровых копий объектов культурного наследия. Призовой фонд конкурса в этом году составил $50 000 долларов.
Для реконструкций используется технология Structure from Motion (SfM), или фотограмметрия, когда на основе множества снимков одного и того же объекта с разных ракурсов создается модель. При этом изображения нужно было не только отсортировать, но и правильно расположить в пространстве, чтобы получилась объемная модель.
Жаафар Махмуд и Аммар Али предложили несколько вариантов решения поставленной задачи. Самой успешной стала система, состоявшая из нескольких компонентов:
- нейронной сети которая анализировала ракурс и позиционирование всех фотографий из датасета;
- поискового алгоритма, отбирающего пары изображений с наибольшим совпадением ракурса и расположения объекта на фото.
Жаафар и Аммар с помощью своих разработок создали объемную реконструкцию главного корпуса ИТМО. Они сделали около 35 фотографий фасада с разных ракурсов. Поисковый алгоритм автоматически сгруппировал похожие изображения ― именно они стали основой для 3D-реконструкции. Отобранные фотографии были несколько раз обработаны с помощью технологий оптимизации и алгоритма определения положения камеры при съемке, что позволило более аккуратно позиционировать изображения по точкам координат в пространстве 3D-сцены.
Жаафар Махмуд и Аммар Али участвуют в международных соревнованиях второй год подряд. В 2022-м они также боролись за победу на Google Image Matching Challenge ― тогда им удалось войти в топ-30 лучших команд и завоевать серебряную медаль. По словам аспирантов, секрет их успеха ― в объединении компетенций: Аммар — специалист по машинному обучению, Жаафар изучает возможности компьютерного зрения.
