MWS AI выпустила первую мультимодальную модель для работы с изображениями и текстом

fgfg Picture

MWS AI представила на форуме «Финополис-2025» свою первую мультимодальную модель – Cotype VL, – способную одновременно анализировать и интерпретировать изображения и текст. Модель поставляется как в виде отдельного продукта, так и в составе ИИ-помощников для широкого круга сценариев: от поиска по документам, содержащим визуальную информацию, до клиентской поддержки пользователей по скриншотам и подготовки отчетов на основе графических данных.

Cotype VL содержит 32 млрд параметров, распознаёт изображения с печатным, рукописным и смешанным текстом, учитывает визуальный контекст при переводе с одного языка на другой. Модель также умеет создавать краткое и развернутое описание изображений и отвечать на сложные и логические вопросы по их содержанию, требующие рассуждений, сравнений и выводов.

Cotype VL поддерживает русский, английский, китайский и другие языки, что делает её удобной для компаний с международным документооборотом. Разворачивается в закрытом контуре компании, в случае необходимости возможно дообучение на данных заказчика.

«Мультимодальные модели — ключевой элемент для создания ИИ-помощников нового поколения, способных наряду с текстом понимать сложную визуальную информацию, давать более точные ответы с учётом всех входных данных от пользователя и автономно взаимодействовать с интерфейсами различных корпоративных систем и приложений. Наша новая модель умеет работать со схемами, чертежами, техническими иллюстрациями, картами и другими визуальными данными, благодаря чему будет востребована в ИИ-решениях, ориентированных на проектные и инженерные службы, юридические, финансовые и кадровые департаменты, а также на маркетинг, где предполагается работа с разными форматами контента», — отметил генеральный директор MWS AI Денис Филиппов.

Для обучения Cotype VL команда собрала набор данных на русском языке из различных доменов, включая финансы, промышленность, IT, телеком и здравоохранение. Это более 150 тыс. документов с визуальными данными, сканы и скриншоты: контракты, письма, договоры, диаграммы, таблицы и схемы с картами и чертежами, где важны структура и расположение элементов. Также в обучающий датасет вошли рукописные конспекты и тетради, документы с рукописным и печатным текстом вроде справок и открыток, печатные чеки, билеты, грамоты и медицинские анализы. Кроме того, модель была обучена на скриншотах интерфейсов бизнес-приложений, инженерного ПО, приложений экосистемы МТС и игр. MWS AI разработала инструмент для генерации синтетических данных на основе реальных примеров. Все текстовые и визуальные данные, полученные из открытых источников, были очищены от персональной информации.

Новости
Главное за последнее время
Смотреть все
Технологии
MWS AI выпустила первую мультимодальную модель для работы с изображениями и текстом
Технологии
MWS AI выпускает открытого ИИ-ассистента для программистов
Партнерства
MWS AI и DIS Group заключили технологическое партнерство
Исследования
Опрос MWS AI и X5: каждый десятый житель Татарстана использует генеративный ИИ ежедневно
Исследования
Опрос MWS AI: 25% студентов признались, что пользовались нейросетями на экзаменах
Исследования
Исследование MWS AI: Как россияне используют ИИ на работе
ВобъективеИИ
«Клод» с 1 млн токенов контекста и новая ИИ-модель для роботов 
ВобъективеИИ
Новые открытые модели OpenAI и опенсорсный Grok 2 
MWS AI в медиа
«МТС Банк» улучшает качество обслуживания клиентов с помощью ИИ
ВобъективеИИ
Математические достижения ИИ и сохранение сов
MWS AI в медиа
Каждый пятый россиянин допускает возможность дружбы с нейросетью