MWS AI открыла доступ к новому инструменту сжатия больших языковых моделей

fgfg Picture

MWS AI (входит в МТС Web Services) выложила в открытый доступ код для сжатия больших языковых моделей. Он основан на методе  CoSpaDi (Compressing LLMs via Calibration-Guided Sparse Dictionary Learning), разработанном командой исследователей Центра фундаментальных исследований MWS AI. CoSpaDi позволяет уменьшать размер уже обученных нейросетей без дообучения, сохраняя более высокую точность ответов по сравнению с другими методами сжатия. Об этой разработке 28 ноября на конференции AI Journey расскажет руководитель департамента фундаментальных исследований MWS AI Стаматис Лефкиммиатис.

Код CoSpaDi может быть полезен организациям, которые запускают большие языковые модели на оборудовании с ограниченным объёмом памяти и не имеют возможности расширить парк устройств. Уменьшенные таким образом модели могут использоваться, например, в корпоративных помощниках и сервисах анализа документов. Опубликованный код позволит разработчикам и исследователям применить CoSpaDi для работы моделей, которые используются в их продуктах и разработках, а также протестировать в собственных экспериментах.


Два подхода к компактному представлению весов нейросети: низкоранговое разложение и CoSpaDi 

Метод направлен на решение одной из актуальных задач индустрии ИИ — снижение требований нейросетей к вычислительным ресурсам при сохранении качества их работы. CoSpaDi предполагает более компактное хранение весов – параметров, от которых зависят результаты работы нейросети. Их представляют через комбинации малого числа компонент из специально подобранного набора — словаря. 

«Мы пересмотрели привычный способ сжатия весов модели и предложили более гибкий: для представления каждого столбца матрицы весов подбирается своя комбинация компонентов из общего словаря. На моделях семейства Llama и Qwen размером от 0.6 до 14 млрд параметров при сжатии на 20–40% CoSpaDi показал в среднем более высокую точность ответов, чем популярный SVD-LLM — метод на основе низкорангового приближения. Для бизнеса такие результаты открывают возможность развертывать модели в своем контуре или контуре заказчика с меньшими затратами на инфраструктуру, либо обслуживать больше пользователей одновременно на имеющемся оборудовании. Подход также позволяет ускорять работу моделей — масштаб ускорения зависит от оборудования и программной реализации. Эта работа стала отправной точкой для создания серии других наших методов, которые также можно применять к нейросетям для работы с изображениями и аудио», — поясняет Денис Махов, ведущий разработчик департамента фундаментальных исследований MWS AI.

Научная работа с описанием разработки опубликована в материалах ведущей международной конференции по обработке естественного языка EMNLP 2026, прошедшей в Будапеште. 

Код CoSpaDi опубликован на GitHub, статья о работе метода доступна на сайте конференции.

Новости
Главное за последнее время
Смотреть все
Технологии
MWS AI выпустила модуль для создания ИИ-агентов по текстовому описанию
Исследования
MWS AI открыла доступ к новому инструменту сжатия больших языковых моделей
Новости команды
МТС Web Services полностью импортозаместила иностранные решения для разметки данных собственной платформой
Решения
MWS AI вывела на внешний рынок комплексное ИИ-решение для автоматизации контакт-центров
Исследования
Работы исследователей MWS AI вошли в программу EMNLP 2026
Партнерства
MWS AI и ГК Luxms заключили соглашение о сотрудничестве в сфере искусственного интеллекта
Технологии
MWS AI выпустила универсального ИИ-агента для решения офисных задач в периметре компании
Новости команды
MWS AI обновила ИИ-агента в WordPulse: он точнее отвечает на вопросы и анализирует втрое больше диалогов
Новости команды
MWS AI научила платформу ИИ-агентов читать сканы, запоминать правила компании и помогать в создании агентов
Новости команды
MWS AI открыла собственный инструмент для оценки моделей распознавания речи
Решения
MWS AI выпустила ИИ-агента для анализа клиентских коммуникаций