Научные работы исследователей MWS AI (входит в МТС Web Services) вошли в программу международной конференции EMNLP 2026, одной из ведущих мировых конференций по технологиям обработки естественного языка и языковому искусственному интеллекту. Конференция прошла в Венгрии с 24 по 29 октября. Работы посвящены сжатию больших языковых моделей, повышению надежности ИИ-агентов, более точному извлечению информации из текста и адаптации нейросетевых моделей синтеза речи к новым языкам.
Метод CoSpaDi позволяет уменьшать размер уже обученных больших языковых моделей без дополнительного обучения. При сжатии часть информации о весах модели неизбежно теряется, поэтому важно уменьшить ее объем так, чтобы как можно меньше пострадало качество. CoSpaDi позволяет гибко сжимать веса модели: для разных частей матрицы используются разные компактные комбинации базовых элементов. В экспериментах на моделях Llama и Qwen при сжатии на 20–40% подход позволял лучше сохранить качество по сравнению с рядом других исследуемых методов.
Такой подход потенциально может быть полезен при развертывании больших моделей в тех случаях, когда объем доступной памяти и вычислительные ресурсы ограничены. Например, он может помочь снизить требования к инфраструктуре при запуске моделей на собственных серверах. CoSpaDi также совместим с квантованием после обучения, поэтому его можно сочетать с другими способами уменьшения размера модели.
Еще одна работа, DiffIE, посвящена извлечению фактов из текста. Метод позволяет находить несколько корректных фактов в одном предложении: для этого модель запускают несколько раз, а затем объединяют найденные варианты. Такой подход помогает полнее извлекать информацию из сложных текстов. На одном из стандартных бенчмарков для извлечения информации — CaRB (1-1) — DiffIE показал лучший результат среди сравниваемых методов по точности и полноте извлечения фактов. На другом бенчмарке — BenchIE — метод также превзошел один из известных базовых подходов, ClausIE.
В другой работе исследователи предложили Speculative Uncertainty — способ заранее оценивать вероятность ошибки ИИ-агента в задачах программирования. Небольшая дополнительная модель анализирует уже сформированный агентом ход решения и оценивает риск ошибки до выполнения следующего действия. Подход не требует доступа к внутренним параметрам основной модели и может использоваться, например, чтобы остановить потенциально неудачное действие, передать задачу человеку или выделить агенту дополнительные вычисления. В экспериментах с агентами на базе Qwen3-Coder-480B и Claude 3.5 Sonnet такой механизм снизил долю ошибок при выполнении действий на 6–8 процентных пунктов, а расход токенов — на 14–19%. Авторы также показали, что подход переносится на другие тесты без дополнительного переобучения и работает с разными агентными моделями.
Другая работа, SEAM, посвящена адаптации нейросетевых моделей синтеза речи к новым языкам при дефиците данных. Подход позволяет модели использовать уже накопленные знания вместо того, чтобы с нуля осваивать звуковые элементы нового языка. За счет этого для дообучения требуется меньше эталонных примеров «текст — аудиозапись». В экспериментах на русском, казахском и французском языках SEAM позволил сохранить сопоставимое качество синтеза речи, сократив объем обучающих аудиоданных с 100 до 25 часов — почти в четыре раза.
Работы команды были приняты в разные треки EMNLP 2026: DiffIE — в основную программу, исследование Speculative Uncertainty — в Industry Track, CoSpaDi и SEAM — в Findings. Конференция прошла с 24 по 29 октября в Будапеште.
