В этом выпуске #ВобъективеИИ вы узнаете об инициативе по развитию NLP-инструментов с поддержкой африканских языков, новой ИИ-разработке Общества Макса Планка для проектирования коррозионностойких сплавов, еще одном подходе к дистилляции более экономичных моделей из LLM и технологии невидимых меток для 3D-объектов. А еще мы расскажем о чат-боте для проверки ЕГЭ по английскому языку.
AI-focused digest – новости ИИ-сферы
Выпуск №24, 3-17 августа 2023
Ученые разработали рецепт целевой дистилляции более экономичных моделей из LLM
Группа ученых из Университета Южной Калифорнии и Microsoft представила методику преобразования больших языковых моделей (LLM) типа ChatGPT в меньшие по размеру и более экономичные модели через целевую дистилляцию. Необходимость в новом подходе обусловлена тем, что меньшие модели типа Alpaca и Vicuna, созданные из LLM популярным методом дообучения на инструкциях, хотя и могут до какой-то степени имитировать исходные большие модели, но существенно от них отстают. Это позволяет сделать вывод, что такая дистилляция при ограниченных вычислительных ресурсах способна лишь незначительно приблизить качество меньших моделей к исходной LLM. Для решения этой проблемы ученые предложили рецепт целевой дистилляции, предполагающей дообучение на инструкциях, написанных под конкретную задачу. Для своих исследований они взяли такую фундаментальную задачу NLP, как распознавание именованных сущностей (Named Entity Recognition или NER). Тесты показали, что полученная предложенным методом целевой дистилляции модель UniversalNER достигает впечатляющей точности в распознавании именованных сущностей для десятков тысяч объектов из широкого диапазона предметных областей. Ее результат в среднем на 30 баллов (по F1) выше, чем у обученных с помощью общих инструкций моделей Alpaca и Vicuna. Кроме того, UniversalNER приобретает способности исходной модели ChatGPT в распознавании произвольных типов сущностей и даже на 10 баллов превосходит ее в точности. Подробности в этой статье, а также на сайте проекта.
Общество Макса Планка подключило NLP к проектированию устойчивых к коррозии сплавов
Эксперты одного из научно-исследовательских институтов Общества Макса Планка подружили NLP и глубокое обучение, чтобы расширить возможности проектирования коррозионностойких сплавов. Дело в том, что часто программы на основе ML для этих целей не способны обрабатывать текстовые данные. Как следствие, требуется ручное извлечение числовых параметров из описания обработки сплавов или экспериментов, а это приводит к снижению плотности информации. Чтобы эту проблему решить, ученые предложили подход, который позволяет методами NLP трансформировать текстовые данные в формат, пригодный для обработки глубокой нейронной сетью. Созданное ими ИИ-решение, способное работать как с числовыми, так и с текстовыми данными, повышает точность прогнозирования коррозии на 15% в сравнении с существующими системами, пишет phys.org. Оно также может определять элементы сплавов, имеющие решающее значение для коррозионной стойкости. Важность разработки нельзя недооценивать, потому что ежегодно мировые экономические потери от коррозии превышают 2,5 триллиона долларов США. Подробнее о предложенном методе рассказано на страницах Science Advances.
Ученые намерены подстегнуть развитие NLP с поддержкой африканских языков
Международная группа ученых под эгидой сообщества Masakhane опубликовала исследование, призванное помочь в развитии NLP-технологий для людей, говорящих на африканских языках. Цель благородная, учитывая, что из двух тысяч африканских языков лишь ничтожно малая часть поддерживается современными NLP-продуктами типа Siri, Alexa и ChatGPT. Чтобы исправить эту ситуацию, авторы исследования подробно описали основные группы заинтересованных сторон в этой технологической области и провели глубинные интервью с представителями каждой из группы. Из исследования можно узнать о том, какую роль сегодня играют африканские языки в жизни общества, чем осложняется генерация контента на этих языках, каковы основные барьеры и потребности в формировании NLP-инструментов для работы с африканским контентом и что нужно учитывать при реализации регуляторной функции в области сбора, обработки и хранения данных. Если у вас в планах есть желание поработать над NLP-продуктами для Африки, то это исследование будет прекрасной отправной точкой для понимания общей картины.
В MIT разработали систему невидимых меток для 3D-объектов
Исследователи из лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института на днях рассказали о своей новой разработке — BrightMarker. Это невидимые человеку флуоресцентные метки, которые можно спрятать в напечатанных на 3D-принтере объектах. Исследователи считают, что BrightMarker может стать заменой QR-кодам и, что более важно, улучшить программы виртуальной реальности и решения для отслеживания движения и обнаружения объектов. Особое значение разработка может иметь для индустрии иммерсивных развлечений и промышленности. Для создания метки BrightMarker пользователям 3D-принтера нужно загрузить плагин CSAIL для программ 3D-моделирования типа Blender. Разместив метку в дизайне своего изделия, они могут экспортировать ее как файл STL для 3D-печати. Невидимая метка формируется 3D-принтером из флуоресцентных нитей. Встроить ее в объект можно только на этапе проектирования и изготовления. Считываются такие метки с помощью инфракрасных камер. Соответствующую аппаратуру для смартфонов и VR-гарнитур ученые тоже разработали. В деталях рассказано на новостном сайте института, там же можно скачать научную публикации по этой теме.
В России создали чат-бота на основе ChatGPT для проверки ЕГЭ по английскому языку
Онлайн-школа английского языка Skyeng запустила чат-бот «Skysmart AI ЕГЭ Эксперт» на базе ChatGPT для подготовки школьников к единому государственному экзамену (ЕГЭ) по английскому языку. Чат-бот работает как методист-оценщик ответов учащихся, в том числе устных, и, как утверждает Skyeng, уже справляется с этой задачей на уровне, сопоставимом с профессиональным методистом-человеком. При этом обучение модели продолжается. Пока бот используется для тренировки школьников перед экзаменом, но в перспективе разработчики предлагают сделать его по меньшей мере вспомогательным инструментом для проверки ЕГЭ. Это поможет избежать субъективной оценки ответов школьников. Что по этому поводу думают эксперты Рособрнадзора и другие специалисты в области цифровизации образования, рассказывает газета «Известия».
