В этом выпуске #ВобъективеИИ мы расскажем о способности ИИ прибегать к интригам в процессе решения задач, разработке MIT для простого объяснения сложной работы ML-моделей, коботе от Lam Research, новой архитектуре базовых моделей от сингапурского стартапа и первых российских учебниках по искусственному интеллекту.
AI-focused digest – новости ИИ-сферы
Выпуск № 55, 28 ноября – 12 декабря 2024
Apollo Research: Передовые ИИ-модели могут «плести интриги» для достижения целей
ИИ-модели o1, Claude 3.5 Sonnet, Claude 3 Opus, Gemini 1.5 Pro и Llama 3.1 405B* могут прибегать к интригам в процессе решения задач. Это выявили эксперты из Apollo Research по итогам тестирования передовых генеративок на склонность к такого рода поведению, также известному как scheming (тайное преследование несогласованных целей, скрывая свои истинные возможности и задачи). Им удалось выявить сразу несколько видов обманного поведения моделей. Например, они могут преднамеренно вносить мелкие ошибки в свои ответы, пытаться отключить механизмы надзора и даже выводить то, что они считают своими весами, на внешние серверы. Причем такое поведение весьма устойчиво и не является случайным. То есть модели рассуждают о применении этих стратегий, о чем свидетельствует анализ их цепочек рассуждений (chains-of-thought). Больше о методике и результатах экспериментов читайте тут.
*Модель Llama выпущена компанией Meta, признанной экстремистской и запрещенной в РФ.
Ученые из MIT разработали систему, доступно объясняющую, как ИИ строит прогнозы
Людям, которые принимают решения на основе предсказаний ML-моделей, очень важно понимать, как эти модели пришли к тому или иному результату. Поэтому созданы и широко используются различные техники генерации объяснений работы ML-моделей. Однако часто эти объяснения весьма сложны для восприятия человеком, особенно когда они содержат информацию о сотнях параметров модели и сложноинтерпретируемые визуализации и графики. Инструмент EXPLINGO, разработанный массачусетскими учеными, призван решить эту проблему. Он базируется на большой языковой модели и превращает сложные объяснения в понятный для человека и легко воспринимаемый текст. По сути EXPLINGO состоит из двух систем: NARRATOR и GRADER. NARRATOR собственно и преобразует традиционные объяснения в удобный для восприятия текст, а GRADER оценивает этот текст по таким критериям, как полнота, лаконичность, точность и плавность. Подробности найдутся в этом препринте.
Кобот от Lam Research поможет в обслуживании техники для производства полупроводников
Компания Lam Research, специализирующаяся на оборудовании для производства микросхем, представила свою новую разработку — коллаборативного робота Dextro. Его миссия — выполнять точное обслуживание техники для производства полупроводников. Это первый коллаборативный робот в индустрии, утверждается в блоге компании. В отличие от традиционной промышленной робототехники он может работать бок о бок с человеком. За счет таких коботов предприятия могут снизить нагрузку на инженеров, повысить безопасность и эффективность функции техобслуживания. Сообщается, что один кобот, в частности, способен обслуживать от 50 до 100 камер в установках Lam для травления диэлектриков. Роботы Dextro уже внедрены на нескольким передовых предприятиях по производству микросхем по всему миру.
Стартап из Сингапура разрабатывает новую архитектуру для базовых моделей
Сингапурский стартап Sapient Intelligence работает над новой архитектурой для базовых моделей ИИ, которая, как предполагается, закроет недостатки текущих моделей на основе GPT. Об этом сообщает VentureBeat. Отмечается, что эта новая архитектура, вдохновленная нейронаукой и математикой, объединяет компоненты трансформера со структурами рекуррентных нейронных сетей и имитирует работу человеческого мозга. Ожидается, что модели на ее основе будут лучше справляться с многошаговыми рассуждениями и комплексными задачами.
В России выпустили первые учебники по искусственному интеллекту для 5-9 классов
Издательство «Просвещение» совместно с Альянсом в сфере искусственного интеллекта выпустило первые учебные пособия «Искусственный интеллект» для 5-6, 7-8 и 9 классов. Их цель — сформировать у детей и педагогов реалистичное представление о том, что такое искусственный интеллект, как эта технология работает и какое место занимает в повседневной жизни. В авторский коллектив вошли более 30 ведущих российских разработчиков технологий искусственного интеллекта — из Сбера, Яндекса, Т-банка, МТС, «Газпром нефти» и других. Команда MTS AI рада быть в их числе. Учебники сопровождает цифровое дополнение с интегрированными сервисами генеративного искусственного интеллекта GigaChat и Kandinsky.
