Трансцендентность ИИ-моделей и улыбка робота

fgfg Picture

В этом выпуске #ВобъективеИИ поговорим о трансцендентности генеративных моделей, улучшении малых LLM, ИИ-лидерстве Китая и изобретении японских ученых, позволившем роботам улыбаться. Ну и напоследок расскажем о планах российских медиков подключить нейросети к борьбе с онкологическими заболеваниями.

AI-focused digest – новости ИИ-сферы

Выпуск №45, 27 июня — 11 июля 2024

Ученые выяснили, как можно достичь трансцендентности генеративных моделей

Ученые из Гарварда при содействии коллег из Калифорнийского университета в Санта-Барбаре, Принстона, Apple и Google DeepMind нашли способ, как обучить генеративные модели так, чтобы они превосходили людей-экспертов, которые генерировали данные для их обучения. Это превосходство ученые называют трансцендентностью. В своем исследовании на примере модели, обученной игре в шахматы, они экспериментально подтвердили, что достичь трансцендентности возможно благодаря подходу к отбору обучающих данных, называемому низкотемпературной выборкой. По сути низкотемпературная выборка ведет к шумоподавлению в данных (снижению влияния ошибочных ходов шахматистов), что увеличивает вероятность выбора наиболее эффективных решений (в случае с шахматами — ходов). За счет этого модель и может «превзойти» людей, на данных которых обучалась, и это теоретически может быть применимо не только к шахматам. Однако о сверхчеловеческом ИИ, пожалуй, заявлять рановато, считают эксперты. Трансцендентность в этих экспериментах ученых возникает за счет снижения влияния человеческих ошибок при обучении модели, что не доказывает, что модель может развить новое абстрактное мышление и прийти к решениям, недоступным людям. 

В Meta AI* нашли способ улучшить работу LLM с малым числом параметров

Исследователи из лаборатории Meta AI* (принадлежит компании Meta Platforms, признанной экстремистской и запрещенной в РФ) работают над большими языковыми моделями, которые могут быть развернуты на смартфонах и других мобильных устройствах с ограниченными вычислительными ресурсами. Речь идет о моделях с менее чем одним миллиардом параметров, тогда как в LLM типа GPT-4, по некоторым оценкам, их около триллиона. В научной статье, посвященной разрабатываемому в Meta AI* семейству моделей MobileLLM, ученые описали некоторые особенности дизайна, которые положительно влияют на точность и производительность моделей с малым числом параметров. Если коротко, то речь идет о том, что более глубокие нейросети, конкретно – трансформеры, показывают лучшее качество, чем широкие с тем же количеством весов. Дополнительно в MobileLLM используют модификацию механизма внимания под названием Grouped-Query Attention, а также совместного использования весов векторных представлений (Embedding Sharing), причем для конкретно последовательных слоев. Такой подход, пишут ученые, позволяет добиться улучшения точности работы малых моделей в целом ряде контрольных задач. За подробностями — сюда

*Meta AI принадлежит компании Meta Platforms, признанной экстремистской и запрещенной в РФ.

Китай лидирует по уровню освоения генеративного ИИ

Недавний опрос американской компании SAS и Coleman Parkes Research показал, что по уровню освоения технологий генеративного искусственного интеллекта Китай впереди планеты всей. Об этом пишет информационное агентство Reuters. Более 80% респондентов из Поднебесной заявили, что их компании уже используют генеративный ИИ, тогда как в США таких оказалось лишь 65%. Средний же по миру уровень освоения технологии  — 54%.  Всего в опросе участвовали более 1600 человек — это те, кто принимает решения в таких отраслях, как банковское дело, страхование, здравоохранение, телекоммуникации, производство, розничная торговля и энергетика. Кстати, по данным ООН Китай также оказался лидером по количеству патентов в области генеративного ИИ — запросов на их выдачу у китайцев в 6 раз больше, чем у США, сообщает агентство.  

В Японии придумали, как прикрепить кожу к конструкции робота и научить его улыбаться

Несколько слов о достижениях в биогибридной робототехнике. Ученые из Японии создали лицо робота, покрытое живым эквивалентом кожи и способное улыбаться почти как человек. Это стало возможно найденному ими способу прикрепления эквивалента кожи к базовой конструкции робота. Секрет состоит в использовании анкеров перфорационного типа, которые имитируют работу кожных связок человека. Улыбка — только начало, ученые собираются «научить» роботов и другой мимике. Подробности проекта и планы его развития можно узнать из этой статьи в журнале Cell Reports Physical Science. 

В России нейросеть подключат к созданию индивидуальных лекарств от рака

В России работают над нейросетью, которая будет помогать врачам создавать лекарственные препараты против онкологических заболеваний индивидуально для каждого пациента. Об этом сообщает РИА «Новости» со ссылкой на директора НИЦ эпидемиологии и микробиологии имени Н. Ф. Гамалеи Александра Гинцбурга. ИИ будет анализировать опухоль пациента и выдавать своего рода «чертеж» вакцины для ее лечения, на основе которого ученые и смогут разработать индивидуальное лекарство для больного. Предполагается, что создание препаратов таким способом будет занимать примерно неделю. 

Новости
Главное за последнее время
Смотреть все
События
Вебинар «Биометрические сервисы в реалиях 572-ФЗ». 23 октября онлайн
События
Вебинар: как с помощью ИИ защитить бизнес и репутацию от дипфейков
События
Вебинар: разговор на языке данных
ВобъективеИИ
Предсказания Маска и конкуренция на ИИ-поле
Новости команды
MTS AI подписала декларацию об ответственной разработке генеративного ИИ
ВобъективеИИ
Надежность LLM и альтернатива лидарам
События
FINOPOLIS 2024. 16-18 октября Сочи
События
AI Journey 2024. Ноябрь Москва
ВобъективеИИ
ИИ в науке и Кэмерон в Stability AI
Технологии
MTS AI научила Cotype Lite общаться на татарском языке
Решения
Система умного поиска по базам данных от MTS AI
ВобъективеИИ
Китайская версия Д.Ж.А.Р.В.И.С. и Agentic AI
Технологии
Нейросети MTS AI научились синтезировать эмоции
Технологии
MTS AI представила Cotype PRO