В этом выпуске #ВобъективеИИ поговорим о трансцендентности генеративных моделей, улучшении малых LLM, ИИ-лидерстве Китая и изобретении японских ученых, позволившем роботам улыбаться. Ну и напоследок расскажем о планах российских медиков подключить нейросети к борьбе с онкологическими заболеваниями.
AI-focused digest – новости ИИ-сферы
Выпуск №45, 27 июня — 11 июля 2024
Ученые выяснили, как можно достичь трансцендентности генеративных моделей
Ученые из Гарварда при содействии коллег из Калифорнийского университета в Санта-Барбаре, Принстона, Apple и Google DeepMind нашли способ, как обучить генеративные модели так, чтобы они превосходили людей-экспертов, которые генерировали данные для их обучения. Это превосходство ученые называют трансцендентностью. В своем исследовании на примере модели, обученной игре в шахматы, они экспериментально подтвердили, что достичь трансцендентности возможно благодаря подходу к отбору обучающих данных, называемому низкотемпературной выборкой. По сути низкотемпературная выборка ведет к шумоподавлению в данных (снижению влияния ошибочных ходов шахматистов), что увеличивает вероятность выбора наиболее эффективных решений (в случае с шахматами — ходов). За счет этого модель и может «превзойти» людей, на данных которых обучалась, и это теоретически может быть применимо не только к шахматам. Однако о сверхчеловеческом ИИ, пожалуй, заявлять рановато, считают эксперты. Трансцендентность в этих экспериментах ученых возникает за счет снижения влияния человеческих ошибок при обучении модели, что не доказывает, что модель может развить новое абстрактное мышление и прийти к решениям, недоступным людям.
В Meta AI* нашли способ улучшить работу LLM с малым числом параметров
Исследователи из лаборатории Meta AI* (принадлежит компании Meta Platforms, признанной экстремистской и запрещенной в РФ) работают над большими языковыми моделями, которые могут быть развернуты на смартфонах и других мобильных устройствах с ограниченными вычислительными ресурсами. Речь идет о моделях с менее чем одним миллиардом параметров, тогда как в LLM типа GPT-4, по некоторым оценкам, их около триллиона. В научной статье, посвященной разрабатываемому в Meta AI* семейству моделей MobileLLM, ученые описали некоторые особенности дизайна, которые положительно влияют на точность и производительность моделей с малым числом параметров. Если коротко, то речь идет о том, что более глубокие нейросети, конкретно – трансформеры, показывают лучшее качество, чем широкие с тем же количеством весов. Дополнительно в MobileLLM используют модификацию механизма внимания под названием Grouped-Query Attention, а также совместного использования весов векторных представлений (Embedding Sharing), причем для конкретно последовательных слоев. Такой подход, пишут ученые, позволяет добиться улучшения точности работы малых моделей в целом ряде контрольных задач. За подробностями — сюда.
*Meta AI принадлежит компании Meta Platforms, признанной экстремистской и запрещенной в РФ.
Китай лидирует по уровню освоения генеративного ИИ
Недавний опрос американской компании SAS и Coleman Parkes Research показал, что по уровню освоения технологий генеративного искусственного интеллекта Китай впереди планеты всей. Об этом пишет информационное агентство Reuters. Более 80% респондентов из Поднебесной заявили, что их компании уже используют генеративный ИИ, тогда как в США таких оказалось лишь 65%. Средний же по миру уровень освоения технологии — 54%. Всего в опросе участвовали более 1600 человек — это те, кто принимает решения в таких отраслях, как банковское дело, страхование, здравоохранение, телекоммуникации, производство, розничная торговля и энергетика. Кстати, по данным ООН Китай также оказался лидером по количеству патентов в области генеративного ИИ — запросов на их выдачу у китайцев в 6 раз больше, чем у США, сообщает агентство.
В Японии придумали, как прикрепить кожу к конструкции робота и научить его улыбаться
Несколько слов о достижениях в биогибридной робототехнике. Ученые из Японии создали лицо робота, покрытое живым эквивалентом кожи и способное улыбаться почти как человек. Это стало возможно найденному ими способу прикрепления эквивалента кожи к базовой конструкции робота. Секрет состоит в использовании анкеров перфорационного типа, которые имитируют работу кожных связок человека. Улыбка — только начало, ученые собираются «научить» роботов и другой мимике. Подробности проекта и планы его развития можно узнать из этой статьи в журнале Cell Reports Physical Science.
В России нейросеть подключат к созданию индивидуальных лекарств от рака
В России работают над нейросетью, которая будет помогать врачам создавать лекарственные препараты против онкологических заболеваний индивидуально для каждого пациента. Об этом сообщает РИА «Новости» со ссылкой на директора НИЦ эпидемиологии и микробиологии имени Н. Ф. Гамалеи Александра Гинцбурга. ИИ будет анализировать опухоль пациента и выдавать своего рода «чертеж» вакцины для ее лечения, на основе которого ученые и смогут разработать индивидуальное лекарство для больного. Предполагается, что создание препаратов таким способом будет занимать примерно неделю.
