Слово года и математические открытия LLM

В предновогоднем выпуске дайджеста #ВобъективеИИ мы расскажем о синаптическом транзисторе, не требующем криогенных температур, и разработке от Google DeepMind, позволившей сделать первое математическое открытие с помощью LLM. А еще вы узнаете о слове года от «Грамота.ру», прогнозах по ИИ от Стэнфордского университета и LLM от Apple с открытым исходным кодом. 

Выпуск №32, 14-28 декабря 2023

Ученые из Северо-Западного университета, Бостонского колледжа и MIT разработали новый синаптический транзистор, способный одновременно хранить и обрабатывать информацию — как человеческий мозг. Это на несколько порядков энергоэффективнее, чем гонять данные между микропроцессором и памятью туда и обратно, как это сделано в обычных вычислительных системах, где обработка и хранение происходят отдельно. Идея нейроморфных вычислений в общем-то не совсем нова. Однако предыдущие разработки, как утверждают ученые, не могли функционировать вне криогенных температур. Их же изобретение стабильно работает при комнатной температуре — с высокой скоростью вычислений, меньшим потреблением энергии и возможностью сохранять данные даже при потере питания. Добиться этого помогли последние достижения в физике муаровых узоров. Это тип геометрического дизайна, когда два узора накладываются друг на друга. «При складывании друг на друга двумерных материалов появляются новые свойства, которые не существуют только в одном слое. Когда эти слои скручиваются, формируя муаровый узор, становится возможной беспрецедентная настройка электронных свойств», — поясняется в публикации Северо-Западного университета. Добиться эффективной работы транзистора при комнатной температуре удалось за счет комбинации двухслойного графена и гексагонального нитрида бора. Научно об изобретении рассказано в Nature, а чуть проще — на сайте Северо-Западного университета.

Исследователи из Google DeepMind разработали метод, который позволил применить LLM для совершения научных открытий в математике и информатике, сообщается на сайте разработчика. Дело в том, что большие языковые модели периодически склонны к конфабуляциям или галлюцинациям, из-за чего они могут делать правдоподобные, но в корне неверные утверждения. Это значительное ограничение для применения их в науке. Метод FunSearch, предложенный Google DeepMind, это ограничение позволяет обрулить за счет комбинации LLM с автоматическим оценщиком. То есть сначала предварительно обученная языковая модель генерирует новые решения для тех или иных задач и представляет их в виде компьютерного кода, а затем оценщик отсеивает любые решения с намеком на конфабуляции. Путем чередования этих двух компонентов первоначальные решения и превращаются в новые знания. Исследователи применили FunSearch к проблеме предельного множества и с ходу обнаружили новые решения для этой давней задачи комбинаторики. По сути это первое математическое открытие, сделанное LLM. Вот статья в Nature (пока еще неотредактированная), в которой можно найти научные подробности. 

Портал «Грамота.ру» впервые провел собственную акцию «Слово года» и назначил главным словом уходящего 2023 года на русском языке «нейросеть». Выбор был сделан на основе анализа данных, частотности запросов и оценки экспертов. Ближайшими конкурентами стали «джипити» (GPT), «база» и «возвращенцы». «Грамота.ру» пишет, что в последнее время слово «нейросеть» получило широкое распространение и уже даже обросло уменьшительными формами и другими производными, но до сих пор не вошло в нормативные словари. При этом в бытовом смысле оно стало использоваться для именования той стороны ИИ, которая обращена к людям. То есть нейросеть воспринимается как живое существо, которое можно учить и с которым можно коммуницировать. Больше интересных фактов о слове года здесь. Кстати, на английском языке слова года тоже были выбраны из сферы искусственного интеллекта. У Collins Dictionary это AI, а у Cambridge Dictionary — hallucinate (галлюцинировать), что в применении к ИИ означает производить ложную/ошибочную информацию. 

Преподаватели и научные сотрудники Стэнфордского университета под конец года опубликовали свои ожидания на 2024 год касательно развития и влияния искусственного интеллекта. В частности, прогнозируется появление новых мультимодальных моделей для генерации видео и, как следствие, распространение дипфейков, особенно в период предвыборных кампаний. А еще ученые предвидят дефицит графических процессоров, что однако может подстегнуть разработку новаторских аппаратных решений, которые дешевле и проще в изготовлении. Ну и разговоры о том, как регулировать ИИ, еще долго будут актуальны. Все прогнозы собраны здесь. 

И напоследок новость, которую мы упустили. Впрочем, не только мы… Еще в октябре Apple (почти незаметно для ИИ-сообщества) совместно с Колумбийским университетом выпустила мультимодальную языковую модель под названием Ferret с открытым исходным кодом, сообщает VentureBeat. Пока модель доступна только для исследователей. То есть славящаяся закрытостью своих разработок компания присоединилась к открытому ИИ.

VentureBeat отмечает, что многие участники ИИ-сообщества пусть запоздало, но отпраздновали неожиданное вступление Apple в сферу open source LLM. В частности, приводится пост технического блогера Бена Диксона, в котором он сообщает, что для него это неожиданность года. Правда потом эксперт поясняет, что для Apple выход на рынок LLM с моделью с открытым исходным кодом имеет смысл. «Чтобы конкурировать с моделями типа ChatGPT, вам нужно либо быть гиперскейлером, либо сотрудничать с кем-нибудь из таковых. У Apple может быть много ресурсов, но инфраструктура компании не создана для обслуживания LLM в больших масштабах. Альтернатива — стать зависимым от поставщика облачных услуг, такого как Microsoft или Google (оба заклятые враги), или начать выпускать собственные модели с открытым исходным кодом в стиле Meta*», — приводит его слова VentureBeat. Кстати, вам может быть интересно почитать еще одну статью на этом портале — о последних прорывных ИИ-разработках Apple.  

*Meta признана экстремистской организацией и запрещена в РФ.