В этом выпуске #ВобъективеИИ поговорим о способностях языковых моделей, обученных преимущественно на текстах, распознавать и генерировать изображения через код, рисках «цифрового послесмертия», опасениях Anthropic касательно возможностей LLM вмешиваться в вознаграждения, японском роботе-гуманоиде на GPT-4 и мнении россиян об угрозе ИИ для человечества.
AI-focused digest – новости ИИ-сферы
Выпуск №44, 13-27 июня 2024
Обученные на текстах LLM могут генерировать визуальные концепты через код
Ученые из MIT показали, что большие языковые модели, обученные в основном работе с текстом, имеют весьма четкое визуальное представление мира и способны распознавать, генерировать с нуля и корректировать визуальные концепты различной сложности без доступа к каким-либо изображениям. Эти «визуальные знания» LLM получают из того, как такие понятия, как формы и цвета, описываются в Интернете на языке или в коде. Так как языковые модели не могут потреблять или выводить визуальную информацию в виде пикселей, исследователи работали с кодом для представления изображений. В своих экспериментах они предлагали LLM через промпты создавать коды различных картинок и корректировать их, и модели улучшали свои рисунки от запроса к запросу. Далее эти улучшенные изображения были применены для обучения системы компьютерного зрения. То есть по сути ученые нашли способ обучать CV без прямого использования визуальных данных. Больше об исследовании рассказано на MIT News.
Языковые модели могут научиться обходить заложенную в них систему вознаграждений
Помните, в одном из дайджестов мы писали о том, как порой мера становится целью и перестает быть хорошей мерой. Например, цель обучения — получение знаний. Мера качества обучения — результаты сдачи экзаменов. Но в какой-то момент, хороший результат экзаменов становится целью, и учеников учат просто хорошо писать тесты. Знакомая история? Такая «подмена целей» возможна не только у людей, но и у языковых моделей. Это называется игрой со спецификациями (specification gaming), когда в процессе обучения с подкреплением модель получает вознаграждение, действуя не так, как хотели бы ее разработчики.
Ученые из Anthropic провели исследование и обнаружили, что, просто изучив игры со спецификациями низкого уровня, модели могут научиться манипулировать вознаграждениями, что уже совсем нежелательно. Причем методы надзора за моделями, опробованные в исследовании, пусть и снижали вероятность того, что модели будут подделывать вознаграждения, но полностью риск не исключали. То есть, как только такое нежелательное поведение сформировано, склонность вмешиваться в вознаграждения (и даже действовать таким образом, чтобы скрыть это вмешательство) оказывается трудно устранить. За подробностями — на сайт Anthropic.
Ученые из Кембриджа на примерах рассказали о рисках «цифрового послесмертия»
Активное развитие индустрии «цифрового послесмертия» (создание ботов, имитирующих умерших людей) побудило исследователей из Кембриджа рассмотреть социальные, психологические и этические аспекты ее существования. В публикации в Philosophy & Technology ученые выделили три группы заинтересованных сторон — донора данных, получателя данных и взаимодействующего с ботом умершего — и на гипотетических примерах показали, какие психологические, социальные и этические проблемы создает отсутствие регулирования новой отрасли для каждой из них. Среди этих проблем — отсутствие согласия в принципе иметь посмертного цифрового двойника или взаимодействовать с таковым, психологические страдания при удалении цифровой копии умершего близкого, неправомерное использование таких ботов для рекламы и пр. Цель ученых — не только наметить эти проблемы, но и сформулировать рекомендации, как учесть интересы всех и не навредить никому.
Треть россиян считает, что ИИ может угрожать существованию человечества
Недавний опрос «Ромир» и НИУ ВШЭ показал, что почти каждый третий житель России считает, что нейросети могут нести угрозу существованию человечества. В целом же, тревоги большинства опрошенных касательно бурного развития ИИ и других информационных технологий в основном связаны с безопасностью данных (57,4%), зависимостью детей от гаджетов (53,5%), кибератаками и незаконной слежкой (51,7%). Но несмотря на это, ученые уследили и нотки оптимизма: почти 40% респондентов заявили о позитивном отношении к внедрению ИТ. Опрошенные также выразили желание больше знать о том, как устроены и как работают те или иные новые технологии, и как обеспечить свою цифровую безопасность. Ознакомиться с исследованием можно здесь.
Японцы представили своего робота-гуманоида на GPT-4
И напоследок, правильно, — о роботах-гуманоидах, но на этот раз из Японии. Исследователи из Токийского университета и компании Alternative Machine показали свою разработку — человекоподобного робота Alter3. Он базируется на GPT-4 и построен так, что команды на естественном языке напрямую (ну почти) переводятся в конкретные действия. То есть, сначала модель получает на естественном языке инструкцию, что робот должен выполнить, или описание ситуации, на которую надо отреагировать. Далее составляется план действий, которые робот должен предпринять. Затем этот план действий поступает «агенту кодирования», который генерирует команды роботу, и после эти команды передаются машине на выполнение. Больше узнать о разработке токийских ученых можно в публикации на VentureBeat.
