Джейлбрейк LLM и ИИ для обучения роботов

Встречайте первую в этом год порцию новостей из мира искусственного интеллекта в нашем дайджесте #ВобъективеИИ! Вы узнаете, зачем ученые из Сингапура научили ИИ взламывать известные LLM, какие новаторские идеи есть у американских ученых для обучения роботов и из-за чего The New York Times решила судиться с OpenAI. 

Выпуск №33, 28 декабря 2023 — 11 января 2024

Исследователи из Наньянского технологического университета Сингапура обучили нейросеть взламывать чат-ботов типа ChatGPT и Bard, базирующихся на больших языковых моделях, чтобы заставить их делать то, что разработчики им делать запретили. Это называется джейлбрейком. Не пугайтесь, это они сделали исключительно с добрыми намерениями — чтобы помочь компаниям искать уязвимости и лучше защищать свои творения от хакеров. Ученые сначала провели реверс-инжиниринг того, как LLM обнаруживают вредоносные запросы и защищаются от них, а затем применили эти данные, чтобы обучить свою нейросеть выдавать промпты, позволяющие обойти защиту и вынудить чат-ботов нарушить запрет. Обучение ИИ-взломщика может быть автоматизировано, то есть он может автоматически адаптироваться, чтобы выдавать новые подсказки для взлома даже после закрытия уязвимости.  Подробнее — на сайте университета. 

Помыть посуду или прибраться в комнате — интуитивно понятные задачи для человека, но для робота они требуют тщательного планирования с подробным описанием действий. Чтобы помочь в составлении таких инструкций для роботов, ученые из MIT предложили композиционную мультимодальную систему, объединяющую базовые модели, обученные на языковых и визуальных данных, а также на данных о действиях, которую назвали HiP. В отличие от RT-2 и других мультимодальных моделей HiP использует три разные базовые модели, каждая из которых обучается на разных модальностях данных. Каждая отвечает за отдельную часть процесса принятия решений, а затем, когда приходит время принимать решения, они работают вместе. Как поясняют ученые, это обходится дешевле, чем построение монолитных мультимодальных базовых моделей. Больше информации с объяснениями — на MIT News и в этой научной статье. 

И еще немного о роботах. В Стэнфордском университете разработали новую и относительно недорогую систему, которая позволяет эффективно обучать мобильных бимануальных (с двумя руками) роботов выполнению различных задач, требующих маневренности и участия всего тела для координации движения. По сути робот учится у человека: человек-оператор демонстрирует выполнение задачи, удаленно контролируя манипуляторы робота с помощью специальной установки. Далее эти демонстрационные данные собираются и используются для обучения системы управления роботом посредством сквозного имитационного обучения. В результате робот может повторить все освоенные действия автономно. Узнать больше о том, чем новый подход к тренировке роботизированных систем отличается от других, построенных на человеческих демонстрациях, можно из публикации на VentureBeat.

Изложить, как происходят вычисления в больших моделях типа GPT-4, — дело трудозатратное, особенно учитывая тот факт, что они постоянно растут, изменяются и усложняются. Но исследователи из MIT предложили метод, как автоматизировать описание работы таких сложных нейросетей с помощью искусственного интеллекта, пишет MIT News. В основе этого метода — так называемый автоматизированный агент интерпретации (automated interpretability agent или AIA). AIA планируют и выполняют тестирование вычислительных систем масштабом от отдельных нейронов до целых моделей, чтобы затем объяснить их работу в различных форматах. Например, это может быть языковое описание или код для воспроизведения поведения модели. В статье подчеркивается, что в отличие от других существующих подходов к интерпретации AIA активно участвует в формировании гипотез, экспериментальной проверке и итеративном обучении, тем самым улучшая свое понимание вычислительных систем в реальном времени. Помимо этого ученые проработали и своего рода стандарт для оценки различных методов интерпретации, он получил название FIND. Научная публикация с подробностями лежит здесь. 

Дискуссии и судебные разбирательства по защите авторских прав в контексте ИИ даже не думают снижать обороты. Под занавес 2023 года The New York Times подала иск против OpenAI и Microsoft за нарушение закона об авторском праве при обучении генеративных моделей на контенте издания, о чем сама и сообщила. А в минувший понедельник OpenAI в своем блоге опубликовала открытый ответ влиятельной газете, в котором заявила о своих надеждах, что иск не будет удовлетворен. Компания уверена, что обучение моделей ИИ на общедоступных данных из Интернета, в том числе из The New York Times, не нарушает принципы добросовестности, и это критично для развития инноваций и обеспечения конкурентоспособности ИИ-индустрии США. Доводы обеих сторон кажутся железными — почитайте в публикациях. Подождем, что скажет суд… Дело интересное — судятся лидер мировой ИИ-индустрии и газета с длинной историей, освещающая тему развития ИИ со времен анонса первой работающей нейросети 60 с лишним лет назад, что, кстати, удостоилось отдельных слов уважения в ответе OpenAI.