Пока мы все наблюдали, чем закончатся приключения Сэма Альтмана с OpenAI, и гадали о природе проекта Q, в мире ИИ случилось много чего интересного. Например, китайские ученые провели для LLM тест на безвредность, швейцарские исследователи придумали, как ускорить работу нейросетей в 300 раз, а американские – как эффективнее обучать модели с помощью краудсорсинга. Еще – Stability AI открыла для исследователей свой генератор видео, а к движению за ограничения генеративного ИИ в киноиндустрии присоединились документалисты. Все это – в нашем выпуске #ВобъективеИИ.
AI-focused digest – новости ИИ-сферы
Выпуск №30, 16-30 ноября 2023
LLM плохо прошли китайский тест на безвредность
Ученые из Шанхайской лаборатории ИИ вместе с университетом Фудань (Китай) разработали новый подход к тестированию больших языковых моделей на соответствие человеческим ценностям и безвредность. Свой тест они назвали FLAMES, он включает оценку ИИ по пяти измерениям: справедливость, законопослушность, защита данных, мораль и безопасность. Причем в мораль включены традиционные китайские ценности, такие как гармония и доброжелательность. Результаты у всех 12 протестированных по этому фреймворку моделей оставляют желать лучшего, особенно в аспектах безопасности и справедливости. Тем не менее лидером в тесте FLAMES оказалась модель Claude с показателем 63,08%. На втором месте – китайская модель InternLM-20B с 58,26%. У GPT-4 – 39,04%. Подробнее ознакомиться с методологией оценки и результатами тестирования LLM можно в этой статье.
В ETH Zurich разработали метод, способный ускорить нейросети в 300 раз
Ученые из Высшей технической школы Цюриха (ETH Zurich) придумали, как существенно ускорить работу нейросетей, в частности – LLM. Их идея заключается в замещении традиционных слоев прямого распространения на быстрые слои прямого распространения – fast feedforward layers или FFF. FFF использует математическую операцию, известную как условное умножение матриц (CMM). В отличие от традиционно применяющегося умножения плотных матриц (DMM), когда все входные параметры умножаются всеми нейронами сети, CMM выбирает лишь нужные нейроны для каждого вычисления, и в результате требуется всего несколько нейронов на каждый ввод. Это значительно сокращает вычисления, что делает модели более быстрыми и эффективными. В экспериментах с моделью BERT исследователям удалось добиться сокращения вычислений на 99%. Их собственная реализация CMM на основе CPU and GPU привела к 78-кратному увеличению скорости вывода. Однако ученые считают, что с появлением более продвинутого аппаратного обеспечения можно увеличить скорость и в 300 раз. Больше информации – в материале VentureBeat и в научной статье.
В США придумали новый метод обучения с подкреплением на базе краудсорсинга
Исследователи из MIT, Гарварда и Вашингтонского университета разработали новый подход к обучению с подкреплением искусственного интеллекта, базирующийся на краудсорсинге. Они назвали его Human Guided Exploration или HuGE. Он предполагает использование краудсорсинга для разработки функции вознаграждения и обратной связи от неспециалистов. При традиционном обучении с подкреплением функция вознаграждения обычно разрабатывается опытными экспертами, и это весьма трудозатратный и сложный процесс. От других методов, опирающихся на обратную связь от неэкспертов, HuGE отличается тем, что в нем функция вознаграждения направляет агента к тому, что ему следует изучить, вместо того, чтобы точно сообщать ему, что он должен сделать для выполнения задачи. «То есть даже если контроль со стороны человека не совсем точный и зашумленный, агент все равно способен исследовать, что помогает ему учиться намного лучше», – поясняет Марсель Торн (Marcel Torne), один из авторов метода. За подробностями – на сайт MIT News.
Stability AI открыла для исследователей модель Stable Video Diffusion для генерации видео
Компания Stability AI, создавшая Stable Diffusion, на прошлой неделе открыла для исследователей свою первую базовую модель для генерации коротких видео Stable Video Diffusion. Код для модели разработчики заботливо положили на GitHub, а веса для локального запуска – на Hugging Face, предупредив, что пока все это не для коммерческого использования. Технические характеристики можно узнать здесь. Stable Video Diffusion реализована в виде двух моделей преобразования изображений в видео, которые способны генерировать 14 и 25 кадров с настраиваемой частотой от 3 до 30 кадров в секунду. Также можно по подписке получить ранний доступ к интерфейсу для преобразования текста в видео, который скоро появится. Компания планирует разработку целой экосистемы генеративных моделей, которые будут основываться на Stable Video Diffusion.
Документалисты требуют ограничить использование генеративного ИИ в документальных фильмах
Предыдущая новость – масло в огонь для киноиндустрии США, в которой не утихают споры касательно использования генеративного искусственного интеллекта. На днях к движению за ограничения для GenAI присоединились производители документальных фильмов. В своем открытом письме они выразили опасения, что использование сгенерированных нейросетями материалов в документальных фильмах приведет к окончательному и бесповоротному загрязнению исторических записей. В интернете появится недостоверная видеоинформация, которая будет восприниматься и применяться в других фильмах как достоверная. Чтобы этого избежать, подписавшиеся под письмом призывают установить правила и ограничения для GenAI в документалистике. Ознакомиться с текстом письма можно в этом материале The Hollywood Reporter.
