В этом выпуске #ВобъективеИИ мы поговорим о функциях активации для нейросетей, новом CV-алгоритме для улучшения астрономических изображений и реакции китайских компаний на призыв приостановить развитие LLM. А в заключении мы порекомендуем пару исследовательских статей, которые помогут лучше понять, чего ждать от стремительного развития языковых моделей.
AI-focused digest – новости ИИ-сферы
Выпуск №15, 23 марта — 6 апреля 2023
Нестандартные функции активации могут повысить точность классификации в нейросетях
Нейронные сети можно спроектировать так, чтобы уменьшить вероятность неправильной классификации входных данных. К такому выводу пришли ученые из MIT в результате исследования бесконечно широких (количество нейронов в слое) и бесконечно глубоких (количество слоев) нейронных сетей, обученных выполнять задачи классификации. Исследователи обнаружили, что в определенных случаях стандартные функции активации, которые часто используются разработчиками при обучении моделей на практике,— не лучший выбор при увеличении глубины сети. В статье, опубликованной на днях в журнале Proceedings of the National Academy of Sciences, ученые рассказывают, как правильный подбор функций активации помогает разработчикам спроектировать сети, точнее классифицирующие данные. Утверждается, что наиболее эффективными могут быть функции, которые раньше никто не использовал в отличие от ReLU или сигмоида, но они при этом достаточно простые и легки в реализации. Еще один эффект этой работы ученых в том, что она подтверждает важность теоретических доказательств. «Если вы стремитесь к принципиальному пониманию этих моделей, это может фактически привести вас к новым функциям активации, о которых вы никогда бы не подумали», — цитирует сайт MIT News Каролин Улер (Caroline Uhler), соавтора научной статьи. Доступно об исследовании в прямом смысле на кошках и собаках рассказано в этой публикации на новостном портале института, а научно — здесь.
Ученые разработали CV-решение для более точных астрономических изображений
Исследователи из Северо-Западного университета (США) и Университета Цинхуа (Китай) адаптировали алгоритм компьютерного зрения, повышающий резкость фотографий, для улучшения астрономических изображений с телескопов. Потребовалось это не потому, что ученые хотели получить красивые картинки космоса. Дело в том, что изображения даже с самых лучших наземных телескопов размыты из-за атмосферы Земли, и эти искажения могут привести к ошибкам в измерениях астрономических объектов. Например, атмосферное размытие может исказить форму галактик. Новое решение аккуратно удаляет атмосферные размытия и и делает это быстрее и точнее, чем использующиеся в настоящее время инструменты для этих целей. В качестве обучающего материала выступили безатмосферные снимки космоса с телескопа Хаббл, к которым впоследствии добавлялось атмосферное размытие. ИИ-инструмент изначально создавался, чтобы соответствовать параметрам телескопа Обсерватории им. Веры Рубин, полномасштабный запуск которой ожидается в следующем году. Дополнительно о проекте можно почитать на портале Innovation News Network, а код, гайды и результаты тестирования решения выложены на GitHub.
ЮНЕСКО вслед за Маском призывает страны немедленно внедрить этические рамки для ИИ
Вслед за открытым письмом именитых ИИ-экспертов с призывом к ИТ-компаниям приостановить обучение мощных нейросетей, пока не будут разработаны общие протоколы безопасности и политики регулирования, последовало обращение ЮНЕСКО к правительствам стран. Организация предлагает вспомнить о принятых еще в 2021 году Рекомендациях по этике ИИ и реализовать их в национальных законодательствах. Этот документ по сути являются первым одобренным глобально руководством по максимизации пользы и минимизации рисков искусственного интеллекта. В нем содержатся конкретные ценности, принципы и рекомендации по таким этическим вызовам ИИ, как дискриминация, дезинформация, гендерное неравенство, защита частной жизни и личных данных, экология, права человека и прочее. Документ подписан всеми 193 государствами-членами, но над воплощением рекомендаций на национальном уровне в партнерстве с организацией сегодня работают чуть более 40 стран. ЮНЕСКО призывает всех остальных тоже подключиться к движению за этичный ИИ.
Китайские технологические компании не хотят брать паузу в развитии ИИ
Китайские ИТ-компании, кажется, не слишком верят в эффективность искусственного сдерживания технологического прогресса и считают, что вместо того, чтобы останавливать развитие больших ML-моделей типа GPT-4, нужно прикладывать больше усилий для разработки безопасного и управляемого ИИ. На China Daily в конце прошлой недели вышла статья, в которой собраны мнения основных китайских представителей отрасли в ответ на призыв Илона Маска с товарищами поставить на паузу развитие мощных нейросетей. Если коротко, то они сводятся к следующему: хотят люди того или нет, но эта технологиях все равно возглавит новый виток промышленной революции, и Китай должен догнать GPT и повысить конкурентоспособность страны. Ожидается, что расходы Китая на ИИ в этом году достигнут 14,76 млрд долларов, а это примерно десятая часть мирового ИИ-рынка.
Ernie Bot проникает в китайскую бытовую технику и автомобили
Еще одна новость из Поднебесной. Китайские производители бытовой техники, электроники и автомобилей активизировались в плане внедрения чат-ботов на основе LLM в свою продукцию. Конкретнее, речь о самом продвинутом на данный момент китайском аналоге ChatGPT — Ernie Bot. К настоящему времени к экосистеме Ernie Bot присоединились такие крупные производители бытовой техники, как Midea Group, Hisense Visual Technology Co Ltd и Sichuan Changhong Electric Co Ltd, а также автомобильные компании Jidu Auto, Geely, Dongfeng Nissan и Hongqi. Предприятия надеются, что их усилия улучшат опыт взаимодействия машины и человека, подтолкнут развитие NLP-технологий и создадут новые факторы роста доходов. Больше — в этой статье China Daily.
Что важно знать о больших языковых моделях
И напоследок, для лучшего понимания технологии LLM рекомендуем прочитать недавнюю статью профессора из Университета Нью-Йорка Сэмюэла Боумана (Samuel R. Bowman) Eight Things to Know about Large Language Models. В ней он приводит восемь более или менее принятых в профессиональном сообществе утверждений о больших языковых моделях и обосновывает их, базируясь на ранее опубликованных научных работах и высказываниях исследователей ИИ. Вот эти утверждения:
1. LLM предсказуемо становятся более способными с ростом инвестиций, даже без целенаправленных инноваций.
2. Многие важные модели поведения в LLM появляются неожиданно как побочный продукт роста инвестиций.
3. LLM часто изучают и используют представления о внешнем мире.
4. Не существует надежных методов для управления поведением LLM.
5. Эксперты пока не могут интерпретировать внутреннюю работу LLM.
6. Способность выполнять задачи на уровне человека не предел способностей LLM.
7. Ценности, выраженные в LLM, не обязательно должны отражать ценности своих создателей или ценности, закодированные в веб-тексте.
8. Кратковременные взаимодействия с LLM часто вводят в заблуждение.
А еще многие найдут весьма любопытной дискуссионную часть этой статьи Боумана. Спойлерить не будем — читайте статью по этой ссылке. Если же у вас есть время на прочтение 300 с лишним страниц, то заодно можете ознакомиться с отчетом Стэнфордского университета «Индекс искусственного интеллекта» и узнать последние тренды в развитии технологии, а также о ее влиянии на науку, экологию, рынок труда и экономику.
