В этот раз в #ВобъективеИИ мы расскажем вам, как можно сократить затраты на обучение больших ML-моделей и как GPT-4 меняет рынок труда США, работу стартапов и планы китайских технологических гигантов. Также в этом выпуске вы узнаете об еще одном проекте поиска инопланетной жизни с помощью ИИ.
AI-focused digest – новости ИИ-сферы
Выпуск №14, 9-23 марта 2023
Ученые нашли способ сократить затраты на обучение больших ML-моделей
Ученые из ведущих американских технологических университетов объединились, чтобы найти способ ускорить, удешевить и «озеленить» обучение больших ML-моделей. Дело в том, что большие модели построены на архитектуре нейронной сети, называемой трансформером, и чем больше трансформер, тем лучше результаты работы модели. По этой причине компании соревнуются между собой, стараясь обучить все большие трансформеры на более масштабных наборах данных. И все заинтересованы в сокращении временных, денежных и экологических затрат на это. Один из путей решения этой задачи — использование ранее обученных более мелких моделей. Для этого ученые предлагают метод, который они называют обученным оператором линейного роста (LiGO или Linear Growth Operator), он увеличивает ширину и глубину более крупной сети за счет параметров меньшей сети. Чтобы преобразовывать набор входных значений, конкретно — параметры меньшей модели, в набор выходных значений — параметры большей модели, используется ML. Этот подход на 50% сокращает вычислительные затраты на обучение. В деталях результаты его тестирования изложены в этой научной статье.
Китайские технологические гиганты вступают в гонку с GPT-4
После того, как на прошлой неделе OpenAI и Microsoft рассказали миру о GPT-4, большой мультимодальной модели, способной работать с текстом и изображениями и сильно превосходящей по способностям предыдущую свою версию, китайские технологические гиганты всколыхнулись. Буквально через несколько дней Baidu представила свой аналог ChatGPT — Ernie Bot, показав его возможности в таких областях, как литературное творчество, деловое письмо, математика, понимание китайского языка и мультимодальная генерация. Пока, как признает председатель и главный исполнительный директор Baidu Робин Ли, модель Ernie неидеальна, но компания надеется на ее стремительное улучшение по мере поступления отзывов от пользователей. Сейчас Ernie Bot доступен для ограниченной аудитории по пригласительным кодам, но в скором времени его обещают вывести в массы. Следом о намерениях вступить в гонку с ChatGPT объявили и другие китайские технологические тяжеловесы, такие как Alibaba Group и JD. Подробно о том, как китайский рынок воспринял вызов GPT-4, пишет China Daily.
LLM повлияет на 80% работников в США
Буквально через неделю после того, как OpenAI представила GPT-4 и в очередной раз взорвала рынок, эксперты компании в содружестве с учеными из Университета Пенсильвании выпустили статью о том, как эта технология изменит рынок труда. Они взяли базу данных профессий в США O*NET и проанализировали представленные в ней профессии на соответствие возможностям GPT. Их выводы следующие: GPT может повлиять минимум на 10% задач у примерно 80% работников в США, а 19% работников могут столкнуться с тем, что по крайней мере 50% их задач будут трансформированы. Влияние GPT в той или иной мере распространится на все отрасли и виды профессий, особенно это коснется специалистов, чья работа связана с программированием и подготовкой текстов. Причем большему риску, как сообщают исследователи, подвержены рабочие места с высокими заработными платами. Пока копирайтер, готовивший этот выпуск дайджеста, ищет себе новую работу, вы можете ознакомиться с отчетом OpenAI по влиянию больших ML-моделей на рынок труда по этой ссылке.
ИТ-стартапы начали использовать GPT-4 для сокращения затрат на программирование
К слову о влиянии GPT-4 на программирование. Motherboard сообщает, что заметив расширенные возможности кодирования этой модели, некоторые стартапы уже начали ее применять с целью сокращения затрат на программистов. В частности, приводится в пример вирусный пост Джо Перкинса (Joe Perkins), основателя стартапа, создающего инструменты для помощи венчурным капиталистам. Он сообщил, что использовал GPT-4 для написания пяти микросервисов нового продукта, это заняло три часа и обошлось ему в 0,11 доллара. Хороший же разработчик сказал, что стоимость этой работы — 5 тысяч фунтов, а для ее выполнения нужно две недели. Издание пишет, что способности GPT-4 вызывают сильные опасения у студентов, изучающих компьютерные науки, и у разработчиков ПО, однако ряд оптимистичных экспертов заверяют, что генеративные модели всех программистов не заменят, а будут весьма полезны для их подготовки, повысят производительность и поспособствуют еще большей демократизации программирования. Поживем — увидим…
ИИ поможет узнать, есть ли жизнь на Марсе
Международная группа ученых создала нейронную сеть, способную выявлять паттерны биосигнатур и помогать таким образом в поиске жизни на других планетах. Результатами своего эксперимента они поделились на страницах журнала Nature Astronomy. Для обучения модели использовались данные экологического обследования территории площадью 3 км² в бассейне высохшего озера Салар-де-Пахоналес в Южной Америке, где природные условия почти марсианские. Исследователи собрали более 7700 изображений и 1150 образцов и провели картирование фотосинтезирующих микробов, живущих в соляных куполах, скалах и кристаллах алебастра, составляющих поверхность бассейна. Далее данные наземного отбора проб и трехмерное топографическое картирование были объединены с изображениями исследуемой зоны с беспилотников. На этом комбинированном наборе ИИ-модель обучили определять, с какой долей вероятности те или иные геологические материалы могут содержать биосигнатуры. Тесты показали эффективность подхода: с помощью ИИ ученые смогли найти биосигнатуры в 87,5% случаев, что впечатляет, так как при случайном поиске успех составляет менее 10%. Плюс удалось на 97% уменьшить площадь поиска. Ожидается, что их разработка поспособствует исследованиям наличия жизни на Марсе, а также на спутниках Юпитера и Сатурна.
