Теория разума и экзамен на врача

Очередной выпуск #ВобъективеИИ расскажет вам о природе теории разума в больших языковых моделях, способностях искусственного интеллекта модерировать дискуссии на онлайн-форумах и очередных достижениях технологии в области диагностики болезней. Также вы узнаете, насколько успешен был ChatGPT в экзамене на врача. Поехали!

Выпуск №12, 9- 22 февраля 2023

Профессор Стэнфордского университета Михал Косински протестировал большие языковые модели на их способность «приписывать» ненаблюдаемые психические состояния, такие как мысли и желания, другим. Более известная как «теория разума» (Theory of mind или ToM), эта способность играет важную роль в человеческих взаимодействиях, общении, самосознании и морали. Косински применил классические задачи ToM к нескольким языковым моделям без каких-либо примеров и предварительного обучения. Результаты следующие: LLM, опубликованные до 2022 года, вообще не способны решать задачи теории разума, модель GPT-3 от января 2022 года справилась с задачами на уровне семилетнего ребенка, а вот GPT-3 от ноября 2022 года — уже на уровне девятилетнего ребенка. Развитие ToM-способностей у искусственного интеллекта положительно скажется на безопасности и эффективности. Например, если беспилотные автомобили будут лучше «понимать» намерения пешеходов и водителей, то смогут избегать дорожных инцидентов с их участием. Однако ученый считает, что теория разума как способность не обязательно должна быть целенаправленно встроена в структуру ИИ при его разработке. Она может возникнуть спонтанно как «побочный продукт» при обучении моделей другим задачам. В частности, в LLM это может быть последствием улучшения языковых навыков. Подробности доступны в препринте по этой ссылке. 

Ученые из Корнелла разработали ИИ-инструмент, который поможет участникам онлайн-дискуссий в Интернете вести более продуктивные диалоги, не обижая оппонентов, даже по самым острым темам. Их разработка получила название ConvoWizard. Это расширение для браузера, базирующееся на глубокой нейронной сети. Модель обучена на массиве данных с форума Change My View, на котором ведутся добросовестные дискуссии по сложным политическим, экономическим и культурным вопросам. Тестирование инструмента также проходило на этом форуме. ConvoWizard по сути определяет, как тот или иной комментарий повлияет на разговор. При нарастании напряженности он уведомляет об этом участников дискуссии. Также он может в реальном времени анализировать готовящиеся ответы и сообщать пользователю, как его реплика может отразиться на диалоге. Более половины участников тестирования ConvoWizard отметили, что благодаря этим подсказкам они не опубликовали комментарии, о которых потом бы жалели. Детали проекта можно почерпнуть на новостном сайте университета. 

Исследователи из Сингапурского национального офтальмологического центра (SNEC) и Сингапурского научно-исследовательского института офтальмологии (SERI) решили взять на вооружение ИИ для борьбы с тяжелой формой миопии (близорукости). Это заболевание — настоящая проблема для Сингапура, где 65% детей становятся близорукими уже к шестому классу школы. Обычно, как сообщают ученые, близорукость прогрессирует у детей от 5 до 15 лет, и чем раньше выявляется заболевание, тем больше возможностей не допустить его перехода в тяжелую форму. Разработанный ими инструмент на основе глубокого обучения анализирует изображения сетчатки и клинических данных юных пациентов (6-12 лет) и оценивает риски развития у них высокой степени миопии в более старшем возрасте. Исследователи надеются, что ранняя диагностика болезни позволит снизить частоту тяжелой формы близорукости среди сингапурцев и уменьшить риски таких осложнений, как глаукома, катаракта, миопическая макулопатия и отслойка сетчатки. В настоящее время разработка проходит тестирование в реальных условиях. Чуть больше об инструменте и о проблеме миопии в Сингапуре рассказано здесь. 

Искусственный интеллект теперь будет помогать китайским неврологам в диагностике болезни Паркинсона, сообщает сайт Parkinson’s News Today. Национальное управление медицинской продукции Китая одобрило для использования систему MoDAS, комбинирующую машинное обучение и компьютерное зрение для анализа двигательных симптомов этого расстройства и помощи в принятии клинических решений. MoDAS не требует применения каких-либо нательных датчиков и участия врача для осмотра пациента. Для диагностики ей достаточно видео, которое могут записать сами пациенты, руководствуясь инструкциями системы. Далее MoDAS проанализирует видео на предмет сигналов о моторной дисфункции и тяжести симптомов, а затем сделает заключение о наличии/отсутствии болезни или ее развитии. Согласно результатам тестирования, система справляется с постановкой диагноза не хуже, чем опытные врачи. 

ChatGPT от OpenAI был близок к тому, чтобы получить лицензию на ведение медицинской деятельности в США. Международная группа исследователей протестировала медицинские знания чат-бота с помощью стандартного экзамена USMLE, который проходят все студенты-медики для получения разрешения на врачебную практику. Экзамен состоит из трех частей. Обычно, чтобы успешно его сдать, требуется около 300-400 часов подготовки, но ChatGPT никакого обучения не проходил. Тем не менее его результаты впечатляют. Чат-бот набрал от 52,4% до 75% в различных частях экзамена при том, что проходной балл — 60%. В 88,9% ответов ИИ дал значимые замечания, которые исследователи оценили как «неочевидные» и «клинически обоснованные». Числовые данные эксперимента, методология и результаты во всех подробностях описаны в научной публикации в журнале PLOS Digital Health.