Два новых исследования, опубликованных в Nature, показывают, что специализированные ИИ-системы в симулированных клинических случаях ставят диагнозы и принимают решения по лечению на уровне врачей, а иногда и лучше. При этом обе системы построены на базовых моделях, которые уже уступают более новым поколениям.
В одном из исследований немецкая система MIRA превзошла врачей по точности диагностики, включая такие состояния, как рак поджелудочной железы и пневмония. Во втором Google представила систему AMIE, которая показала более точные планы обследования и лечения.
MIRA расшифровывается как Medical Intelligence for Reasoning and Action. Систему разработали в TUD Dresden, Гейдельбергском университете и других научных центрах. В отличие от обычных чат-ботов, MIRA работает как автономный агент внутри закрытой виртуальной электронной медкарты и, по данным исследования, может выбирать более чем из 85 000 вариантов в рамках 11 инструментов.
Система собирает анамнез, назначает лабораторные анализы, микробиологические тесты и визуализацию, интерпретирует результаты, формирует дифференциальный диагноз и пишет план лечения, включая рецепты, подготовку к операции и решение о госпитализации.
Команда протестировала MIRA более чем на 500 реальных случаях из открытого датасета MIMIC-IV, который содержит данные отделений неотложной помощи. Второй ИИ-агент играл роль пациента и сообщал только сведения из реальной медкарты.
В восьми категориях заболеваний MIRA поставила верный диагноз в 88,9% случаев, если сравнивать результат с диагнозами из датасета. В прямом сравнении на подмножестве из 311 случаев при одинаковых условиях MIRA набрала 87,8%, четыре опытных специалиста — 78,1%, а смешанная команда ординаторов и специалистов — 71,1%.
Лучшие результаты MIRA показала при аппендиците — 98,6% и панкреатите — 92,3%. ИИ и врачи хуже справлялись с пневмонией — 72,4% и инфекциями мочевыводящих путей — 77,6%.
Исследователи также проверили безопасность рекомендаций. Специалисты, которые не знали, кем подготовлен ответ — MIRA или человеком, — не нашли опасных лекарственных взаимодействий, ошибок дозировки у пациентов с нарушением функции почек или рискованных назначений обезболивающих.
MIRA почти без ошибок учитывала уже принимаемые пациентом препараты. Также система без пропусков определяла случаи, где требовалась госпитализация. Качество работы оставалось стабильным, даже когда тестовые пациенты говорили только по-немецки или по-французски либо вели себя особенно тревожно. Исходный код MIRA опубликован на GitHub.
Система Google AMIE устроена иначе и рассчитана на ведение пациента через несколько визитов. В ней есть два агента: один ведет быстрый текстовый диалог с пациентом, второй работает в фоновом режиме, сопоставляя случай с клиническими рекомендациями и формируя более взвешенное решение.
В контролируемом исследовании Google сравнила AMIE с 21 врачом первичного звена на 100 случаях, охватывающих несколько визитов. Эталоном служили британские рекомендации NICE Guidance и BMJ Best Practice, а пациентов в текстовом чате изображали актеры.
По данным исследования, AMIE показала сопоставимые результаты с врачами по решениям о лечении и превзошла их по точности планов и соответствию рекомендациям. На первом визите общий план AMIE признали уместным в 95% случаев против 72% у врачей. Рецензенты-специалисты и актеры, игравшие пациентов, чаще отдавали предпочтение ответам AMIE.
Для проверки знаний о лекарствах команда создала отдельный тест RxQA на основе двух национальных фармакологических справочников, который дополнительно проверили лицензированные фармацевты. На более трудных вопросах AMIE опередила врачей первичного звена, хотя сам тест оказался сложным для обеих сторон: даже на более простых вопросах лучший результат не превысил 75%.
Авторы обоих исследований прямо указывают на ограничения. В работе по MIRA говорится, что система для небольшой, но ненулевой доли пациентов рекомендовала лечение с отклонением от лучших практик. Кроме того, ответы симулированного пациента могли быть более структурированными, чем речь реальных пациентов в отделении неотложной помощи.
Исследователи также не исключают, что открытый датасет MIMIC-IV мог уже входить в обучающие данные моделей, использованных в MIRA. В таком случае измеренный результат скорее показывал бы верхнюю границу качества, а не реалистичную оценку. Кроме того, врачи в сравнении работали в немецкой системе неотложной помощи, которая отличается от практики других стран.
Разработчики AMIE называют исследование «важной вехой», но подчеркивают, что ни отбор случаев, ни текстовые диалоги не отражают реальную клиническую практику. По их словам, система показывает «обнадеживающие возможности», но «не готова к применению в реальных условиях». Авторы добавляют, что нужно дальше работать над скрытыми ошибками рассуждения, которые могут появляться во внутренних шагах модели.
Якоб Катер, чья исследовательская группа участвовала в создании MIRA, заявил Financial Times: «Мы получаем предварительное представление о том, как ИИ может изменить медицину». Он сравнил такие ИИ-агенты с автопилотом самолета: «Эти системы могут поддерживать и разгружать медицинских специалистов, беря на себя рутинные задачи, но окончательная ответственность всегда будет оставаться за врачами».
Исследователи, не участвовавшие в работах, положительно оценили методологию, но напомнили, что речь идет о симуляциях. Профессор медицинской социологии Оксфордского университета Кэтрин Поуп сказала FT, что это «довольно далеко от повседневной, запутанной и человеческой практики здравоохранения».
Профессор информатики здравоохранения Эдинбургского университета Джули Джако отметила, что многие заявленные преимущества связаны с «точностью и полнотой планов», а не с «явными различиями в клинической правильности». По ее словам, исследование показывает результат по структурированному стандарту, но не охватывает всю полноту реального клинического решения.
Отдельно авторы материала обращают внимание на то, что обе системы опираются на старые базовые модели. AMIE работает на Gemini 1.5 Flash, а MIRA использует GPT-4o и o1-preview от OpenAI. С тех пор эти модели уже были обойдены более новыми версиями.
Исследователи Google отдельно проверили, что именно дает прирост качества: сложная двухагентная архитектура, привязка к рекомендациям и специальное обучение или сама языковая модель. С Gemini 1.5 Flash специальная надстройка действительно давала заметный выигрыш. Но после замены базовой модели на Gemini 2.5 Flash это преимущество почти исчезло.
Иными словами, такая архитектура компенсирует слабые места старой модели: заставляет ее рассуждать по шагам, ссылаться на рекомендации и реже галлюцинировать. Более сильная модель способна делать это сама. В статье прямо сказано, что ценность AMIE снижается по мере улучшения базовой модели.
Более того, новые универсальные модели, включая Gemini 2.5 Pro, o3 и GPT-5, уже показывают «в целом сопоставимые» результаты с полной системой AMIE в тесте RxQA. На практике это означает, что развитие базовых моделей частично обогнало саму надстройку.
Для MIRA такого разбора в статье нет. Однако часть ее архитектуры связана не столько с компенсацией слабых мест модели, сколько с подключением ИИ к клиническим системам больницы. Эта часть, как отмечается в материале, не потеряет ценность просто из-за появления более сильных моделей.
Источник: The Decoder, Nature, Financial Times.
