Новое исследование, опубликованное в JAMA Network Open, ставит под сомнение способности больших языковых моделей (LLM) рассуждать по медицинским случаям и говорит, что они пока не готовы к работе в клинике.
Группа под руководством Суханы Беди использовала 100 вопросов из MedQA — стандартного теста по медицинским знаниям. В каждом вопросе правильный ответ заменили на “Ни один другой ответ” (NOTA). Клинический эксперт проверил, чтобы только вариант NOTA был верным. В итоге 68 вопросов соответствовали этому критерию. Чтобы ответить правильно, модель должна была распознать отсутствие правильного варианта среди стандартных ответов.
Все протестированные LLM показали снижение точности при работе с измененными вопросами, некоторые — значительно сильнее. Claude 3.5 (-26,5 процентных пункта), Gemini 2.0 (-33,8), GPT-4o (-36,8), LLaMA 3.3 (-38,2) — все они существенно сдали позиции.
Модели, ориентированные на рассуждение, например Deepseek-R1 (-8,8) и o3-mini (-16,2), показали более устойчивые, но тоже сниженные результаты. Использование подсказок c описанием рассуждений (“chain-of-thought”) не помогло добиться стабильных правильных ответов.
По словам авторов, результаты указывают на ключевую проблему — современные модели чаще опираются на сопоставление с известными шаблонами, а не на реальное рассуждение. Некоторые LLM потеряли точность с 80 до 42% всего от небольших изменений в формулировке. В реальной медицинской практике, где бывают нестандартные или сложные случаи, такой подход может быть опасен.
Врачи часто видят редкие заболевания и необычные симптомы, которые не похожи на типичные ситуации из обучающих данных. Если LLM просто выбирает знакомые ответы, они могут не заметить или неправильно понять такие исключения. Это вызывает вопросы о пригодности текущих генеративных моделей для практики, ведь от них требуется умение работать в неопределенных ситуациях.
Известно, что даже малейшие изменения в запросе могут полностью изменить выдачу LLM, и это касается даже моделей с акцентом на анализ шагов решения.
Однако, по словам авторов, пока не ясно, действительно ли такие LLM не способны к логическому рассуждению, или проблема в их применимости. Дискуссии об “умениях” LLM осложняются нечеткими определениями и тестами, которые затрудняют объективную оценку.
В исследовании не были протестированы самые новые модели, такие как GPT-5-Thinking или Gemini 2.5 Pro, которые гипотетически могут показать лучшие результаты. Deepseek-R1 и o3-mini — актуальны на момент тестирования, но могут уступать самым современным решениям. Их относительная устойчивость показывает, что развитие моделей с настоящими способностями к рассуждению возможно.
