Google Research и DeepMind выпустили MedGemma — открытый набор моделей искусственного интеллекта, разработанных для медицинских задач.
В коллекцию MedGemma вошли модель на 4B параметров для работы с текстом, изображениями или обоими типами данных, а также большая версия на 27B параметров с текстовым и мультимодальным режимом. Google представила MedGemma на конференции I/O 2024.
Модели MedGemma охватывают разные меднаправления: радиология, дерматология, гистопатология, офтальмология. По заявлению Google, эти модели могут стать основой для новых ИИ-инструментов в здравоохранении как отдельные, так и в составе агентных систем.
Технический отчет показывает значительный прирост результатов по сравнению с подобными моделями. MedGemma обеспечивает до 10% более высокую точность при мультимодальных медицинских вопросах, на 15,5–18,1% лучшие результаты в классификации рентгеновских снимков и 10,8% преимущество в сложных агентных тестах.
Бенчмарки подтверждают данные: на тесте MedQA модель 4B достигла 64,4% точности (против 50,7% у базовой), а версия 27B — 87,7% (было 74,9%).
MedGemma также обходит базовую модель Gemma 3 4B на медицинских тестах. На датасете MIMIC-CXR (рентген и отчеты) модель 4B показала F1-оценку 88,9, против 81,2 у оригинальной Gemma 3 4B. F1-метрика измеряет правильность диагностики по разным болезням.
Для анализа медицинских изображений Google представила MedSigLIP — энкодер с 400 млн параметров. MedSigLIP создан на базе SigLIP и связывает изображения с текстами, что помогает MedGemma точнее понимать медизображения.
MedSigLIP обрабатывает снимки, пока MedGemma 27B анализирует клинические тексты, образуя «мощную мультимодальную систему для здравоохранения». Энкодер работает на разрешении 448×448 пикселей, которое эффективнее более высокого 896×896 уровня в MedGemma.
Модель обучили на 33+ млн пар «изображение–текст», включая 635 000 примеров из разных медотраслей и 32,6 млн гистопатологических урезок. Чтоб сохранить возможности SigLIP, медданные составили лишь 2% от оригинального датасета — энкодер читает как обычные, так и медкартинки.
Исследователи продемонстрировали настройку MedGemma под конкретные задачи:
- автоматическое создание рентген-отчетов — RadGraph F1 вырос с 29,5 до 30,3;
- обнаружение пневмоторакса — точность поднялась с 59,7 до 71,5;
- гистопатология (классификация тканей) — F1 с весами увеличилось с 32,8 до 94,5.
На видео Google показан скачок в анализе электронных медкарт: обучение с подкреплением сократило ошибку поиска данных вдвое, что ускоряет работу с инфо о пациентах.
MedGemma доступна на платформе Hugging Face. Лицензия разрешает исследования, разработку и общие ИИ-задачи, но запрещает применять модель для диагностики или лечения без одобрения регуляторов. Для коммерческих пользователей действуют те же ограничения.
В прошлом году Google уже запускала медицинскую ИИ-модель на закрытой платформе Gemini. Открытый MedGemma с возможностью настройки может получить широкое распространение.
Тем не менее, как отмечает команда Google, высокие баллы на тестах не всегда дают те же результаты на практике. В одном исследовании говорится: реальная эффективность ограничивается неправильным пониманием или ошибками пользователей, что подчеркивает разницу между тестами и применением.
