Исследователи из MIT сравнили 59 научных моделей искусственного интеллекта и обнаружили, что они формируют схожие внутренние представления молекул, материалов и белков. Это происходит даже при разных архитектурах и обучении на разных задачах.
Одни модели получают молекулы как закодированные строки, другие обрабатывают 3D-координаты атомов, третьи работают с белковыми последовательностями. Несмотря на разницу данных, большинство моделей учатся чему-то похожему внутри, отмечают ученые MIT под руководством Сатьи Эдамадки и Суджун Ян.
Для анализа команда извлекла внутренние представления каждой модели и сравнила их по нескольким метрикам. Модели, которые работают с 3D-данными, дают схожие результаты между собой, как и текстовые модели. Исследование показало заметные сходства даже между этими разными группами.
Чем лучше модель справляется с задачей, тем ближе ее внутреннее представление к лучшей модели. Это говорит о том, что самые успешные ИИ вырабатывают общее представление физической реальности. Сложность этих представлений тоже остается в узком диапазоне, почти не зависит от типа модели.
Однако есть и ограничения. Если структура молекулы похожа на то, что модель видела при обучении, сильные ИИ создают совпадающие представления, а слабые — менее пригодные для других задач. Но при встрече с новыми структурами почти все модели проваливаются: их представления становятся неглубокими и теряют важную информацию о химии.
Авторы считают, что современные ИИ для материалов пока не являются фундаментальными, потому что их выводы слишком зависят от ограниченных данных. Для настоящей универсальности нужны гораздо большие и разнообразные наборы. Исследователи предлагают использовать “выравнивание представлений” как новый стандарт: фундаментальными можно считать только те модели, которые показывают высокую производительность и схожесть с лучшими решениями.
Слабая способность к обобщению известна для большинства ИИ — например, трансформеры часто не справляются с заданиями, где надо соединить известные факты в новые выводы для незнакомых случаев.
В мае 2024 года ранее вышло исследование из того же MIT: разные ИИ тоже сходились к общим представлениям по мере роста точности. Тогда этот феномен назвали “Платоновское представление”. Новая работа впервые применяет его к научным моделям и показывает, что и системы для химии и биологии ближе друг к другу, чем кажется.
Недавно опубликованный научный SDE-бенчмарк выявил еще одну особенность: сильные ИИ дают одинаковые неверные ответы на самые трудные вопросы. То же самое нашли и в исследованиях машинного контроля, где несколько моделей порой одинаково ошибаются, создавая новые уязвимости.
