Профессор математики из Стэнфорда целый год проверял, как модели OpenAI справляются с одной и той же сложной математической задачей. За это время он смог следить за тем, как меняется способность ИИ оценивать свои ответы.
Ноам Браун из OpenAI рассказал: “Год назад этот профессор предложил мне сотрудничество для решения трудных математических задач. Я тогда сказал, что сначала нужно развивать общие способности к рассуждению, и со временем модели смогут помочь с такими задачами. Он был скептичен, но при каждом новом релизе он присылает мне тот же вопрос: ‘Может ли модель решить это сейчас?’ Я проверяю, отправляю ему ответ, а он отвечает: ‘Нет, это неправильно.’
Недавно, после успеха OpenAI на Международной математической олимпиаде, ситуация изменилась. Профессор снова прислал тот же вопрос, и модель не решила задачу, но впервые признала, что не знает ответа. Она не стала выдумывать решение, а прямо написала ‘нет ответа’, как отметил Браун: ‘Я считаю, это важно — модель не пытается выдумывать или придумывать решение и просто говорит “нет ответа”.’
Этот эксперимент показал, что модели искусственного интеллекта начинают лучше понимать свои ограничения, а не просто уверенно давать неверные ответы. Обычно стандартные тесты такой прогресс не показывают.
В похожих исследованиях испанские ученые заметили, что и в тестах Apple модели прекращали попытки дать ответ на сложные задачи раньше. Если в Apple считали это неудачей, испанские исследователи считают такое поведение признаком того, что ИИ осознает, что дальше идти не может, и останавливается.
До полностью безопасных ИИ-ответов еще далеко. OpenAI собирается сделать свою модель для IMO доступной математикам, но улучшения появятся в коммерческих продуктах не раньше, чем через несколько месяцев.
