AI-стартап Thinking Machines изучает, почему большие языковые модели иногда дают разные ответы на одинаковый вопрос, даже если параметр temperature установлен на 0. Этот параметр обычно заставляет модель всегда выдавать наиболее вероятный ответ.
Thinking Machines утверждает, что причина не только в точности работы GPU. Как отмечают разработчики, это мнение «не совсем неверно», но «не отражает всей картины». Загрузка серверов тоже влияет на ответы: когда система сильно нагружена, одна и та же модель может выдавать разные результаты.
Чтобы решить проблему, команда разработала собственный метод инференса, который обеспечивает стабильные результаты независимо от нагрузки. Более предсказуемое поведение моделей может сделать AI-исследования надёжнее.
