OpenAI признает, что языковые модели, такие как ChatGPT, всегда будут “галлюцинировать”, то есть иногда выдавать неправильные или вымышленные утверждения. Причина в том, что эти системы учат предсказывать наиболее вероятное следующее слово, а не говорить правду. У них нет представления о том, что такое истина или ложь, поэтому они легко могут создать убедительный, но неверный ответ.
OpenAI выделяет несколько видов галлюцинаций. Внутренние галлюцинации противоречат самому запросу, например, ответ “2” на вопрос “Сколько D в DEEPSEEK?”. Внешние галлюцинации не соответствуют реальным фактам или обучающим данным: например, выдуманные цитаты или биографии. Есть и галлюцинации “произвольных фактов”, когда модель пытается отвечать на вопросы о редких или невидимых ранее темах — даты рождения, названия диссертаций — и просто угадывает.
OpenAI работает над снижением числа галлюцинаций с помощью разных методов. Это обучение с подкреплением и обратной связью от людей, использование внешних инструментов (например, калькуляторов или баз данных), и технология retrieval-augmented generation. Над ошибками работает и отдельная система фактчекинга. В будущем компания хочет создать модульную “систему систем”, чтобы дать моделям больше предсказуемости и точности.
Полностью устранить галлюцинации невозможно, отмечает OpenAI. Но новые версии должны хотя бы распознавать моменты, когда они не уверены в ответе, и прямо говорить об этом. В таких случаях модель сможет обратиться к внешним ресурсам, попросить помощи или остановить ответ. Это не означает понимания истины, но помогает показывать пользователям, когда ответ неполный или сомнительный.
Цель — чтобы ИИ вел себя на неопределённые вопросы как человек: лучше честно признать незнание, чем строить догадки. Правда, и люди нередко угадывают, что приводит к ошибкам — как и в случае с искусственным интеллектом.
Видно, что работа идёт. Недавно профессор математики из Стэнфорда год тестировал нерешённую задачу на моделях OpenAI. Старые версии давали неверные ответы, а новая впервые призналась: “Я не могу решить эту задачу.” На труднейшем вопросе Международной математической олимпиады она тоже не стала гадать. По словам OpenAI, подобные улучшения появятся в коммерческих версиях в ближайшие месяцы.
