ChatGPT проиграл старой шахматной программе Atari Video Chess 1979 года. ИИ давал разумные советы и объяснял ходы, но забывал ранее взятые фигуры, путал ладьи с слонами и терял представление о положении на доске в каждом ходе.
В то же время, движок Atari на частоте 1,19 МГц таких ошибок не допускал — просто запоминал состояние доски и следовал правилам.
Некоторые критики отмечают, что сравнивать эти системы некорректно, но тест хорошо показал главный недостаток языковых моделей — ChatGPT не проиграл из-за отсутствия знаний. Причина — он не умеет запоминать информацию о ходе игры. Символьные программы такой проблемы не имеют.
Автор эксперимента Роберт Карузо прокомментировал: «Независимо от того, сравниваем мы специализированный ИИ или универсальный, его неспособность запоминать простое положение фигур сильно разочаровала. Разве это отличается от того, как ChatGPT забывает важные детали в других разговорах?»
