Сайт In the Weights показывает, какие люди «сохраняются» в весах больших языковых моделей. Под весами понимаются миллиарды числовых параметров, в которых модель хранит знания, полученные во время обучения.
Если имя человека обнаруживается в этих параметрах, это означает, что модель сочла его достаточно значимым, чтобы воспроизводить сведения о нём без внешних инструментов, включая веб-поиск.
Сервис опрашивает несколько моделей, чтобы определить, кто такой конкретный человек, затем объединяет ответы и присваивает оценку силы. В примере из исходного материала у автора и его коллеги Maximilian Schreiner такие оценки составили 175 и 262.
Согласно таблице лидеров, максимальный показатель равен 996. Такой балл получают имена уровня Моцарта, Шекспира или Тейлор Свифт.
Проект создали Joey Flynn и Thomas Dimson, оба ранее работали в OpenAI. По их словам, в небольших моделях попасть в результаты труднее.
Авторы также отмечают, что появление имени в Meta Llama с 1 млрд параметров можно считать признаком высокой значимости. При этом они указывают на ограничения больших языковых моделей: такие системы могут придумывать биографические детали, опечатки снижают итоговый балл, а распространённые имена часто дают менее точные результаты.
Источник: The Decoder.
*Организация Meta (владелец Facebook и Instagram) признана экстремистской организацией и ее деятельность запрещена на территории России.
