Австралийский философ Дэвид Чалмерс предложил новый подход к пониманию искусственного интеллекта. В недавней работе он утверждает, что ИИ-системы нужно анализировать не только по их внутренним механизмам, но и по их «отношению к высказываниям» — так называемым пропозициональным установкам. К ним относятся состояния вроде «верит», «хочет», «подозревает» или «намеревается». Чалмерс называет систематическое изучение таких установок «пропозиционной интерпретируемостью».
Простой пример: человек может одновременно верить, что идет дождь («я верю, что идет дождь») и желать, чтобы его не было («я хочу, чтобы дождя не было»). В обоих случаях речь идет об одном и том же высказывании («идет дождь»), но с разным отношением к нему — верой и желанием.
По мысли Чалмерса, задача исследований интерпретируемости не сводится к тому, чтобы определить, какие концепты активированы в системе, например «война». Важно понимать, «считает ли» система, что война уже идет, или, наоборот, стремится к началу войны. Для безопасности и этики эта разница принципиальна. Она также важна для когнитивного моделирования ИИ.
Чалмерс подчеркивает, что интерпретируемость часто смешивают с объяснимостью. Объяснимость ориентирована на конечных пользователей и делает решения понятными. Интерпретируемость он описывает как технический инструмент для исследователей, который показывает, как система устроена изнутри. Философ проводит границу между анализом поведения (входы/выходы) и механистическим анализом (внутренние процессы).
В рамках механистической интерпретируемости он выделяет два уровня. Первый — алгоритмический анализ, где исследуются структуры обработки вроде контуров внимания. Второй — репрезентационный анализ, который изучает, что и как система представляет внутри. Репрезентационный уровень делится на концептуальную интерпретируемость (понятия «кот», «мост») и пропозициональную интерпретируемость (установки к высказываниям вроде «мост красный» или «я хочу победить»).
В психологии человека пропозициональные установки играют ключевую роль в объяснении действий: люди действуют, исходя из своих верований и желаний. По мнению Чалмерса, это все больше относится и к ИИ. У таких систем есть модели мира (верования), целевые состояния (желания), вероятности (уверенности) и намерения, даже если такая лексика кажется излишне «очеловечивающей» по отношению к машинам.
Например, чтобы понять, «поддерживает» ли языковая модель вроде GPT расистские установки или лишь воспроизводит их, недостаточно знать, что активируются концепты вроде «темнокожие люди». Важно отношение системы к ним: считает ли она, что эта группа часто лишается кредитов, или стремится к такому результату как к цели.
Центральным техническим объектом Чалмерс делает то, что он называет «логированием мыслей» (thought logging) — методом фиксации релевантных пропозициональных установок ИИ во времени. Упрощенная запись могла бы содержать верования, цели и оценки системы в конкретный момент. Такие журналы можно расширять «логированием причин» (обоснования установок) и «логированием механизмов» (какие внутренние модули их породили).
Философ признает, что полностью зафиксировать все установки нереально: система может иметь бесконечно много потенциальных состояний. Однако, по его мнению, частичные журналы установок возможны, например для текущих активных состояний или тех, что считаются наиболее значимыми.
Чалмерс помещает пропозициональную интерпретируемость в философскую традицию так называемой «радикальной интерпретации» 1970-х годов. Философ Дональд Дэвидсон описывал, как можно вывести верования, желания и значения неизвестного субъекта — например, носителя незнакомого языка — только по наблюдаемому поведению и высказываниям, без предварительных предположений о языке или мыслях этого человека. Смысл и установки в этом подходе восстанавливаются только по внешним паттернам.
В ответ философ Дэвид Льюис предложил менее ограниченный вариант. В его мысленном эксперименте интерпретатор имеет полный доступ ко всем физическим фактам о человеке: состояниям мозга, нейронной активности, взаимодействию со средой и поведению. Задача — на этой основе определить верования и желания субъекта. Льюис формулировал задачу так: мы хотим узнать, что человек верит, чего желает, что имеет в виду, исходя из всех доступных физических данных, а затем «решить остальное» — восстановить содержание ментальных состояний.
Проблема вывода ментального содержания из внутренних состояний приобретает новую актуальность в эпоху современных ИИ. Чалмерс развивает идею Льюиса, но вместо биологии рассматривает алгоритмы. Для ИИ вместо нейронной активности человека он анализирует архитектуру сети, веса, активации и поведение на входах/выходах. Такой подход он называет «компьютативной интерпретацией»: пропозициональные установки выводятся из структур и динамики вычислительной системы.
Это приводит к базовому вопросу: что означает для внутреннего состояния ИИ «что-то значить», выражать утверждение о мире или представлять цель? Для ответа Чалмерс обращается к психосемантике — философскому направлению, которое изучает, при каких условиях внутренние состояния могут иметь содержание.
Психосемантика, заложенная философами вроде Джерри Фодора, устроена по аналогии с лингвистической семантикой. Она задает два вопроса. Первый — о содержании состояния (семантический вопрос). Второй — почему оно имеет именно такое содержание (метасемантический вопрос. В случае ИИ это означает: если определенный паттерн активаций языковой модели выражает высказывание вроде «кот сидит на коврике», нужно понять, что придает этому паттерну именно такой смысл — корреляции с входами или функциональная роль в системе.
Чалмерс выделяет два ключевых принципа: информационный и принцип использования. Информационный принцип утверждает, что состояние что-то репрезентирует, если стабильно коррелирует с состоянием внешнего мира (например, нейрон срабатывает при горизонтальных линиях и тем самым представляет «горизонталь»). Принцип использования связывает содержание с функцией: состояние обозначает «кот», если оно регулярно вызывает употребление слова «кот» или характерную реакцию на кошек.
По мнению Чалмерса, реалистично выстроить хотя бы частичные психосемантические теории для отдельных типов установок, например верований или вероятностей в конкретных моделях. Логирование мыслей он рассматривает не только как применение таких теорий, но и как инструмент для их развития. В отличие от человеческого мозга, ИИ-системы полностью доступны для анализа, поэтому они могут служить испытательным полигоном для психосемантических гипотез или даже основанием для новых категорий машинных установок.
Если ИИ действительно имеет пропозициональные установки вроде верований, желаний или вероятностей — или, по крайней мере, их функциональные аналоги, — возникает вопрос, как выявить их на практике. Чалмерс считает, что психосемантические принципы задают концептуальную основу, но пока не дают конкретных техник для наглядного отображения таких установок в реальных системах.
Поэтому он анализирует, как существующие методы механистической интерпретируемости можно расширить до инструментов пропозициональной интерпретируемости. Философ рассматривает, как именно эти методы устроены технически, какие типы установок они способны фиксировать, насколько они ограничены и насколько удовлетворяют психосемантическим критериям.
Один из рассмотренных подходов — причинный трейсинг. В нем исследователи избирательно вмешиваются во внутренние слои сети, чтобы выяснить, где хранится информация вроде «Эйфелева башня находится в Париже». Метод показывает, какие промежуточные слои критичны для вывода «Париж», и позволяет редактировать модель, переписывая ассоциацию, например на «Эйфелева башня находится в Риме». Однако такой подход чувствителен к формулировке запроса, работает по сути для единичных случаев и фокусируется в основном на установках, похожих на верования.
Другой блок методов — пробинг. Здесь обучают линейные классификаторы, которые по активациям пытаются восстанавливать конкретные высказывания, например «черная фигура на e4». Новые варианты позволяют связывать отдельные концепты вроде «Грег» и «Италия» в структуры вида LivesIn(Грег, Италия). Однако эти техники трудно масштабировать, и они тоже в основном описывают установки, похожие на верования.
Отдельно Чалмерс обсуждает исследование 2024 года, где модель Claude 3 Sonnet анализировали с помощью разреженных автокодировщиков. Автокодировщик выделил более 34 млн признаков, многие из которых удалось интерпретировать (например, «мост Золотые Ворота», «Руанда», «льстивость»). По оценке Чалмерса, такие признаки могут стать основой для логирования концептов, но редко отражают полные пропозициональные установки. Их полезность для логирования мыслей зависит от того, насколько удастся комбинировать концепты в структурированные высказывания.
Еще одно направление — модели, которые «мыслят вслух». Языковые модели вроде OpenAI o1 явно проговаривают промежуточные шаги рассуждений. Это дает представление о внутренней работе, но часто ненадежно: исследования показывают, что такие модели нередко выдают ложные обоснования. Кроме того, цепочки рассуждений применимы только к системам, которые реально используют подобный режим внутренно.
Несмотря на различия, все четыре класса методов имеют общую черту: каждый дает ограниченное представление о отдельных типах установок — фактических верованиях, моделях мира или простых целях. Ни один из них не реализует в полном виде задачу логирования мыслей — систематический, непрерывный журнал релевантных установок во времени.
С точки зрения психосемантики у методов тоже есть ограничения. Причинный трейсинг почти полностью опирается на функциональную роль в поведении (принцип использования). Пробинг преимущественно фиксирует корреляции с состояниями внешнего мира (информационный принцип). Разреженные автокодировщики выявляют интерпретируемые концепты, но мало говорят о том, как они используются. Цепочки рассуждений дают явные высказывания, однако часто ненадежны и слабо связаны с внутренними процессами.
Поэтому пропозициональная интерпретируемость пока остается долгосрочной исследовательской программой. Проанализированные методы показывают первые шаги, но для полноценного решения нужны новые подходы, которые совмещают техническую реализуемость с психосемантическим обоснованием. Только тогда, по мысли Чалмерса, можно будет достаточно полно реконструировать рассуждения сложных ИИ-систем и отслеживать их во времени.
Чалмерс также отвечает на принципиальные возражения к своей схеме. Часто утверждают, что только сознательные существа с внутренней жизнью могут иметь установки вроде верований, желаний или намерений, а ИИ якобы остается всего лишь вычислительной машиной без подлинных «ментальных состояний».
Философ не соглашается с таким узким подходом. Для многих задач интерпретации ИИ, по его мнению, системе не требуется сознание, самосознание или подлинное «я». Достаточно учитывать функциональные аналоги — состояния, которые ведут себя как верования или желания, даже если они не переживаются субъективно. Пример — термостат: у него нет сознания, но он стремится к заданной температуре и хранит внутреннюю оценку текущей. В этом смысле он «считает», что слишком холодно или жарко, и «хочет» достичь заданного значения.
Такие функциональные, не обязательно ментальные состояния Чалмерс называет «обобщенными пропозициональными установками». Они выполняют схожие с человеческими верованиями и желаниями роли — направляют поведение и обработку информации, — но не обязаны быть связаны с сознанием.
Одновременно Чалмерс поднимает этический вопрос: если в будущем ИИ получит сознание, логирование мыслей может нарушать его конфиденциальность. Пока это остается теорией, но более поздние системы могут приобрести моральный статус, и тогда логирование установок придется соотносить с этическими нормами.
Философ рассматривает пропозициональную интерпретируемость как долгосрочный междисциплинарный проект с множеством открытых вопросов, но и значительным потенциалом. По его оценке, такая программа способна внести вклад в безопасность и контроль ИИ, а также дать новые идеи для когнитивной психологии и философии.
Пока неясно, как именно реализовать логирование мыслей на практике. Однако даже частичные успехи, по мнению Чалмерса, помогут лучше понимать поведение ИИ и раньше выявлять опасные или нежелательные паттерны. Рациональное понимание машин, подчеркивает он, требует не только анализа кода. Нужно систематически восстанавливать их внутренние установки и отслеживать их во времени.
Источник: The Decoder.
