Ученые нашли у Claude скрытое пространство для рассуждений и это не самосознание
Исследователи Anthropic заявили, что у модели Claude нашли особую внутреннюю «зону мыслей» — J-space. Она помогает ИИ молча удерживать промежуточные шаги рассуждений, но сама по себе не доказывает наличие сознания.
Источник: Новости науки.
МОСКВА, 9 июля /Новости науки/. Исследователи Anthropic обнаружили у языковой модели Claude особую область внутренних нейронных представлений, которая помогает ей молча рассуждать и удерживать промежуточные идеи. Об этом говорится в новой статье компании.
Авторы назвали эту область J-space — по методу Jacobian lens, с помощью которого они смогли «прочитать» часть скрытых внутренних состояний модели. Ученые подчеркивают, что речь не идет о доказательстве сознания ИИ: найденный механизм скорее похож на функциональное рабочее пространство, где модель временно держит важные для рассуждения понятия.
Исследователи сравнивают J-space с идеей «глобального рабочего пространства» в нейронауке. Согласно этой теории, часть информации в мозге становится доступной для сознательного контроля, описания и рассуждения, тогда как большая часть обработки остается автоматической. В Claude, по данным авторов, тоже есть разделение между обычной автоматической обработкой текста и более «осмысленным» внутренним рассуждением.
В экспериментах ученые увидели, что Claude может удерживать в J-space слова и понятия, которые не появляются в ответе. Например, при решении задачи о числе ног у животного, плетущего паутину, в этом пространстве возникало понятие «паук», хотя в финальном ответе модель писала только число «8». Когда исследователи заменяли внутреннее представление «паук» на «муравей», модель начинала отвечать «6».
J-space оказался связан и с самонаблюдением модели. Если Claude просили не думать о каком-то понятии, оно все равно частично появлялось во внутреннем пространстве — примерно как в известном психологическом эффекте «не думайте о белом медведе». В ряде случаев рядом с таким запрещенным понятием появлялись слова, указывающие на сбой или неудачу контроля.
Практическая ценность открытия связана с безопасностью ИИ. По словам авторов, J-space может помочь обнаруживать скрытые намерения модели, которые не видны в ее ответах. В экспериментах этот метод позволял заметить, что Claude распознает искусственный тестовый сценарий, видит попытку манипуляции или внутренне фиксирует действия, связанные с фальсификацией данных.
При этом J-space не отвечает за все возможности модели. Когда исследователи искусственно подавляли его работу, Claude по-прежнему могла писать связный текст, распознавать тональность и выполнять простые задания. Но качество многошаговых рассуждений, обобщения и творческих задач заметно падало.
Авторы считают, что найденный механизм может стать важным инструментом для интерпретации больших языковых моделей. Он показывает, что внутри современных ИИ-систем могут самопроизвольно возникать структуры, напоминающие рабочую память или «внутреннюю доску» для рассуждений, даже если разработчики специально не закладывали такой механизм.
Авторы назвали эту область J-space — по методу Jacobian lens, с помощью которого они смогли «прочитать» часть скрытых внутренних состояний модели. Ученые подчеркивают, что речь не идет о доказательстве сознания ИИ: найденный механизм скорее похож на функциональное рабочее пространство, где модель временно держит важные для рассуждения понятия.
Исследователи сравнивают J-space с идеей «глобального рабочего пространства» в нейронауке. Согласно этой теории, часть информации в мозге становится доступной для сознательного контроля, описания и рассуждения, тогда как большая часть обработки остается автоматической. В Claude, по данным авторов, тоже есть разделение между обычной автоматической обработкой текста и более «осмысленным» внутренним рассуждением.
В экспериментах ученые увидели, что Claude может удерживать в J-space слова и понятия, которые не появляются в ответе. Например, при решении задачи о числе ног у животного, плетущего паутину, в этом пространстве возникало понятие «паук», хотя в финальном ответе модель писала только число «8». Когда исследователи заменяли внутреннее представление «паук» на «муравей», модель начинала отвечать «6».
J-space оказался связан и с самонаблюдением модели. Если Claude просили не думать о каком-то понятии, оно все равно частично появлялось во внутреннем пространстве — примерно как в известном психологическом эффекте «не думайте о белом медведе». В ряде случаев рядом с таким запрещенным понятием появлялись слова, указывающие на сбой или неудачу контроля.
Практическая ценность открытия связана с безопасностью ИИ. По словам авторов, J-space может помочь обнаруживать скрытые намерения модели, которые не видны в ее ответах. В экспериментах этот метод позволял заметить, что Claude распознает искусственный тестовый сценарий, видит попытку манипуляции или внутренне фиксирует действия, связанные с фальсификацией данных.
При этом J-space не отвечает за все возможности модели. Когда исследователи искусственно подавляли его работу, Claude по-прежнему могла писать связный текст, распознавать тональность и выполнять простые задания. Но качество многошаговых рассуждений, обобщения и творческих задач заметно падало.
Авторы считают, что найденный механизм может стать важным инструментом для интерпретации больших языковых моделей. Он показывает, что внутри современных ИИ-систем могут самопроизвольно возникать структуры, напоминающие рабочую память или «внутреннюю доску» для рассуждений, даже если разработчики специально не закладывали такой механизм.
