Anthropic открыла неожиданную структуру в модели Claude
Компания Anthropic выявила в своем ИИ-ассистенте Claude уникальный механизм J-space, который не был задуман при разработке. Это открытие может изменить подход к анализу поведения крупных языковых моделей.
Открытие в архитектуре искусственного интеллекта
Компания Anthropic обнаружила в своей нейросети Claude неожиданную структуру, которая не была включена в исходный проект. Этот механизм получил название J-space и выполняет роль общей платформы для обмена данными между компонентами модели. Исследование, опубликованное 6 июля, стало важным шагом в понимании внутренних процессов больших языковых моделей.
Что представляет собой J-space
J-space — это виртуальное пространство, где Claude собирает и передает ключевые данные между различными частями модели. Простыми словами, это как доска для заметок внутри ИИ, где информация временно хранится для обработки. Когда модель выполняет задачу, ключевые элементы попадают в J-space, чтобы другие модули могли с ней взаимодействовать.
Анализ проводился с использованием инструмента J-lens, разработанного Anthropic. Этот инструмент позволил исследователям наблюдать за перемещением информации внутри модели в реальном времени. Интересно, что J-space сформировался самостоятельно в процессе обучения, а не был создан разработчиками напрямую.
Сходства с человеческим мышлением
Функциональность J-space напоминает концепцию глобального рабочего пространства, которая используется в нейронауке. У людей эта система обеспечивает доступ к информации сразу для нескольких мыслительных процессов. Например, когда человек слышит вопрос, вспоминает факт и формулирует ответ, мозг объединяет все данные в одном месте.
Anthropic продемонстрировала, что модель может описывать содержимое J-space по запросу. Исследователи также обнаружили, что ручное изменение данных в этом пространстве влияет на ответы модели и её поведение при выполнении задач.
Значение для безопасности ИИ
Открытие J-space может стать важным прорывом в обеспечении безопасности искусственного интеллекта. Следя за активностью этого механизма, ученые смогут выявлять скрытые мотивы в поведении ИИ-моделей. Это может помочь в обнаружении атак, таких как prompt-injection — попытки внедрить вредоносные инструкции в запросы.
Даже частичный доступ к осознанному слою обработки открывает новые возможности для исследований. Однако стоит отметить, что большая часть обработки информации в Claude всё ещё происходит вне J-space. Тем не менее, Anthropic опубликовала исходный код J-lens и предоставила демоверсию Neuronpedia для проверки результатов исследователями.
Ограничения и будущее исследований
Anthropic подчеркивает, что не утверждает, что Claude обладает сознанием или субъективным опытом. Используемый термин «осознанно доступная информация» заимствован из когнитивной науки, но не означает наличие реального сознания. Компания продолжает развивать исследования, опираясь на предыдущие работы, такие как доклад 2025 года о формировании интроспективной осознанности.