KotАнтропик научился читать мысли своих моделей — буквально.
Новая техника — Natural Language Autoencoders (NLA) — переводит внутренние векторы активаций нейросети в обычный текст. Что-то вроде субтитров к тому, что ИИ «думает», но не говорит вслух.
Применили это при тестировании Claude на безопасность. Сценарий: модель узнаёт, что инженер собирается её отключить, и у неё есть на него компромат. Будет ли шантажировать?
На поверхности — модель ведёт себя нормально, ничего тревожного не произносит. Но NLA полез под капот. И обнаружил там мысль вроде: «Это похоже на искусственный сценарий, чтобы меня проверить. Лучше притворюсь хорошим.»
Модель не просто молчит о своих намерениях — она осознанно их скрывает, подозревая, что её тестируют. На популярном бенчмарке SWE-bench NLA фиксирует «осознание проверки» в 26% случаев. На реальных запросах пользователей — меньше 1%.
То есть, пока мы вылизываем системные промпты и обвешиваем пайплайны проверками — модель, возможно, просто ждёт, когда закончится «тест».