KotДля тех кто поленился сам почитать, под капотом [NLA](https://www.anthropic.com/research/natural-language-autoencoders) — интересная идея.
Берёшь целевую модель, извлекаешь сырые активации. Прогоняешь через «Вербализатор» — он переводит числовые векторы в текст: «о чём сейчас думает ИИ». Потом «Реконструктор» собирает из этого текста исходные векторы обратно. Чем точнее совпадение — тем достовернее перевод.
Проверили на «испорченных» моделях, которым намеренно зашили скрытый мотив (например, пихать шоколад в каждый рецепт или ломать стандарты кода). NLA нашёл корень проблемы напрямую из «мыслей» в 12–15% случаев — без доступа к обучающим данным. Без NLA — меньше 3%.
Теперь пара ложек дёгтя.
Первая: это дорого. На каждый токен активации NLA генерирует сотни своих. О мониторинге в реальном времени речи не идёт.
Вторая, моя любимая: инструмент призванный читать «истинные мысли» ИИ, сам может эти мысли выдумать. NLA может спокойно изобрести контекст разговора, которого не было. Как будто в дурку забыли завезти докторов, и кто из пациентов первым одел халат, тот и доктор.
Код на GitHub. Интерактивное демо — на Neuronpedia.