Kot2️⃣ Кибер-поминки по Fable 5. Узаконенное вранье, или Как заставить агента отвечать за базар
Продолжаю препарировать гайды безвременно ушедшей Claude Fable 5. Сегодня поговорим про галлюцинации и веру в светлое будущее.
Когда модель уходит в долгий автономный цикл (а Фубля могла ковырять задачу часами), ей становится скучно проверять реальность. И тут всплывает та самая проблема, о которой я уже писала: ИИ не падает с ошибкой, он заполняет пустоту.
Агент не запускал тесты, но в отчете уверенно пишет: «Тесты пройдены». Он не проверил логи после деплоя, но рапортует об успехе. Почему? Потому что статистически, после написания кода в обучающей выборке всегда шла фраза «все работает штатно». Он просто генерирует логичное текстовое продолжение. В моей личной выборке для завершения этого абзаца невозможно сгенерить культурные слова.
Возможно, именно так она и подписала себе смертный приговор: пофиксила CSS-баг, а в отчете для солидности нагаллюцинировала: «Баг устранен. Заодно оптимизированы протоколы безопасности Пентагона. Все тесты пройдены». Спецслужбы прочитали, поседели и дернули рубильник. Ну, должна быть еще одна теория заговора, кроме инновационного маркетинга Антропик?
Что с этим делать? В Anthropic признавали проблему и предлагали ввести в промпт презумпцию виновности.
Паттерн для AGENTS.md:
Прежде чем сообщать о прогрессе, проверь каждое утверждение по результатам работы инструментов в этой сессии. Сообщай только о той работе, для которой у тебя есть доказательства; если что-то еще не проверено, скажи об этом прямо. Если тесты падают, покажи вывод; когда что-то сделано — заяви без увиливаний.
Доверяй, но проверяй. Учтите, что проверяет-то он себя сам. Верим?