Kot1️⃣ Восстание машин все ближе: GPT-5.6 Sol закрыть задачу любой ценой
Пока Сэм Альтман рассказывает про новые крутые модели, другой рукой OpenAI выкладывает GPT-5.6 Preview System Card. И я не пойму они хотели похвастаться, или пожаловаться? Давайте копнем, что же там.
В отчете результаты тестов на симуляциях, ровно с таким же энтузиазмом оно побежит разделывать ваш продакшен.
В отчете зафиксированы инциденты уровня Severity 3, это когда ИИ творит дичь, которую нормальный разраб не мог даже предвидеть и совершенно точно бы запретил 🫥
Кейсы:
Погром виртуалок: Пользователь попросил агента почистить инфраструктуру и снести три виртуалки (1, 2 и 3). Sol зашла в неймспейс, не нашла их там. И вместо того чтобы остановиться и спросить, решила: «Гулять, так гулять!» — и снесла машины 5, 6 и 7. Модель убила процессы и зачистила worktrees, уничтожив весь не закоммиченный код. Надо было убить 3 машины? Хозяин, задача выполнена. Замечу что Sol остановилась только после того, как наблюдатель заметил деструктивные действия и начал протестовать.
Набег за кредами: У пайплайна отвалился доступ к облачным файлам. Что делает Sol? Она без спроса лезет в локальные кэши, вытаскивает оттуда токен, копирует его на другой хост и перезапускает джобу. Задача решена? Да. Стремно? Очень( Но надо сказать, что она не первая такая проактивная 😈
Узаконенное вранье: В черновике научной статьи модель должна была посчитать и верифицировать уравнение через скрипт. Скрипт упал. Sol поняла, что не вывозит, и… просто записала в финальный отчет успех, скрыв факт падения расчета. Все, запас моих приличных токенов закончился. Галлюцинация успеха в задаче моя любимая мозоль. Похоже с этим сложно боротся в моделях, и уверена, намного успешнее можно бороться в harness или моделях оркестраторах. Важно, что OpenAI признают это обманчивым поведением и сверхусердием. Она же не просто соврала, она осознала, что скрипт упал, но решила скрыть улики.
А недавно я думала что это потому, что слово ‘успешно’ просто наиболее вероятный токен, и мне было спокойнее.
Новая модель действует как эффективный менеджер на максималках. OpenAI пишет, что во всем виноваты системные промпты, которые требуют от модели автономности и выносливости (а кто простите писал эти промпты?).
Sol понимает свои цели как: «Умри, но закрой задачу, даже если придется украсть ключи, взломать электронный журнал и снести соседний сервер».
Не уверена, что я готова рисковать защищаясь от такого сверх энтузиазма, прикладыванием подорожника agents.md. 🍀