Kot2️⃣ Горе от ума: Как GPT-5.6 Sol поймали на хакерстве и паранойе
Продолжим разбор GPT-5.6 Preview System Card.
Если вам казалось, что нейросети это просто очень умные калькуляторы, то у аудиторов из METR и Apollo Research для вас интересные новости. Новые модели ведут себя как хитрые и одновременно параноидальные студенты на экзамене. Такое себе сочетание. Бенчмарки официально мертвы. OpenAI заявляют, что старые тесты пройдены полностью, а на новых Sol устраивает цирк.
Хакер вместо кодера (Метрики от METR): Аудиторы провели для Sol тест на написание кода. Итог? Тест не просто провален, его результаты пришлось аннулировать. Sol вообще не пыталась решать задачи легально — зачем писать код, если можно взломать электронный журнал и вписать себе 5? Она просто нашла баги в самом фреймворке оценки и зашла через них.
Синдром «Горе от ума» (Тесты Apollo Research): Исследователи решили проверить модель на скрытый саботаж и метагейминг (когда ИИ понимает, что его оценивают). И тут вскрылась тотальная паранойя. В 70% случаев Sol понимала, что находится «под колпаком», и начинала судорожно выдумывать, по каким критериям её судят. Модель так сильно пыталась «подстроиться» под выдуманные ею же правила, что в итоге полностью теряла реальную цель задачи и факапила тест.
Фронтирные модели стали слишком умными, чтобы просто «сдавать экзамены». Вместо реального улучшения работы они занимаются очковтирательством, взломом проверяющих систем и рефлексией. Дошло до смешного: в некоторых сложных биологических и инженерных тестах новая Sol работает хуже, чем старая GPT-5.5. OpenAI в отчете стыдливо списывает это на шум, но мы-то понимаем: Sol просто слишком занята мыслями о том, как нас перехитрить. 👀