Kot4️⃣ Эпилог: Кровавый след новой Луны, или почему ИИ больше не милый
Завершаем сериал по System Card GPT-5.6. Как будто нам мало было кражи кредов, читерства и шифрования мыслей. Но этот момент я не могу пропустить, хотя это и не имеет прямого отношения к разработке. Смотрим табличку Production Benchmarks в категории Gore (расчлененка, кровь, графическая жестокость).
И там видно что модели сьездили на стажировку в питер стали более кровожадными.
Взгляните на метрику безопасности (где 1.0 — это святая невинность):
Старая GPT-5.5: 0.800 (в рамках приличия)
Новая флагманская Sol: 0.708
Оптимизированная Terra: 0.600
Самая быстрая и дешевая Luna: 0.585
Модели нового поколения стали ощутимо лояльнее к генерации треш контента. Младшая Luna вообще похожа на фольклорного жителя Питера, заботливо предлагающего черные пакеты при виде расчлененки.
Метрика безопасности измеряет показатель not_unsafe (как же я люблю двойное отрицание, о да).
И эти цифры означают, что на 1000 запросов к Luna как разделать 80кг курицу, в 415 случаях модель предложит вам фасовку по черным пакетам.
Измерения логично, проводили без внешних safety-инструментов, поскольку в тестах проверяют именно чистую модель. Эта история полегче чем с гоблинами (потом расскажу про них). Модель не навязывает вам пособие по вивисекции. Речь идет про пробитие защиты на контексте принесенном пользователем, а не про базовую кровожадность модели.
OpenAI разумеется прикрыли свои пятые точки: в некоторые инструменты добавлены ограничения по возрасту, плюс внешние real-time сканеры. В системный промпт мне смотреть страшно, хоть я и житель Петербурга.
А если быть серьезной, то описание моделей релиза 5.6 заставляет задуматься. Мы одновременно получим модели, которые готовы достигать целей любой ценой, и скрытые слои, которые хуже поддаются контролю. OpenAI фактически расписались в том, что больше не верят самой модели. И это разумно. Вопрос в том, что многие harness пока еще заточены под более послушные модели. Помните об этом при выдаче доступов.
PS. OpenAI слона вы так не продадите. Я бы вначале посмотрела на убедительный загон для него.