KotGPT-5.5 Pro** **$2.43 за один баг, который Sonnet 4.6 нашёл за 9 центов
GPT-5.5 Pro $2.43 за один баг, который Sonnet 4.6 нашёл за 9 центов
Лев (@levyas) подкинул идею, повторить сравнение ревью кода разными моделями. Делала такой анализ когда готовила выступление для SPB DotNet (AI Code Review).
Прошло больше чем полгода, пора конечно повторить исследование, и заодно захотелось обобщить методику для повторяемости. Новые модели сейчас появляются почти каждый день, хочется держать руку на пульсе.
Прогнала diff багфикса, сделанного на логике, омытой слезами нескольких поколений разрабов проекта. Изначально фича слеплена подрядчиком в стиле “раз-два и в продакшен”. Дальше как обычно, руки не доходили привести в порядок.
Исправления были сделаны через TDD. Вначале текущее поведение закрепили тестами, потом внесли исправления, убедились что крашнулся именно тот тест, который ожидали. Спойлер, в ревью нашли-таки и в текущем поведении баги, кроме той, которую чинили.
Все 17 моделей гонялись через OpenRouter API, bounded-context — diff + 4 контекстных файла, без тулов и хождения по репе.
Результат AI code review 17 моделями: 143 находки, 58 уникальных кластеров после дедупликации. Настоящих production-багов — 4 штуки. 7%.
Лидеры после ручной разметки находок:
Ни одна из 17 моделей не нашла все 4 бага. Лучший результат — 2 из 4.
🏆 Claude Sonnet 4.6 — $0.09 за реальный баг, нашла 2/4, 0% галлюцинаций
🥈** DeepSeek V4 Flash** — $0.01, 1/4, 100% точно, 0% галлюцинаций. Чистый результат без мусора.
🥉 GPT-OSS 120B — ~$0, 1/4, но в выводе 56% шума. На реальных ревью это бесит. Но может быть бесплатно поднята в контуре компании.
👻 Claude Opus 4.7 — $0.42 за баг, 1/4. Есть вопросики.
💸 GPT-5.5 Pro — $2.43 за баг. Шок контент.
🌪 GPT-5.4 выдал 12 находок. Ноль реальных багов. Суетолог.
Внезапно, самая дорогая модель оказалась самой бесполезной для code review. Reasoning на этой задаче не то что помогает, а скорее мешает и жрёт деньги как не в себя.
Интересные находки. Один из четырёх багов нашла только Sonnet 4.6, единственная из 17 моделей. Параметр есть в сигнатуре метода, но в Where его нет. Roslyn молчит, потому что параметр используется в другом месте. Тесты не ловят, потому что тут нужен integration тест, а в проекте только юниты. Sonnet прочитала семантику Where и увидела дыру. Как будто тут антропик должен мне денег за рекламу, а не два заблоченных акка и кучу просранных денег из-за кривого биллинга. Но увы нет.
Стоимость этой находки: 18 центов за ревью Sonnet 4.6 через OpenRouter.
Важно: проверено на одном багфиксе в legacy-логике с высокой плотностью багов. Вероятно, что на более аккуратном коде цифры будут другими. Буду проверять еще, попробую прикрутить проверку именно в агентском режиме.
Если хотите поиграть со своими диффами, выложила методику в открытый доступ: ai-code-review-benchmark