KotНе показалось: как выглядит ИИ-лень на графиках
Лев (@levyas) принес ссылку на независимый трекер Marginlab, который непрерывно замеряет перформанс Claude Code CLI и Codex.
И там сейчас горит алерт о деградации: за последние 7 дней baseline успешных решений упал с 65% до 55%.
Я недавно писала, что по моим ощущениям модель отупела с апреля и стала подрисовывать несуществующие вещи в описания.
Посмотрите на график вызовов инструментов (Tool Calls) по дням. Видите этот эпичный обвал в середине апреля? Количество вызовов тулзов рухнуло с ~3.2k до ~2k. А в конце мая подьем, и после него обратно в пике.
Это же идеально бьется с моими ощущениями! Как раз где то в апреле появилось ощущение, что агент начал халтурить, а на днях я разбирала, как он на серьезных щах выдумал мне то, чего в моем репо не было.
Пытаюсь сделать свои неверные выводы. 😜
Механика кажется простой. Эта ленивая жопа стала реже дергать тулзы. Причины не очевидны, может быть как снижение усилий модели, или какие то косяки в harness.
Но итог такой, вместо того чтобы честно пойти в кодовую базу, вызвать поиск или прочитать файлы через LSP, агент начал пытаться угадывать код из головы. Меньше обращений к реальности = больше слепых зон.
Если вам кажется, что в последнее время за Claude Code нужно проверять каждый чих — вам не кажется. Цифры подтверждают.
PS. Codex на данный момент в хорошей форме