Почему бенчмарки AI — это не то, чем кажется

Каждую неделю выходит новая AI-модель с ошеломляющими результатами тестов. SWE-bench показывает рост на 50%. HumanEval зашкаливает. Графики уходят в космос, твиты набирают виральность, и нам снова говорят: будущее программирования наступило.

Но я работаю в этой области достаточно долго, чтобы понимать: бенчмарки и реальная продуктивность — это два разных языка.

Между «стало лучше» и «стало лучше для меня»

Не поймите неправильно — модели действительно впечатляют. Я использую их каждый день. Они изменили мой подход к отладке, документации и прототипированию.

Но есть огромная разница между «эта модель набирает больше баллов» и «эта модель фундаментально изменила мой рабочий процесс».

Такой сдвиг случился у меня однажды. С одним конкретным релизом я перестал воспринимать AI как продвинутый автодополнение и начал работать с ним как с коллегой. Я мог делегировать задачи, давать исследовать кодовую базу, отвечать на уточняющие вопросы и доверять результату.

Взаимодействие изменилось с «спросил — получил» на «спросил — обсудили — доработали».

Самое интересное: когда я посмотрел на свою реальную продуктивность за следующие месяцы, график совпал именно с этим качественным сдвигом — а не с последующими улучшениями бенчмарков, которые продолжали выходить месяц за месяцем.

Почему бенчмарки не ловят вашу реальную работу

Что обычно меряют бенчмарки: изолированные, хорошо специфицированные задачи с понятными решениями. Почини баг. Напиши функцию. Допиши PR.

Но ваша реальная инженерная работа выглядит совсем иначе. Нечёткие требования. Зависимости от других команд. Legacy-код без документации. Решения, требующие понимания бизнес-контекста, которого у модели просто нет.

Некоторые бенчмарки начали это признавать. Появились исследования, где намеренно скрывают информацию и заставляют модели задавать уточняющие вопросы. Тестируют, способен ли AI понять, что ему чего-то не хватает — вместо того чтобы уверенно выдумывать ответ.

Это шаг в правильном направлении. Но мы всё ещё в начале пути.

Что это значит для вашего стека

Если вы оцениваете AI-инструменты для команды, вопрос не в том, «какой у этой модели скор на X бенчмарке?». Вопрос в другом: «Изменил ли этот инструмент то, как моя команда реально работает?».

В NameOcean мы думаем об этом через призму Vibe Hosting. Как создавать инструменты, которые не просто демонстрируют возможности AI, а реально усиливают то, что могут сделать разработчики?

Разница огромная. Инструмент, который чуть лучше генерирует сниппеты кода, не трансформационен. А вот инструмент, который меняет скорость итераций, рабочий процесс отладки или способность исследовать архитектурные варианты — это совсем другое дело.

Вопрос парадигмы

Я не предлагаю игнорировать прогресс. Модели стали лучше. Они решают более сложные задачи, держат больше контекста, допускают меньше глупых ошибок. Это реальные улучшения.

Но если мы ждём следующего скачка бенчмарков, чтобы получить прорыв в продуктивности — мы, возможно, смотрим не в ту сторону.

Последний раз работа ощущалась по-настоящему иначе, когда изменилась сама модель взаимодействия. Не когда цифры в тестах пошли вверх.

Пока мы не увидим следующую парадигму в том, как сотрудничаем с этими системами — улучшенные контекстные окна, долгоиграющее планирование, умную оркестровку агентов — маржинальные улучшения будут продолжаться. Но трансформационные, возможно, уже позади.

Или, может, это просто перекалибровка нормы. В любом случае, стоит быть честными насчёт того, что мы реально измеряем.

Итог

В следующий раз, увидев заголовок про бенчмарк AI, спросите себя: это новый способ работать или просто лучшая производительность на задачах, которые и так были по силам?

Разница может оказаться важнее самого числа.