В менеджменте есть старая поговорка: что измеряешь, то и получаешь. Обычно показатели растут, если за ними следить. Программисты десятилетиями спорят о метриках продуктивности, начиная с количества строк кода. Но с появлением ИИ-агентов, генерирующих код, менеджерам стало сложнее понять, что измерять.
Огромные токен-бюджеты — объём вычислительной мощности ИИ, доступный разработчику, — стали предметом гордости в Кремниевой долине. Однако это странный способ думать о продуктивности. Измерять входные параметры бессмысленно, если важнее результат. Это может иметь смысл для стимулирования внедрения ИИ или продажи токенов, но не для повышения эффективности.
Что показывают данные
Компании, анализирующие продуктивность разработчиков, обнаружили: разработчики, использующие инструменты вроде Claude Code, Cursor и Codex, создают больше принятого кода, но им приходится чаще возвращаться к нему для исправлений. Это подрывает заявления о росте продуктивности.
Алекс Чирчей, генеральный директор Waydev, сообщает, что инженерные менеджеры видят уровень принятия кода 80–90%, но упускают из виду «отток» — переделки в последующие недели, из-за чего реальный уровень принятия падает до 10–30% сгенерированного кода. Waydev полностью переработал свою платформу, чтобы отслеживать метаданные ИИ-агентов и давать менеджерам информацию о качестве и стоимости кода.
Данные по отрасли показывают: кода пишется больше, но непропорционально много из него не задерживается.
GitClear в январе обнаружил, что регулярные пользователи ИИ имеют в 9,4 раза больший отток кода, чем их коллеги без ИИ. Faros AI зафиксировал рост оттока кода на 861% при высоком уровне внедрения ИИ. Jellyfish выяснил, что инженеры с самыми большими токен-бюджетами создают больше pull-запросов, но продуктивность растёт не пропорционально: вдвое больше работы при десятикратной стоимости токенов.
Реакция рынка и Amazon
Крупные компании замечают проблему. Atlassian приобрёл DX за $1 млрд, чтобы помочь клиентам понять окупаемость ИИ-агентов. Amazon отключил внутренний лидерборд KiroRank, созданный сотрудниками, после того как он поощрял «токенмаксинг» — чрезмерное использование ИИ ради повышения рейтинга, что увеличивало затраты на вычисления.
Разработчики отмечают накопление технического долга и переделок, особенно у младших инженеров, которые чаще принимают сгенерированный код. Тем не менее, отказываться от ИИ-инструментов никто не собирается. «Это новая эра разработки ПО, и компании вынуждены адаптироваться», — говорит Чирчей.
Источник: techcrunch.com
Дополнительные источники: blog.pragmaticengineer.com, picklebrowser.com, github.com, systima.ai, newsletter.pragmaticengineer.com, businessinsider.com, analyticsinsight.net, dnyuz.com