Гонка AI-ассистентов выходит на новый уровень: как готовить инфраструктуру к автономным агентам

Claude Code, Codex, Gemini CLI — эти инструменты уже прошли проверку боем. Вопрос «работают ли они вообще?» больше не стоит. Теперь все думают об одном: как заставить их работать стабильно и быстро, когда пользователей тысячи?

И вот тут начинается самое интересное.

Исследователи из лаборатории SyFI Вашингтонского университета опубликовали данные, которые заставляют пересмотреть всё. Цифры основаны на реальных сессиях — не на синтетических бенчмарках, а на том, что происходит, когда разработчики по-настоящему используют эти инструменты.

Что такое TraceLab и почему это важно

TraceLab — это проект по сбору и анализу трассировок AI-ассистентов. Команда собрала больше 4300 реальных сессий, через которые прошло примерно 55 миллиардов токенов. Это не игрушечные примеры из документации — это живые разработчики, решающие реальные задачи.

Данные оказались неожиданными. И если вы строите инфраструктуру для AI-инструментов, эти результаты должны вас заставить задуматься.

Автономность — это не маркетинговый слоган

Вот что меня поражает в этих цифрах. Когда разработчик просит AI добавить функцию или исправить баг, это не запрос-ответ в чистом виде. Это запуск автономного процесса. Модель рассуждает, выполняет команды, читает и редактирует файлы, запускает тесты, повторяет — и так до победного конца (или пока пользователь не остановит).

Каждая такая сессия включает в среднем 8.8 циклов «модель — инструмент». Вдумайтесь: один запрос пользователя порождает почти девять раундов генерации и выполнения. Модель не просто отвечает — она работает.

И вот что ещё важнее: 88% всех обращений к LLM происходят не после действий пользователя, а после выполнения инструментов. Модель получила результат работы команды, обработала его и продолжила действовать.

Для инфраструктуры это означает полную перестройку мышления. Обычный чат-бот — это запрос-ответ с редкими уточнениями. Агент — это долгоиграющий процесс с постоянными переключениями между генерацией и выполнением. Ваши политики автоскейлинга, очереди запросов, стратегии кэширования — всё это нужно переосмыслить с учётом автономных многошаговых сценариев.

Асимметрия ввода и вывода, которая ломает ваш кэш

Цифра, которая заставит любого инфраструктурного инженера насторожиться: входные данные превышают выходные в 294 раза.

В проанализированных трассировках модели прочитали 52.56 миллиарда кэшированных входных токенов, сгенерировали 2.34 миллиарда новых входных токенов — и произвели всего 186.9 миллионов выходных токенов. Типичный раунд содержит префикс от 32K до 256K токенов, добавляет несколько сотен или тысяч новых токенов, и генерирует пару сотен выходных.

Традиционная оптимизация языковых моделей сосредоточена на скорости генерации — сколько токенов в секунду мы можем произвести. Но для coding-агентов узкое место часто не скорость декодирования, а время до первого токена (TTFT) после возврата результатов инструмента. Исследователи обнаружили, что TTFT для Codex составляет около 3.1 секунды — это примерно четверть общего времени генерации на раунд. А раундов, напомню, почти девять на запрос.

Кэширование тоже сложнее, чем кажется. Да, префикс-кэширование помогает с огромным контекстом. Но нагрузка делится между кэшированными токенами и новыми, требующими реальных вычислений. Короткие инкрементальные префиллы после выполнения инструментов ведут себя иначе, чем начальная загрузка длинного контекста. Serving-системы должны эффективно обрабатывать оба сценария, хотя оптимальные стратегии для них могут отличаться.

Shell-команды — основа всего

Если вы думали, что AI-ассистенты занимаются сложным рефакторингом и глубоким ревью — отчасти да, но реальность прозаичнее.

Из 433,000 захваченных вызовов инструментов 76% — это выполнение shell-команд. Сборка проектов, запуск тестов, git-операции, манипуляции с файлами через CLI — не glamorous работа, но именно из неё и состоит ежедневный труд разработчика.

Редактирование файлов заняло 11%, чтение и поиск — 9%. Остаток поделили планирование, делегирование подзадачам и веб-поиск.

Концентрация на shell-командах важна по нескольким причинам. Во-первых, это долгохвостые операции. Простой ls выполняется мгновенно, а запуск полного набора тестов или компиляция большого проекта может занять минуты. Распределение латентности охватывает четыре порядка величины — и это делает планирование ёмкости кошмаром.

Во-вторых, набор инструментов варьируется между агентами. Claude Code использовал 54 разных инструмента, Codex — 31, но оба концентрировали основной объём на одном и том же ядре: shell, редактирование файлов, чтение. Это намекает, что оптимизация под высокочастотные инструменты может дать непропорционально большой эффект, даже без охвата всего инструментария.

Что это значит для вашей инфраструктуры

Если вы строите или эксплуатируете AI-инструменты для разработчиков, исследование указывает на конкретные выводы.

Думайте в терминах workflow, а не запросов. Ваша serving-инфраструктура должна учитывать автономную, многошаговую природу coding-агентов. Это означает более долгие контексты запросов, более сложное управление состоянием и возможности для батчинга связанных вызовов инструментов вместе.

Оптимизируйте простои. Пользователи в среднем ждут 46.7 минут между запросами, хотя медианное время «подумать» — всего 1.4 минуты. Распределение крайне тяжелохвостое: одни разработчики итерируют быстро, другие запускают задачу и возвращаются через часы. Умное предварительное выполнение и стратегии повторного префилла в эти периоды простоя могут драматически снизить воспринимаемую латентность без увеличения стоимости вычислений.

Разделите пути префилла и декодинга. Соотношение входных и выходных данных 294:1 означает, что префилл-вычисления, вероятно, ваша доминирующая статья расходов. Инкрементальные префиллы после выполнения инструментов требуют другой оптимизации, чем начальная загрузка контекста. Рассмотрите отдельные пулы ресурсов или политики планирования для разных типов нагрузки.

Не забывайте инфраструктуру выполнения инструментов. Когда 76% активности агента — это shell-команды, ваша контейнерная оркестрация, паттерны доступа к файловой системе и кэширование сборок становятся полноценными требованиями для serving AI-агентов. Вывод модели — лишь часть конвейера.

Куда всё движется

Команда TraceLab открыла исходный код своих инструментов сбора и анализа трассировок. Теперь инфраструктурные команды могут генерировать собственные трассировки и оптимизировать под реальные паттерны использования, а не синтетические бенчмарки. Именно такие реальные данные нужны AI-инфраструктуре, пока она matured от «лишь бы работало» к «работало масштабно».

Для нашего сообщества NameOcean Vibe Hosting эти данные подсвечивают, почему мы инвестируем в инфраструктуру, выходящую за рамки простого выделения GPU. Serving AI coding-агентов — это не только про сырую вычислительную мощность. Это про понимание уникальных характеристик агентных нагрузок и построение систем, способных справляться с автономной, многошаговой, инструментонасыщенной реальностью того, как разработчики действительно используют эти инструменты.

Эра coding-агентов только начинается. И инфраструктурные решения, которые мы принимаем сегодня, определят, насколько эффективно эти инструменты будут служить разработчикам долгие годы.