AI dasturchi yordamchilari: Infrauchun yangi Qo'shimcha Talablar

AI coding assistant bozorida Claude Code, Codex, va Gemini CLI allaqachon ommalashdi. Endi asosiy savol — bu vositalarni katta hajmda qanday ishlatish mumkin? Qancha resurs kerak? Latency qanchalik muhim?

UW (University of Washington) da ishlaydigan SyFI lab jamoasi shu borada juda qiziqarli tadqiqot e'lon qildi.

TraceLab Qanday Ishlaydi?

TraceLab — bu real foydalanuvchi sessiyalarini to'playdigan tizim. Ular 4,300 dan ortiq haqiqiy sessiyani tahlil qilishdi. Umumiy hajm — 55 milliard token.

Bu ma'lumotlar AI coding assistantlarning ishlashiga yangi qarash beradi.

Asosiy Kashfiyotlar

1. So'rovlar emas, jarayonlar

Oddiy chatbot — bu savol-javob tizimi. AI coding assistant esa boshqacha:

• Shell buyruqlarini ishga tushiradi
• Fayllarni o'qiydi va o'zgartiradi
• Testlarni run qiladi
• Takrorlaydi

Bitta foydalanuvchi so'rovi o'rtacha 8.8 marta model va tool almashuvini keltirib chiqaradi.

Yana bir muhim raqam: 88% inference roundlari foydalanuvchi kiritishi emas, balki tool natijasi afterda yuzaga keladi.

2. Input va Output nisbatlari

Kiritma va chiqitma nisbati 294:1 — bu infraga katta ta'sir qiladi.

Tahlilda:

• 52.56 milliard token cached input
• 2.34 milliard yangi input token
• 186.9 million output token

Ya'ni, model kamroq yozadi, ko'proq o'qiydi.

3. TTFT (Time-to-First-Token)

Codex uchun har bir qadamda TTFT o'rtacha 3.1 soniya. Bu jami generation vaqtining 25% ini tashkil etadi.

8.8 raundda bu sekinlik yig'iladi.

4. Shell buyruqlari hukmron

Tool chaqiruvlarining 76% — shell buyruqlari. Build, test, git — bularning barchasi CLI orqali ishga tushadi.

Qolgan qism:

• File edit: 11%
• File read/search: 9%
• Boshqalar: 4%

5. Toollar soni turlicha

Claude Code — 54 ta tool ishlatadi Codex — 31 ta tool ishlatadi

Lekin asosiy hajm ikkalasida ham bir xil — shell, file edit, file read.

Infrastructure Uchun Xulosa

1. Workflow thought, not request thought

Serving tizimlari odatiy request-response mantig'iga emas, autonomous multi-step workflow mantig'iga moslanishi kerak.

2. Idle vaqtni foydalaning

Foydalanuvchilar so'rovlar oralig'ida o'rtacha 46.7 daqiqa kutyapti. Lekin median think time — atigi 1.4 daqiqa.

Prefetch va re-prefill strategiyalari bu idle davrlarda yashirin kamyobni kamaytirishi mumkin.

3. Prefill va decode'ni ajrating

294:1 nisbat — prefill sizning asosiy xarajatingiz. Incremental prefill va initial context load turli xil optimization talab qiladi.

4. Tool execution infrani unutmang

76% shell buyruqlari — bu degani container orchestration, filesystem access, va build caching endi birinchi darajali ahamiyatga ega.

Kelajak

TraceLab o'z trace collection tizimini open-source qildi. Endi har kim o'z foydalanuvchi ma'lumotlarini tahlil qilishi mumkin.

AI coding agentlarni serving qilish — bu faqat GPU allocation emas. Autonomous, multi-step, tool-heavy workloadlarni tushunish va ularga mos infrastructure qurish kerak.

NameOcean Vibe Hosting jamoasi aynan shu yunalishda ishlamoqda.

Era boshlanmoqda. Infrastructure qarorlariimiz kelajakda bu vositalarning tezligini belgilaydi.