Ο Πόλεμος των AI Coding Assistants Μπαίνει σε Νέα Φάση

Τα Claude Code, Codex και Gemini CLI έχουν πλέον δοκιμαστεί από χιλιάδες developers σε όλο τον κόσμο. Το ερώτημα δεν είναι πια αν λειτουργούν—αλλά πώς να τα σερβίρεις σε κλίμακα χωρίς να σπάσεις την τράπεζα ή να προσθέσεις latency που θα κάνει τους developers να πετάξουν τα πληκτρολόγιά τους.

Ένα νέο paper από το SyFI lab του University of Washington δημοσιεύει σκληρά νούμερα για το τι σημαίνουν πραγματικά οι agentic φόρτους εργασίας. Τα αποτελέσματα ίσως σε εκπλήξουν: η υπάρχουσα υποδομή LLM serving πιθανώς δεν είναι βελτιστοποιημένη για αυτό.

Η Αυτόνομη Επανάσταση που Κανείς δεν Περίμενε

Κάτι που φαίνεται αυτονόητο μόλις το ακούσεις: οι coding agents δεν απαντούν απλώς σε ερωτήσεις. Εκτελούν σχέδια. Όταν ζητάς από ένα AI assistant να υλοποιήσει μια λειτουργία ή να διορθώσει ένα bug, δεν ξεκινάς μια απλή συναλλαγή ερώτησης-απάντησης. Ξεκινάς ένα αυτόνομο workflow όπου το μοντέλο θα σκεφτεί, θα εκτελέσει εντολές, θα διαβάσει και θα τροποποιήσει αρχεία, θα τρέξει τεστ και θα επαναλάβει μέχρι να ικανοποιηθεί.

Η ερευνητική ομάδα κατέγραψε πάνω από 4.300 πραγματικές συνεδρίες, περίπου 55 δισεκατομμύρια tokens συνολικά. Τα patterns είναι εντυπωσιακά. Κάθε αίτημα χρήστη ενεργοποιεί κατά μέσο όρο 8.8 κύκλους LLM-tools πριν ολοκληρωθεί. Σκέψου το: για κάθε ερώτηση developer, υπάρχουν σχεδόν εννέα γύροι model generation ακολουθούμενοι από tool execution. Και το 88% όλων των inference rounds συμβαίνει όχι ως απάντηση σε user input, αλλά σε tool results.

Αυτό έχει τεράστιες επιπτώσεις στο throughput planning. Τα παραδοσιακά chatbots είναι βασικά request-response συστήματα με περιστασιακά follow-ups. Οι coding agents είναι περισσότερο σαν long-running autonomous processes με συχνό context-switching μεταξύ generation και execution phases. Οι autoscaling policies, το request queuing, οι caching strategies—όλα αυτά χρειάζονται επαναξιολόγηση.

Το Input-Output Asymmetry που Sabotageάρει το Cache σου

Ένα νούμερο που πρέπει να κάνει κάθε infrastructure engineer να διπλοελέγξει: τα inputs υπερτερούν των outputs με λόγο 294 προς 1. Στα traces που αναλύθηκαν, τα μοντέλα διάβασαν 52.56 δισεκατομμύρια cached input tokens και πρόθεσαν 2.34 δισεκατομμύρια νέα, ενώ δημιούργησαν μόνο 186.9 εκατομμύρια output tokens. Ένα τυπικό round περιέχει ένα prefix μεταξύ 32K και 256K tokens και προσθέτει μόνο μερικές εκατοντάδες έως μερικές χιλιάδες tokens πριν αποκωδικοποιήσει μερικές εκατοντάδες.

Αυτό δημιουργεί ένα θεμελιωδώς διαφορετικό performance profile από αυτό που τα περισσότερα LLM serving systems έχουν βελτιστοποιηθεί για. Η παραδοσιακή γλωσσική μοντελοποίηση εστιάζει στη generation throughput—πόσα tokens ανά δευτερόλεπτο μπορούμε να παράγουμε; Για τους coding agents όμως, το bottleneck συχνά δεν είναι η ταχύτητα αποκωδικοποίησης. Είναι το time-to-first-token (TTFT) μετά την επιστροφή των tool results.

Η ομάδα διαπίστωσε ότι το TTFT του Codex για κάθε step είναι περίπου 3.1 δευτερόλεπτα, που αντιπροσωπεύει περίπου το 25% του συνολικού χρόνου generation ενός round. Όταν εκτελείς εννέα rounds ανά request, αυτό το overhead συσσωρεύεται γρήγορα.

Η caching ιστορία είναι επίσης πιο nuanced από ό,τι φαίνεται αρχικά. Το input caching βοηθά με το massive context που κουβαλούν οι coding agents. Αλλά το prefill workload χωρίζεται μεταξύ cached tokens και νέων tokens που χρειάζονται actual computation. Τα short, incremental prefills μετά το tool execution έχουν διαφορετικά performance characteristics από το initial long-context load. Τα serving systems πρέπει να χειρίζονται και τα δύο αποτελεσματικά.

Τα Shell Commands Καταπίνουν τον Κόσμο (ακόμα)

Αν νόμιζες ότι οι coding agents θα ασχολούνταν με sophisticated reasoning και complex refactoring, δεν έκανες λάθος. Αλλά η πραγματικότητα είναι πιο messy. Από τα 433.000 tool calls που καταγράφηκαν στα traces, το 76% ήταν shell ή command executions. Running builds, tests, git operations, file manipulations through CLI tools—το unglamorous stuff που αποτελεί την actual daily workflow του software development.

Τα file edits ήρθαν στο 11%, τα file reads και searches στο 9%, με το planning, sub-agent delegation και web lookups να αποτελούν το υπόλοιπο. Αυτή η συγκέντρωση σε shell commands έχει σημασία για πολλούς λόγους. Πρώτον, αυτές είναι long-tailed operations: ένα απλό ls είναι γρήγορο, αλλά η εκτέλεση ενός full test suite ή η μεταγλώττιση ενός μεγάλου codebase μπορεί να πάρει λεπτά. Η latency distribution εκτείνεται σε τέσσερις τάξεις μεγέθους, που κάνει το capacity planning εφιάλτη.

Δεύτερον, το tool vocabulary ποικίλλει σημαντικά μεταξύ των agents. Το Claude Code χρησιμοποίησε 54 διαφορετικά tools ενώ το Codex χρησιμοποίησε 31, αλλά και τα δύο συγκέντρωσαν τη συντριπτική πλειοψηφία του όγκου τους στο ίδιο core set—shell, file edits, file reads. Αυτό υποδηλώνει ότι η βελτιστοποίηση για αυτά τα high-frequency tools θα μπορούσε να αποφέρει υπερβολικές βελτιώσεις, ακόμα και χωρίς να αντιμετωπίσεις το full tool ecosystem.

Τι Σημαίνει Αυτό για την Υποδομή σου

Αν χτίζεις ή λειτουργείς AI-powered development tools, αυτή η έρευνα υποδεικνύει αρκετά concrete takeaways.

Σκέψου σε workflows, όχι σε requests. Η serving infrastructure χρειάζεται να λαμβάνει υπόψη το αυτόνομο, multi-step χαρακτήρα των coding agents. Αυτό σημαίνει μεγαλύτερους request contexts, πιο εξελιγμένο state management, και batch scheduling ευκαιρίες που ομαδοποιούν σχετικά tool calls μαζί.

Βελτιστοποίησε για τα idle gaps. Οι χρήστες περνούν κατά μέσο όρο 46.7 λεπτά μεταξύ requests, παρά το median think time μόνο 1.4 λεπτά. Η κατανομή είναι εξαιρετικά heavy-tailed—κάποιοι developers επαναλαμβάνουν γρήγορα ενώ άλλοι ξεκινούν ένα request και επιστρέφουν ώρες αργότερα. Έξυπνες prefetching και re-prefill στρατηγικές κατά τη διάρκεια αυτών των idle periods θα μπορούσαν να μειώσουν δραματικά το perceived latency χωρίς να αυξήσουν τα compute costs.

Διαχώρισε τα prefill και decode paths. Η αναλογία 294:1 input-output σημαίνει ότι το prefill computation είναι πιθανώς το dominant cost. Τα incremental prefills μετά το tool execution χρειάζονται διαφορετική βελτιστοποίηση από το initial context loading. Εξέτασε ξεχωριστά resource pools ή scheduling policies για αυτούς τους διαφορετικούς τύπους workload.

Μην ξεχνάς την tool execution infrastructure. Όταν το 76% της agent activity είναι shell commands, το container orchestration, τα filesystem access patterns και το build tool caching γίνονται first-class concerns για το AI agent serving. Το model inference είναι απλώς μέρος του pipeline.

Το Μέλλον

Η TraceLab ομάδα έχει ανοίξει το trace collection και analysis pipeline της, καθιστώντας δυνατό για τις infrastructure ομάδες να παράγουν τα δικά τους traces και να βελτιστοποιούν για actual usage patterns αντί για synthetic benchmarks. Αυτού του είδους τα real-world δεδομένα είναι ακριβώς αυτό που χρειάζεται ο χώρος AI infrastructure καθώς ωριμάζει από "make it work" σε "make it work at scale."

Συμπέρασμα

Η εποχή του coding agent μόλις ξεκινάει, και οι υποδομές που χτίζουμε σήμερα θα καθορίσουν πόσο αποδοτικά θα εξυπηρετούνται οι developers για χρόνια.