Η Κρυφή Αρχιτεκτονική των AI Agents: Τι Κάνουν Λάθος Όλοι

Αν έχεις πειραματιστεί με AI agents, έχεις πιθανώς παρατηρήσει κάτι περίεργο: κάποιες φορές ακολουθούν πολύπλοκες οδηγίες τέλεια, και κάποιες άλλες αγνοούν τους πιο βασικούς κανόνες που μόλις έγραψες.

Δεν το φαντάζεσαι. Υπάρχει μια θεμελιώδης αρχιτεκτονική κάτω από κάθε AI agent που εξηγεί ακριβώς γιατί συμβαίνει αυτό—και μόλις την κατανοήσεις, όλα τα υπόλοιπα αποκτούν νόημα.

Είναι Απλά Ένα While-True Loop

Ορίστε ένα μυστικό που ακούγεται σχεδόν υπερβολικά απλό: ένα AI agent είναι θεμελιωδώς ένα while-true loop που προσθέτει στοιχεία σε έναν πίνακα.

while True:
    user_input = get_input()
    response = llm.complete(user_input)
    if response.wants_tool:
        result = execute_tool(response.tool_call)
        response = llm.complete(result)
    print(response)

Αυτό είναι. Αυτή είναι η βασική αρχιτεκτονική. Όλα τα υπόλοιπα—οι ορισμοί εργαλείων, τα system prompts, η διαχείριση context—είναι απλά ο σκελετός που περιβάλλει αυτόν τον βρόχο.

Ο "πίνακας" που συζητάμε είναι το context window. Κάθε κλήση API στέλνει ολόκληρη τη συσσωρευμένη συνομιλία. Κάθε γύρος προστίθεται. Το μοντέλο παραμένει εντελώς stateless μεταξύ των κλήσεων.

Το context window σου περιέχει: το system prompt, τους ορισμούς εργαλείων, το μήνυμα χρήστη, τις απαντήσεις του assistant, τα αποτελέσματα εργαλείων, και ό,τι άλλο έχεις στριμώξει εκεί μέσα. Αυτός ο πίνακας μεγαλώνει με κάθε ανταλλαγή.

Το Πρόβλημα της Smart Zone

Εδώ τα πράγματα γίνονται ενδιαφέροντα. Οι περισσότεροι developers υποθέτουν ότι το context window είναι ομοιόμορφο—βάζεις πληροφορία, το μοντέλο την επεξεργάζεται εξίσου.

Δεν ισχύει.

Τα πρώτα περίπου 40% του context window είναι η ζώνη όπου το μοντέλο σκέφτεται καθαρά. Αυτή είναι η "smart zone." Πέρα από αυτό το όριο, η προσοχή ατονεί. Οι επιλογές εργαλείων γίνονται ατημέλητες. Οι οδηγίες παραλείπονται. Ο στόχος αρχίζει να παρεκκλίνει.

Αυτό εξηγεί γιατί η προσθήκη περισσότερου context μπορεί να κάνει τον agent σου να αποδίδει χειρότερα. Τα σύγχρονα thinking models ακολουθούν αξιόπιστα περίπου 150-200 οδηγίες πριν αρχίσουν τα προβλήματα. Πέρα από αυτό το όριο, ακόμα και ρητές εντολές στην κορυφή του prompt αγνοούνται.

Σκέψου το: αν στοιβάζεις system prompts, πολλαπλούς ορισμούς εργαλείων, ιστορικό συνομιλίας και έγγραφα αναφοράς, πιθανώς σπρώχνεις τις χρήσιμες οδηγίες σου πέρα από το σημείο όπου το μοντέλο μπορεί να τις ακολουθήσει αξιόπιστα.

Το Πρόβλημα Κατανομής που Κανείς δεν Συζητά

Τα static fills είναι ο αθόρυβος δολοφόνος της απόδοσης των agents.

Πριν καν ξεκινήσει η συνομιλία σου, πιθανώς γεμίζεις το context window με πράγματα που φαίνονται απαραίτητα: ολοκληρωμένα system prompts, εκτεταμένους ορισμούς εργαλείων, memory banks, διαμορφώσεις MCP, αναφορές τεκμηρίωσης.

Όλο αυτό το static περιεχόμενο καταναλώνει τη smart zone πριν φτάσει το πρώτο μήνυμα χρήστη.

Το αποτέλεσμα; Οι πιο σημαντικές οδηγίες σου—αυτές που ορίζουν τη συμπεριφορά του agent για αυτό το συγκεκριμένο έργο—ανταγωνίζονται για χώρο σε μια συρρικνούμενη smart zone.

Αυτός είναι ο λόγος που οι καλύτεροι agents ξεκινούν φρέσκοι. Μια νέα συνεδρίαση σημαίνει κενό context window. Όχι συσσωρευμένη φθορά. Όχι ανταγωνιστικές οδηγίες από προηγούμενες εργασίες. Μόνο ό,τι χρειάζεσαι για τη δουλειά.

Context Rot: Η Αθόρυβη Κατάσταση Αποτυχίας

Αυτό που είναι πονηρό στη διαχείριση context: τίποτα δεν αποτυγχάνει.

Στο παραδοσιακό λογισμικό, θα εμφανιζόταν σφάλματα. Exceptions. Αποτυχίες που μπορείς να εντοπίσεις και να χειριστείς. Αλλά με τα context windows, κάθε κλήση πετυχαίνει. Το μοντέλο απαντά. Απλά... γίνεται χειρότερο.

Το ίδιο window. Το ίδιο μοντέλο. Απλά γεμίζει.

Αυτό είναι το "context rot"—η σταδιακή υποβάθμιση της απόδοσης του agent καθώς το context window γεμίζει με συσσωρευμένο ιστορικό συνομιλίας, αποτελέσματα εργαλείων και αναφορές τεκμηρίωσης. Δεν θα δεις μήνυμα σφάλματος. Θα παρατηρήσεις απλά τον agent σου να γίνεται λιγότερο αξιόπιστος, λιγότερο εστιασμένος, λιγότερο ευθυγραμμισμένος με τις οδηγίες σου.

Αυτό είναι θεμελιωδώς διαφορετικό από τα τυπικά software bugs. Δεν είναι αποτυχία—είναι πρόβλημα χωρητικότητας. Και σε παρακαλώνει.

Κάνοντας τη Smart Zone να Δουλέψει για Σένα

Η κατανόηση αυτών των αρχών οδηγεί σε πρακτικές στρατηγικές:

Ξεκίνα φρέσκο για κάθε έργο. Μην επαναχρησιμοποιείς ένα κουρασμένο window από ένα προηγούμενο project. Νέες εργασίες παίρνουν νέες συνεδρίες. Καθαρό πλαίσιο, γεμάτη smart zone.

Συμπεριέλαβε μόνο ό,τι χρειάζεται αυτό το έργο. Εκείνη η ενσωμάτωση MCP που είναι χρήσιμη αλλού; Άσε την έξω. Εκείνες οι σημειώσεις από διαφορετικό project; Απλά πιάνουν χώρο. Φίλτραρε ανελέητα ό,τι μπαίνει στο context σου.

Άφησε τα μεγάλα αρχεία στον δίσκο. Περιλήψεις μπαίνουν στο window. Μπορείς πάντα να διαβάσεις ένα αρχείο όταν το χρειάζεσαι—αφού πρώτα το έχεις συνοψίσει για το context window.

Χρησιμοποίησε sub-agents για παράπλευρες αποστολές. Όταν ο agent σου χρειάζεται να εξερευνήσει κάτι σχετικό αλλά πλάγιο με την κύρια εργασία, δημιούργησε ένα sub-agent. Άστο να ερευνήσει και να επιστρέψει μια παράγραφο. Μην αφήσεις την εξερεύνηση να λερώσει το κύριο context σου.

Άφησε χώρο κάτω από τη γραμμή. Όταν ο agent σου τελειώνει την κύρια εργασία, ακόμα χρειάζεσαι να ολοκληρώσεις πράγματα—γράψιμο tests, commit κώδικα, λειτουργία linters. Αν το context είναι γεμάτο, δεν υπάρχει χώρος για αυτό το κρίσιμο τελικό βήμα.

Χώρισε τη μεγάλη δουλειά σε συνεδρίες. Όταν ένα έργο δεν χωράει σε ένα window, σχεδίασέ το πρώτα. Γράψε το spec στον δίσκο. Άσε πολλαπλούς agents να το παραλάβουν από εκεί που τον άφησε ο προηγούμενος.

Το Πραγματικό Συμπέρασμα

Κάθε συνεδρία ξεκινά από το μηδέν. Το context δεν οργανώνεται μόνο του.

Κάποιος πρέπει να χειριστεί την κατανομή context, την περιστροφή, τη συμπίεση και την ανάκαμψη. Κάποιος πρέπει να αποφασίσει τι αξίζει να κρατήσει στη smart zone και τι πάει στον δίσκο.

Η Anthropic στέλνει τον agent harness—το while-true loop, την εκτέλεση εργαλείων, την βασική LLM ενσωμάτωση. Εσύ στέλνεις το επίπεδο γύρω από αυτό. Τη διαχείριση context. Την καθορισμό του task. Τον σχεδιασμό του system prompt.

Η κατανόηση αυτής της αρχιτεκτονικής δεν θα σε κάνει AI expert από τη μια μέρα στην άλλη. Θα σου δώσει όμως ένα πλαίσιο για να διαγνώσεις πότε οι agents σου συμπεριφέρονται άσχημα και ένα λεξιλόγιο για να σκέφτεσαι συστηματικά τη διαχείριση context.

Την επόμενη φορά που ο agent σου θα αρχίσει να αγνοεί οδηγίες, θα ξέρεις ακριβώς τι να ελέγξεις: πόσο από τη smart zone σου είναι ακόμα διαθέσιμη, και τι τη γεμίζει.

Αυτή είναι η κρυφή αρχιτεκτονική. Πήγαινε τώρα και φτιάξε κάτι.