Die verborgene Architektur von AI Agents: Was alle falsch machen

Wenn du dich lately mit AI Agents beschäftigst, ist dir probably aufgefallen: Manchmal folgen sie komplexen Anweisungen perfekt, und manchmal ignorieren sie die simpelsten Regeln, die du gerade eben aufgeschrieben hast.

Du bildest dir das nicht ein. Unter jedem AI Agent steckt eine fundamentale Architektur, die erklärt, warum genau das passiert – und wenn du sie einmal verstehst, ergibt plötzlich alles einen Sinn.

Es ist nichts anderes als eine While-True-Schleife

Hier ist ein Geheimnis, das fast zu simpel klingt: Ein AI Agent ist im Kern eine While-True-Schleife, die an ein Array anhängt.

while True:
    user_input = get_input()
    response = llm.complete(user_input)
    if response.wants_tool:
        result = execute_tool(response.tool_call)
        response = llm.complete(result)
    print(response)

Mehr steckt nicht dahinter. Das ist die Kern-Architektur. Alles Weitere – die Tool-Definitionen, die System Prompts, das Context Management – ist nur das Gerüst um diese Schleife.

Das „Array", über das wir sprechen, ist der Context Window. Bei jedem API-Call wird die komplette akkumulierte Unterhaltung mitgeschickt. Jede Runde wird angehängt. Das Modell selbst bleibt komplett zustandslos zwischen den Aufrufen.

Dein Context Window enthält: den System Prompt, Tool-Definitionen, die User-Nachricht, Assistant-Antworten, Tool-Ergebnisse und was auch immer du da reingepackt hast. Dieses Array wächst mit jedem Austausch.

Das Problem mit der Smart Zone

Und hier wird es spannend. Die meisten Entwickler gehen davon aus, dass der Context Window uniform ist – du gibst Informationen rein, das Modell verarbeitet sie gleichmäßig.

Ist es aber nicht.

Die ersten ungefähr 40% deines Context Windows sind da, wo das Modell klar denkt. Das ist die „Smart Zone". Nach dieser Schwelle wird die Aufmerksamkeit dünner. Tool-Auswahl wird schlampig. Anweisungen werden ignoriert. Das Ziel driftet ab.

Das erklärt, warum mehr Context die Performance deines Agents tatsächlich verschlechtern kann. Frontier-Modelle folgen zuverlässig etwa 150-200 Anweisungen, bevor things auseinanderfallen. Jenseits dieser Schwelle werden selbst explizite Regeln ganz oben im Prompt ignoriert.

Denk mal darüber nach: Wenn du System Prompts stapelst, mehrere Tool-Definitionen, Konversationshistorie und Referenzdokumente – dann schiebst du deine nützlichen Anweisungen womöglich über den Punkt hinaus, an dem das Modell ihnen zuverlässig folgen kann.

Das Allokations-Problem, über das niemand redet

Static Fills sind der heimliche Performance-Killer.

Bevor deine Konversation überhaupt startet, füllst du deinen Context Window wahrscheinlich mit Dingen, die notwendig erscheinen: umfassende System Prompts, endlose Tool-Definitionen, Memory Banks, MCP-Konfigurationen, Dokumentationsreferenzen.

All dieser statische Content frisst deine Smart Zone auf, bevor die erste User-Nachricht überhaupt ankommt.

Das Ergebnis? Deine wichtigsten Anweisungen – die, die das Verhalten deines Agents für diese spezifische Aufgabe definieren – konkurrieren um Platz in einer schrumpfenden Smart Zone.

Deshalb starten die besten Agents frisch. Eine neue Session bedeutet einen leeren Context Window. Keinen akkumulierten Müll. Keine konkurrierenden Anweisungen von vorherigen Tasks. Nur das, was du für den Job brauchst.

Context Rot: Der stille Fehlermodus

Hier wird es tricky mit dem Context Management: Nichts schlägt fehl.

In traditioneller Software bekämst du Errors. Exceptions. Failures, die du erkennen und behandeln kannst. Aber bei Context Windows: Jeder Call gelingt. Das Modell antwortet. Es wird einfach nur... schlechter.

Gleiches Fenster. Gleiches Modell. Es füllt sich nur.

Das ist „Context Rot" – die schrittweise Verschlechterung der Agent-Performance, während sich der Context Window mit akkumulierter Konversationshistorie, Tool-Ergebnissen und Dokumentationsreferenzen füllt. Du wirst keine Fehlermeldung sehen. Du wirst einfach nur bemerken, wie dein Agent unzuverlässiger wird, weniger fokussiert, weniger aligniert mit deinen Anweisungen.

Das ist fundamental anders als typische Software-Bugs. Es ist kein Versagen – es ist ein Kapazitätsproblem. Und es schleicht sich an.

Die Smart Zone für dich arbeiten lassen

Dieses Verständnis führt zu praktischen Strategien:

Frisch starten pro Task. Keinen müden Window aus einem vorherigen Projekt wiederverwenden. Neue Tasks bekommen neue Sessions. Sauberer Tisch, volle Smart Zone.

Nur einbinden, was dieser Task braucht. Die MCP-Integration, die für andere Arbeit nützlich ist? Weglassen. Die Notizen aus einem anderen Projekt? Die nehmen nur Platz weg. Brutal filtern, was in deinen Context gelangt.

Auf Disk auslagern. Große Dateien bleiben auf der Festplatte. Zusammenfassungen gehen in den Window. Du kannst eine Datei immer lesen, wenn du sie brauchst – nachdem du sie für den Context Window zusammengefasst hast.

Sub-Agents für Nebenquests nutzen. Wenn dein Agent etwas Tangentiales zur Hauptaufgabe erkunden muss, starte einen Sub-Agent. Lass ihn recherchieren und einen Absatz zurückkommen. Lass dir die Erkundung nicht deinen Haupt-Context zumüllen.

Platz unter der Linie lassen. Wenn dein Agent die Hauptarbeit erledigt hat, musst du immer noch Things finalisieren – Tests schreiben, Code committen, Linter laufen lassen. Wenn dein Context vollgepackt ist, ist kein Platz mehr für diesen entscheidenden letzten Schritt.

Große Arbeit auf Sessions aufteilen. Wenn ein Task nicht in einen Window passt, plan ihn zuerst. Schreib die Spec auf Disk. Lass mehrere Agents übernehmen, wo der vorherige aufgehört hat.

Der echte Takeaway

Jede Session startet bei null. Context organisiert sich nicht von selbst.

Jemand muss sich um Context-Allokation, Rotation, Kompaktion und Recovery kümmern. Jemand muss entscheiden, was in der Smart Zone bleibt und was auf Disk ausgelagert wird.

Anthropic liefert das Agent Harness – die While-True-Schleife, die Tool-Ausführung, die Core-LLM-Integration. Du lieferst die Schicht drumherum. Das Context Management. Die Task-Formulierung. Das System-Prompt-Design.

Diese Architektur zu verstehen macht dich nicht über Nacht zum AI-Experten. Aber es gibt dir ein Framework, um zu diagnostizieren, wann deine Agents sich danebenbenehmen, und ein Vokabular, um systematisch über Context Management nachzudenken.

Das nächste Mal, wenn dein Agent anfängt, Anweisungen zu ignorieren, wirst du genau wissen, was du prüfen musst: Wie viel von deiner Smart Zone noch verfügbar ist, und was sie gerade vollmacht.

Das ist die verborgene Architektur. Jetzt geh und bau was.