AI Agent的隐藏结构：你可能一直理解错了

最近在鼓捣AI Agent的朋友们，有没有遇到过这种奇怪的情况？

有时候复杂的指令它执行得完美无缺，有时候连最基本的要求都当空气。

这不是你的错觉。这背后有一套底层逻辑，搞清楚之后，很多事情就说得通了。

说白了就是一段循环

先给你们揭秘一个听起来超级简单的真相：AI Agent的核心，就是一个不断向数组追加内容的循环。

while True:
    user_input = get_input()
    response = llm.complete(user_input)
    if response.wants_tool:
        result = execute_tool(response.tool_call)
        response = llm.complete(result)
    print(response)

没了，就这么点东西。什么工具定义、系统提示词、上下文管理，都是套在这个循环外面的包装。

那个"数组"就是context window。每次调用API，把整个积累的对话都发过去。每次对话往里追加内容。模型本身在两次调用之间是完全不记事的。

你的context window里装的是这些：系统提示词、工具定义、用户消息、助手回复、工具执行结果、还有你塞进去的各种参考资料。这堆东西每轮对话都会变大一点。

Smart Zone这个坎儿

好玩的来了。大部分人以为context window是均匀的——往里塞什么，模型就平等对待。

其实不是。

前面大约40%的空间，模型思考得最清醒。这就是"smart zone"。过了这条线，注意力就开始涣散。选工具开始随便、指令开始漏掉、目标开始跑偏。

这就解释了为什么往里塞更多东西，反而可能让agent变差。主流的思考型模型，大概能可靠地follow150到200条指令。再多就开始出问题了。过了这个临界点，就算你把规则写在prompt最顶部，模型也能视而不见。

想想看：如果你堆了一堆系统提示词、大量工具定义、聊天记录、参考资料，是不是很可能把你的关键指令挤到了模型够不着的地方？

没人提的分配问题

静态内容是悄悄杀死agent表现的元凶。

对话还没开始，你可能已经在往context window里填各种"必要"的东西了：详尽的系统提示词、大部头的工具定义、记忆库、MCP配置、文档引用。

这些静态内容在第一个用户消息来之前就把空间吃掉了。

结果就是：你最重要的指令——定义这个agent这次任务行为的那些——只能在越来越小的smart zone里抢位置。

这就是为什么厉害的agent都习惯清零重来。新会话意味着空白的context window。没有积累的垃圾。没有之前任务留下的冲突指令。只有这次工作真正需要的东西。

Context Rot：无声的失败

context管理有个很刁钻的地方：它不会报错。

传统软件里，你会遇到各种错误、异常，失败是可以检测和处理的。但context window不一样，每次调用都成功。模型照常回复。只是……越来越不给力。

同样的窗口、同样的模型。只是装满了。

这就是"context rot"——随着context window被对话历史、工具结果、参考资料填满，agent表现逐渐下降。不会弹出任何错误提示。你只会发现agent越来越不靠谱，越来越跑偏，越来越不听话。

这跟普通的软件bug本质上不一样。不是出了错，是容量不够。而且它是一点一点来的。

让Smart Zone发挥作用的几个招

搞明白这些原理之后，实操策略就清晰了：

每个任务清零重来。 别复用上一个项目留下的疲惫窗口。新任务开新会话，干干净净，smart zone全开。

只放这次需要的。 那个对其他工作很有用的MCP集成？先别加进来。上一个项目的笔记？纯粹占地方。进入context的东西要狠心过滤。

大文件放磁盘上。 大文件存本地，摘要塞进窗口。需要细节的时候随时可以读——读完了再提炼摘要放进去。

旁支任务交给子agent。 当agent需要探索主任务之外的东西，开个子agent去查。查完让它汇报一段话就行。别让探索过程污染主context。

最下面留点余量。 agent干完主活，后面还得收尾——写测试、提交代码、跑检查工具。context塞太满就没空间做这些关键步骤了。

大任务拆开做。 一个窗口塞不下的任务，先规划。把规格说明写到磁盘上。让多个agent接力，前一个写到哪，后一个接着来。

核心结论

每次会话都是从零开始的。context不会自己整理。

总得有人来管context的分配、轮换、压缩和恢复。总得有人决定什么值得留在smart zone里，什么该扔到磁盘上。

Anthropic提供的是agent的外壳——while-true循环、工具执行、LLM集成核心。而你需要负责套在外面的那层。context管理、任务定义、系统提示词设计。

搞懂这套架构不会让你一夜变成AI专家。但至少能给个框架，帮你诊断agent什么时候开始犯病，也给你一套词汇去系统性地思考context管理。

下次你的agent开始无视指令，你就知道该查什么了：smart zone还剩多少空间，里面塞的都是些什么玩意儿。

这就是隐藏的架构。去折腾吧。