Скритата архитектура на AI агентите: Какво всички разбират погрешно

Ако си експериментирал с AI агенти наскоро, сигурно си забелязал нещо странно: понякога следват сложни инструкции перфектно, а понякога игнорират най-базовите правила, които току-що си написал.

Не си го въобразяваш. Под всеки AI агент се крие фундаментална архитектура, която обяснява точно защо се случва това — и когато я разбереш, всичко си идва на мястото.

Всичко се свежда до While-True цикъл

Ето една тайна, която звучи почти твърде просто: AI агентът по същество е while-true цикъл, който добавя към масив.

while True:
    user_input = get_input()
    response = llm.complete(user_input)
    if response.wants_tool:
        result = execute_tool(response.tool_call)
        response = llm.complete(result)
    print(response)

Толкова. Това е сърцевината на архитектурата. Всичко останало — дефинициите на инструментите, системните подкани, управлението на контекста — е просто рамка около този цикъл.

Масивът, за който говорим, е context window. Всеки API извикване изпраща цялата натрупана размяна. Всяко взаимодействие се добавя. Моделът остава напълно без състояние между извикванията.

Твоят context window съдържа: системната подкана, дефинициите на инструментите, съобщението на потребителя, отговорите на асистента, резултатите от инструментите и каквото друго си напъхал там. Този масив расте с всяка размяна.

Проблемът с Интелигентната зона

Ето къде става интересно. Повечето разработчици приемат, че context window е еднакъв навсякъде — слагаш информация, моделът я обработва еднакво.

Не е така.

Първите около 40% от context window са мястото, където моделът мисли ясно. Това е „интелигентната зона". След този праг, вниманието отслабва. Изборите на инструменти стават немарливи. Инструкциите се изпускат. Целта започва да се отклонява.

Това обяснява защо добавянето на повече контекст всъщност може да влоши работата на агента ти. Моделите с дългосрочно мислене надеждно следват около 150-200 инструкции преди нещата да започнат да се разпадат. След този праг дори експлицитни правила в най-горната част на подканата ти се игнорират.

Помисли: ако наслояваш системни подкани, множество дефиниции на инструменти, история на разговора и референтни документи, може би избутваш полезните си инструкции отвъд точката, където моделът може надеждно да ги следва.

Проблемът с Разпределението, За Който Никой Не Говори

Статичните запълвания са тихият убиец на производителността на агентите.

Преди разговорът ти изобщо да е започнал, вероятно запълваш context window с неща, които изглеждат необходими: изчерпателни системни подкани, обширни дефиниции на инструменти, банки с памет, MCP конфигурации, референции към документация.

Цялото това статично съдържание изяжда твоята интелигентна зона преди първото потребителско съобщение да е пристигнало.

Резултатът? Най-важните ти инструкции — тези, които определят поведението на агента за тази конкретна задача — се състезават за място в свиващата се интелигентна зона.

Ето защо най-добрите агенти започват на чисто. Нова сесия означава празен context window. Няма натрупана мърсотия. Няма конкуриращи се инструкции от предишни задачи. Само каквото ти трябва за работата.

Context Rot: Тихият Режим на Провал

Ето какво е коварно в управлението на контекста: нищо не се проваля.

В традиционния софтуер получаваш грешки. Изключения. Провали, които можеш да засечеш и обработиш. Но с context windows, всяко извикване успява. Моделът отговаря. Просто... става по-лош.

Същият window. Същият модел. Просто се напълва.

Това е „context rot" — постепенната деградация на производителността на агента, докато context window се пълни с натрупана история на разговора, резултати от инструменти и документационни референции. Няма да видиш съобщение за грешка. Просто ще забележиш агента си да става по-ненадежден, по-малко фокусиран, по-малко придържащ се към инструкциите ти.

Това е фундаментално различно от типичните софтуерни бъгове. Не е провал — това е проблем с капацитета. И се промъква незабелязано.

Да Накараме Интелигентната Зона да Работи за Нас

Разбирането на тези принципи води до практически стратегии:

Започвай на чисто за всяка задача. Не преизползвай изморен window от предишен проект. Нови задачи получават нови сесии. Чиста база, пълна интелигентна зона.

Включвай само каквото тази задача има нужда. Онзи MCP интеграция, който е полезен за друга работа? Остави го навън. Онези бележки от различен проект? Просто заемат място. Безмилостно филтрирай какво влиза в контекста ти.

Разтоварвай на диска. Големите файлове остават на диска. Резюметата влизат в window-а. Винаги можеш да прочетеш файл, когато ти трябва — след като си го резюмирал за context window-а.

Използвай под-агенти за странични мисии. Когато агентът ти трябва да проучи нещо странично на главната задача, завърти под-агент. Нека той проучи и се върни с един параграф. Не позволявай на проучването да замърси основния ти контекст.

Оставяй място под линията. Когато агентът ти приключи основната работа, все още имаш нужда да финализираш нещата — писане на тестове, commit-ване на код, пускане на linters. Ако контекстът ти е пълен догоре, няма място за тази ключова последна стъпка.

Разделяй голямата работа между сесии. Когато задача няма да се побере в един window, планирай я първо. Напиши спецификацията на диска. Нека множество агенти я вземат от там, където предишният е спрял.

Истинското Послание

Всяка сесия започва от нулата. Контекстът не се инженерира сам.

Някой трябва да се погрижи за разпределението на контекста, ротацията, компресията и възстановяването. Някой трябва да реши какво си струва да се пази в интелигентната зона и какво се разтоварва на диска.

Anthropic доставят агентната рамка — while-true цикъла, изпълнението на инструменти, основната LLM интеграция. Ти доставяш слоя около нея. Управлението на контекста. Кадрирането на задачата. Дизайна на системната подкана.

Разбирането на тази архитектура няма да те направи AI експерт за една нощ. Но ще ти даде рамка за диагностициране когато агентите ти се държат лошо и речник за систематично мислене за управление на контекста.

Следващия път, когато агентът ти започне да игнорира инструкции, ще знаеш точно какво да провериш: колко от интелигентната ти зона е все още налична и какво я запълва.

Това е скритата архитектура. Сега отиди и направи нещо.