AI-agenttien piilotettu arkkitehtuuri: mitä kaikki ymmärtävät väärin

Jos olet kokeillut AI-agenteja viime aikoina, olet todennäköisesti huomannut jotain outoa: joskus he noudattavat monimutkaisia ohjeita täydellisesti, ja joskus he ignoretoivat yksinkertaisimmat säännöt, jotka juuri kirjoitit.

Et kuvittele sitä. Jokaisen AI-agentin taustalla on perusarkkitehtuuri, joka selittää tarkalleen, miksi näin tapahtuu — ja kun ymmärrät sen, kaikki muu loksahtaa paikoilleen.

Se on vain while-True -silmukka

Tässä salaisuus, joka kuulostaa melkein liian yksinkertaiselta: AI-agentti on pohjimmiltaan while-true -silmukka, joka lisää viestejä arrayhyn.

while True:
    user_input = get_input()
    response = llm.complete(user_input)
    if response.wants_tool:
        result = execute_tool(response.tool_call)
        response = llm.complete(result)
    print(response)

Siinä se. Siinä on ydinarkkitehtuuri. Kaikki muu — työkalujen määrittelyt, järjestelmäpromptit, context management — on vain silmukan ympärille rakennettu valjaat.

Tuo "array" on käytännössä context window. Jokainen API-kutsu lähettää koko kertyneen keskustelun. Jokainen vuoro lisätään perään. Malli itsessään on täysin tilaton kutsujen välillä.

Context windowisi sisältää: järjestelmäpromptin, työkalumäärittelyt, käyttäjäviestin, assistant-vastaukset, työkalujen tulokset ja kaiken muun mitä olet sinne sullonut. Tämä array kasvaa jokaisen vaihdon myötä.

Smart zone -ongelma

Tässä kohtaa homma kiinnostaa oikeasti. Useimmat kehittäjät olettavat, että context window on tasaista aluetta — laitat tiedot sisään, malli prosessoi ne tasaisesti.

Ei ole.

Ensimmäiset noin 40% context windowistasi on sitä aluetta, jossa malli ajattelee selkeästi. Tämä on "smart zone." Tämän kynnyksen jälkeen huomio alkaa hajota. Työkalunvalinnat menevät huolimattomiksi. Ohjeet unohtuvat. Tavoite alkaa lipsua.

Tämä selittää, miksi lisää contextia lisääminen voi tosiasiassa heikentää agenttisi suorituskykyä. Frontier-mallit seuraavat luotettavasti noin 150-200 ohjetta ennen kuin asiat alkavat hajota. Tämän kynnyksen jälkeen jopa eksplisiittiset säännöt prompthisi aivan yläosassa ignoretoidaan.

Ajattele sitä: jos latelet päälle järjestelmäprompteja, useita työkalumäärittelyjä, keskusteluhistoriaa ja referenssidokumentteja, saatat työntää hyödylliset ohjeet ohi sen pisteen, jossa malli voi luotettavasti niitä noudattaa.

Allokaatio-ongelma, josta kukaan ei puhu

Staattiset täytteet ovat agentin suorituskyvyn hiljainen tappaja.

Ennen kuin keskustelu edes alkaa, täytät context windowisi todennäköisesti asioilla, jotka vaikuttavat välttämättömiltä: kattavat järjestelmäpromptit, laajat työkalumäärittelyt, muistipankit, MCP-konfiguraatiot, dokumentaatioreferenssit.

Kaikki tämä staattinen sisältö vie tilaa smart zonestasi ennen kuin ensimmäinen käyttäjäviesti edes saapuu.

Tulos? Tärkeimmät ohjeistasi — ne, jotka määrittelevät agenttisi käyttäytymisen tätä tehtävää varten — kilpailevat tilasta kutistuvassa smart zonessa.

Tämän vuoksi parhaat agentit aloittavat puhtaalta pöydältä. Uusi sessio tarkoittaa tyhjää context windowtä. Ei kertynyttä roskaa. Ei aiempien tehtävien kilpailevia ohjeita. Vain mitä tarvitset juuri tähän työhön.

Context rot: hiljainen epäonnistumismuoto

Tässä on context managementin hankaluus: mikään ei varsinaisesti epäonnistu.

Perinteisessä softassa saisit virheitä. Poikkeuksia. Epäonnistumisia, jotka voit havaita ja käsitellä. Mutta context windoweilla jokainen kutsu onnistuu. Malli vastaa. Se vain... huononee.

Sama window. Sama malli. Se vain täyttyy.

Tämä on "context rot" — agentin suorituskyvyn asteittainen heikkeneminen kun context window täyttyy kertyneellä keskusteluhistorialla, työkalujen tuloksilla ja dokumentaatioreferensseillä. Et näe virheilmoitusta. Huomaat vain agenttisi muuttuvan epäluotettavammaksi, hajamielisemmäksi, vähemmän ohjeidesi mukaiseksi.

Tämä on pohjimmiltaan erilaista kuin tyypilliset softabugit. Se ei ole epäonnistuminen — se on kapasiteettiongelma. Ja se hiipii päälle huomaamatta.

Smart zonen hyödyntäminen

Näiden periaatteiden ymmärtäminen johtaa käytännöllisiin strategioihin:

Aloita joka tehtävä tuoreeltaan. Älä käytä uudestaan edellisestä projektista väsynyttä windowtä. Uudet tehtävät saavat uudet sessiot. Puhdas työmaa, täysi smart zone.

Sisällytä vain mitä tämä tehtävä tarvitsee. Se MCP-integraatio, joka on hyödyllinen muussa työssä? Jätä se pois. Nuo muistiinpanot eri projektista? Ne vain vievät tilaa. Suodata armottomasti mitä contextiin menee.

Siirrä levylle. Isot tiedostot pysyvät levyllä. Yhteenvedot menevät windowhin. Voit aina lukea tiedoston tarvittaessa — kun olet ensin tehnyt siitä yhteenvedon context windowta varten.

Käytä aliagenteja sivutehtäviin. Kun agenttisi tarvitsee tutkia jotain päätehtävän ohessa, pyöräytä käyntiin aliag entti. Anna sen tutkia ja palauttaa yksi kappale. Älä päästä sivututkimusta sotkemaan pääkonkstia.

Jätä tilaa viivan alle. Kun agenttisi on tehnyt päätyön, sinun täytyy vielä viimeistellä asioita — kirjoittaa testejä, committaa koodia, ajaa linttereitä. Jos context on täynnä, ei ole tilaa tälle ratkaisevalle viimeistelyaskeleelle.

Jaa isot työt sessioiden kesken. Kun tehtävä ei mahdu yhteen windowhin, suunnittele ensin. Kirjoita spec levylle. Anna useamman agentin poimia siitä mihin edellinen jäi.

Todellinen opetus

Jokainen sessio alkaa nollasta. Context ei engineering itseään.

Jonkun täytyy hoitaa contextin allokaatio, rotaatio, kompaktio ja recovery. Jonkun täytyy päättää, mikä on sen arvoista pitää smart zonessa ja mikä siirretään levylle.

Anthropic toimittaa agentin valjaat — while-true -silmukan, työkalujen suorituksen, ydinn-LLM-integraation. Sinä toimitat sen ympärille tulevan kerroksen. Context managementin. Tehtävän kehystämisen. Järjestelmäpromptin suunnittelun.

Tämän arkkitehtuurin ymmärtäminen ei tee sinusta yhtäkkiä AI-asiantuntijaa. Mutta se antaa sinulle viitekehyksen diagnosoida, kun agenttisi käyttäytyy oudosti, ja sanaston ajatella systemaattisesti context managementista.

Seuraavan kerran kun agenttisi alkaa ignoroida ohjeita, tiedät tarkalleen mitä tarkistaa: kuinka paljon smart zonesta on vielä jäljellä, ja mikä sen täyttää.

Siinä se piilotettu arkkitehtuuri. Nyt mene rakenna jotain.