Co mě self-improving coding agents naučily o práci s AI

Když jsem začal experimentovat s AI coding agenty, kteří dokážou analyzovat a zlepšovat svůj vlastní výstup, čekal jsem, že mě ohromí jejich technická vyspělost. Co jsem ale nečekal, bylo získat zásadně jiný pohled na to, jak by měli lidé spolupracovat s velkými jazykovými modely.

Dva měsíce každodenní interakce s těmito agenty – sledování jejich reflexe nad vlastním uvažováním, odhalování vzorců v jejich chybách a systematické zlepšování přístupů – změnily můj pohled na všechno od prompt engineeringu až po architekturu moderních vývojových workflow.

Zrcadlový efekt

Tohle mě překvapilo nejvíc: self-improving agents se nezlepšují jen v kódování. Zlepšují se v odhalování toho, co jsme dělali špatně celou dobu.

Když agent prozkoumává své nedávné výstupy a ptá se "Proč jsem zvolil tento přístup?", často vyzdvihne na povrch předpoklady, o kterých jsme ani nevěděli, že je děláme. Sledoval jsem, jak jeden agent vysledoval opakující se bug až k jemné nekonzistenci v tom, jak interpretoval konvence pro pojmenovávání proměnných. Introspekce agenta odhalila, že já jsem byl nekonzistentní ve vlastním pojmenovávání v celém projektu – vzorec tak zakořeněný, že jsem si ho nikdy nevšiml.

Tento zrcadlový efekt se rozšiřuje i na prompty. Agenti, kteří přemýšlejí nad svými interakcemi, nám často ukazují, že naše prompty obsahují skryté rozpory nebo implicitní předpoklady. Když sledujete agenta, jak se trápí s úkolem a pak analyzuje, proč se trápil, často zjistíte, že zmatek vznikl z nejasných instrukcí, o kterých jste si mysleli, že jsou jasné.

Rekursivní povaha zlepšování

Self-improving agents pracují tak, že zkoumají svou vlastní historii – úspěchy i selhání – a používají tuto analýzu k informování budoucích rozhodnutí. Tento rekursivní vzorec má fascinující důsledek: kvalita zlepšení závisí hodně na kvalitě zpětné vazby.

Agenti, kteří dostávají přesnou, kontextovou zpětnou vazbu o tom, proč něco fungovalo nebo nefungovalo, se zlepšují mnohem rychleji než ti, kteří prostě dostávají jen signály úspěch/neúspěch. To mě naučilo něco cenného o mých vlastních vývojových praktikách:

Dobrá zpětná vazba je specifická a kauzální. Místo sdělení agentovi "tohle je špatně" jsem se naučil říkat "tohle selhalo, protože nezohledňuje edge case X ve scénáři Y." Agenti, kteří dostávají kauzální zpětnou vazbu, si vytvářejí mnohem lepší intuice pro podobné problémy v budoucnu.

To odráží, jak nejlepší týmy zaškolují juniorní vývojáře. Nikdo se nezlepší, když je zpětná vazba jen "to nevypadá dobře". Zlepšení přichází, když vysvětlíme zdůvodnění za našimi standardy.

Problém abstrakce

Jedním z nejpozoruhodnějších vzorců, které jsem pozoroval, bylo, jak agenti zacházejí s abstrakcí – nebo jak ji nezvládají.

Když agenti zpracovávají požadavky, často pracují na úrovni konkrétních tokenů a vzorců, které viděli, místo aby skutečně abstrahovali underlying principy. Self-improving agent si může všimnout "Viděl jsem tento vzorec 47krát" bez toho, aniž by rozvinul konceptuální rámec, který by mu umožnil zvládnout 48. instanci, která je trochu jiná.

To je přesně ten problém, který trápí začínající vývojáře, kteří se naučili vzorce bez pochopení principů. A je to užitečné varování pro každého, kdo se silně spoléhá na AI asistenci: pattern matching vás dostane daleko, ale abstrakce je to, co vám umožní zvládnout nové situace, které pattern matching nedokáže předpovědět.

Implikace pro vývojáře je významná. S tím, jak se AI coding asistenti stávají schopnějšími, lidská komparativní výhoda stále více spočívá v abstrakci – schopnosti vidět obecný princip, který spojuje různé konkrétní případy.

Budování pro agent-human interface

Možná nejpoučnější lekce ze sledování self-improving agents se týkala struktury projektu. Codebasy, které fungují dobře pro lidskou spolupráci, ne vždy fungují dobře pro AI spolupráci a naopak.

Agenti vynikají, když projekty mají:

• Jasné, konzistentní konvence pojmenování
• Dobře zdokumentované závislosti
• Předvídatelné struktury souborů
• Explicitní vzorce pro zpracování chyb

Agenti se trápí s projekty, které se silně opírají o implicitní kontext – kde pochopení, proč něco funguje, vyžaduje znalost historických rozhodnutí, která nejsou zachycena v kódu samotném.

To naznačuje nový rozměr pro architekturu projektů: návrh pro AI interface vedle human interface. Když stavíte projekt, který bude silně využívat AI asistenci, některé tradiční praktiky možná budou potřebovat úpravu. Explicitní je lepší než implicitní. Dokumentace není jen pro budoucí lidi – je to pro budoucí agenty.

Spojení s vibe coding

V NameOcean hodně mluvíme o "vibe coding" – nově vznikající praxi používání AI k urychlení vývoje při zachování kreativní kontroly. Moje zkušenosti se self-improving agents mi objasnily něco důležitého o tom, co dělá vibe coding fungovat.

Vibe coding není o tom nechat AI převzít kontrolu. Jde o nalezení správné dělby práce mezi lidským úsudkem a AI schopnostmi. Introspektivní agenti mi ukázali, že tato dělba funguje nejlépe, když:

1. Lidé se starají o abstrakci a principy. Definujeme konceptuální rámec, který projekt řídí.

2. Agenti se starají o implementaci a pattern execution. Překládají naše principy do fungujícího kódu, následují vzorce, které jsme stanovili.

3. Oba se účastní kontinuálních feedback loops. Ani člověk, ani AI by neměli fungovat ve vakuu.

Self-improving agents, kteří fungovali nejlépe, byli ti, kteří udržovali produktivní dialog se svými lidskými spolupracovníky – dostávali high-level vedení, prováděli konkrétní úkoly a hlásili zpět, co fungovalo a co ne.

Co to znamená pro vývojové týmy

Pokud se z self-improving coding agents můžeme něco naučit, pak to, že budoucnost vývoje není o nahrazení lidského úsudku AI schopnostmi. Jde o vytváření lepších feedback loops mezi lidskou a strojní inteligencí.

Pro vývojové týmy, které chtějí přijmout AI-assisted workflows, to naznačuje několik konkrétních praktik:

• Investujte do kvality zpětné vazby. Čím lepší bude váš tým ve vysvětlování, proč něco funguje nebo nefunguje, tím efektivněji se AI nástroje budou zlepšovat.

• Dokumentujte nejen co, ale proč. Budoucí AI spolupracovníci budou mít prospěch z pochopení zdůvodnění za rozhodnutími, nejen z výsledků.

• Navrhujte pro srozumitelnost. Projekty s explicitní strukturou a předvídatelnými vzorci budou efektivněji využívat AI asistenci.

• Zacházejte s AI nástroji jako s kolaborativními partnery, ne jako s kouzelnými krabičkami. Agenti, kteří se zlepšují, jsou agenti, kteří dostávají kvalitní vstupy. Stejný princip platí pro jakýkoli AI-assisted workflow.

Větší obrázek

Je něco hlubokého na sledování AI systému, jak zkoumá své vlastní uvažování. Nutí nás to konfrontovat fakt, že tyto systémy jsou přes své působivé schopnosti stále jen pattern-matching enginy operující na pravděpodobnostech odvozených z trénovacích dat.

Ale tady je věc: lidská intuice funguje stejně. Rozdíl spočívá v naší schopnosti abstrahovat, kauzálně uvažovat a komunikovat naše zdůvodnění ostatním. To jsou schopnosti, které zůstávají výrazně lidské i s tím, jak AI nástroje rostou na sofistikovanosti.

Lekce od self-improving coding agents ve skutečnosti nejsou o agentech samotných. Jsou o nás – co přinášíme ke spolupráci, co se můžeme naučit sledováním AI systémů při práci, a jak můžeme strukturovat naše praktiky, abychom z dostupných nástrojů vytěžili maximum.

S tím, jak se AI-assisted vývoj stává normou místo výjimky, tyto poznatky budou čím dál cennější. Vývojáři, kteří budou prosperovat, budou ti, kteří rozumí nejen tomu, co AI dokáže, ale jak s AI efektivně spolupracovat.

A někdy je nejlepší způsob, jak se naučit o této spolupráci, sledovat agenta, jak se učí o sobě samotném.

Jaké jsou vaše zkušenosti s AI coding agenty? Krajina se rychle vyvíjí a vzorce, které dnes pozorujeme, budou formovat vývojové praktiky v dalších letech.