A pixelek problémája

Hadd meséljek valamit. Hajnali 2 van. Egy órája ugyanazzal a CSS elrendezési hibával küzdesz. Végül csinálsz egy képernyőképet, beilleszted a terminálba, és leírod: "javísd ki ezt a félrecsúszott gombot."

Az AI asszisztensed squinteget a pixelek között, a legjobb tudása szerint értelmezi——és remélhetőleg ad is valami hasznosat. De mi történt a háttérben: a modell égette a tokeneket, hogy lássa a képernyődet, majd még többet, hogy értelmezze, amit lát, aztán találgatta, hogy a 47 UI elem közül a 1440p kijelződön melyikre is gondoltál.

Elég sok a találgatás egy hajnali 2-kai debugoláshoz.

A token matematika, amiről senki sem beszél

Íme valami, amivel az AI kódolási asszisztens gyártók nem hencegnek: minden beillesztett képernyőkép valódi pénzbe kerül és eszi a kontextus ablakodat. Egy tipikus retina képernyőkép a Claude-on nagyjából 1500+ tokenbe kerül csak a vizuális feldolgozásért. GPT-4o-n ez durván 1100 token. Gemini 2.5? Körülbelül 1550.

Szorozd be ezt egy iteratív munkamenettel. Minden pár promptnál megmutatod az aktuális képernyőállapotot——és ha olyan vagy, mint én komplex UI hibák keresésekor, ez 15-20 alkalommal is előfordulhat.

Hirtelen 22,000 és 31,000 token közötti összeget költöttél el csak a látásra, mielőtt az agent bármi hasznosat csinált volna. Egy 200k-s kontextus ablakon ez olyan terület, amit nem kapsz vissza. És ha Opus 4.7-et vagy 4.8-at használsz? Készülj fel nagyjából 96,000 vision tokenre ugyanez alatt a session alatt.

A alternatíva? Struktúrált JSON, ami leírja a UI elemeidet: pozíciók, színek, szöveges tartalom és szemantikai szerepek. Ugyanaz a képernyőállapot JSON-ban? Körülbelül 700 token. Egy 20 fordulós munkamenetben: nagyjából 14,000 token összesen.

Ez nem marginális javulás. Ez a különbség egy refaktorálás befejezése és a kontextus-kompresszió általi félbeszakítás között.

A struktúra veri a pixeleket: az igazi nyereség

De van valami, ami a token matematikán túl számít——és erre a részre gondolok vissza újra és újra.

Amikor beillesztesz egy képernyőképet, az agentnek újra kell értelmeznie mindent minden egyes fordulónál. A nyers pixelek nem perzisztens következtetési állapot. Kérdezz meg egy follow-up kérdést hat prompttal később, és a modell visszatér a squinteléshez, újraértelmezéshez, újragondoláshoz.

A struktúrált JSON megváltoztatja az egész dinamikát. Ahelyett, hogy "itt van, amit a pixelek talán jelenteni akarnak," facts-okat adsz az agentnek, amire hivatkozhat és amire építhet: "Az e4 elem egy gomb a [0.34, 0.60, 0.32, 0.07] pozíción, #3B82F6 színű, 'Regisztráció' felirattal."

Az agentnek nem kell találgatnia, melyik inputra mutatsz. A séma már tudja. A következtetés ugyanazokon a primitíveken alapul, mint amit a következő fordulóban használni fog. Nem mutogatsz; mondasz.

Miért számít ez a vibe codingnál

Íme, hol kapcsolódik ez az AI-asszisztált fejlesztésben zajló szélesebb paradigmaváltáshoz——amit some "vibe codingnak" hívnak.

A vibe coding lényege, hogy leírd, mit akarsz, gyorsan iterálj, és bízd az AI-ra a megvalósítás részleteit. De a vibe coding csak akkor működik, ha az AI-nak pontos információi vannak arról, amivel dolgozik.

A képernyőkép veszteséges. Egy annotáció a PNG-n csak piros pixelek egy téglalapon. De egy annotáció a struktúrált JSON-ban szándékkal bír: melyik elemet célozza, mit próbál kiemelni, mit kér az agenttől.

Amikor kiküszöbölöd a találgatást, kiküszöbölöd a súrlódást. És a súrlódás kiküszöbölése az, amiről a vibe coding valójában szól.

A gyakorlati tanács

Nézd, nem azt mondom, hogy soha ne illessz be képernyőképet. Néha tényleg csak gyorsan meg kell mutatnod valamit. De ha komoly iteratív munkát végzel egy AI kódolási asszisztenssel——refaktorálás, debugolás, komplex UI-jú funkciók építése——, a struktúrált adat a megoldás.

Azok a toolok, amik ezt megértik, egyre okosodnak. Akik nem, azok hamarosan le fognak maradni. Mert a nap végén az AI asszisztensed igazából nem "lát" amikor képet illesztesz be. Értelmez. És az értelmezés drága, veszteséges és inkonzisztens.

Adj neki valamit, amit igazán el olvashat.

Mit gondolsz? Észrevetted a kontextus ablak nyomását hosszú AI kódolási sessionökben? Írd meg kommentben——ezt valós időben építjük, és a te tapasztalatod számít.