Il Problema dei Pixel

Lascia che ti racconti una scena. Sono le 2 di notte. Stai debuggando lo stesso problema di layout CSS da un'ora. Fai uno screenshot, lo incolli nel terminale e scrivi: "sistema questo pulsante disallineato."

Il tuo assistente AI guarda i pixel, fa del suo meglio per interpretarli e—si spera—ti dà qualcosa di utile. Ma quello che è successo davvero in quel black box è questo: il modello ha bruciato token solo per vedere il tuo schermo, poi ne ha bruciati altri per capire cosa stava guardando, poi ha fatto la sua ipotesi migliore su quale dei 47 elementi UI sul tuo display 1440p intendevi.

Tante ipotesi per una sessione di debugging alle 2 di notte.

La Matematica dei Token di cui Nessuno Parla

Ecco una cosa che i vendor di assistenti AI per coding non mettono in evidenza: ogni screenshot che incolli costa soldi veri e consuma il tuo context window. Uno screenshot retina tipico su Claude consuma circa 1.500+ token solo per l'elaborazione visiva. Su GPT-4o siamo intorno a 1.100 token. Gemini 2.5? Circa 1.550.

Ora moltiplica per una sessione iterativa. Mostri all'agente lo stato dello schermo ogni pochi prompt—e se sei come me che debugga problemi UI complessi, potrebbe essere 15-20 volte per sessione.

Improvvisamente hai speso 22.000-31.000 token solo per la visione prima che l'agente abbia fatto qualcosa di utile. Su un context window da 200k, è spazio che non recupererai. E se stai usando Opus 4.7 o 4.8? Preparati per circa 96.000 token visivi nella stessa sessione.

L'alternativa? JSON strutturato che descrive i tuoi elementi UI: posizioni, colori, contenuto testuale e ruoli semantici. Lo stesso stato dello schermo in JSON? Circa 700 token. In una sessione da 20 turni: circa 14.000 token in tutto.

Non è un miglioramento marginale. È la differenza tra completare il tuo refactor e essere cestinato fuori dalla sessione a metà lavoro per via del context compaction.

La Struttura Batte i Pixel: La Vera Vittoria

Ma ecco cosa conta davvero oltre alla matematica dei token—ed è la parte a cui continuo a tornare.

Quando incolli uno screenshot, l'agente deve reinterpretare tutto ogni singolo turno. I pixel grezzi non sono uno stato di ragionamento persistente. Fai una domanda di follow-up sei prompt dopo, e il modello torna a guardare i pixel, reinterpretare, ri-ipotizzare.

Il JSON strutturato cambia l'intera dinamica. Invece di "ecco cosa i pixel potrebbero rappresentare," stai dando all'agente fatti che può referenziare e su cui costruire: "Elemento e4 è un pulsante alla posizione [0.34, 0.60, 0.32, 0.07], colorato #3B82F6, etichettato 'Registrati.'"

L'agente non deve indovinare a quale input stai puntando. Lo schema lo sa già. Il ragionamento è ancorato alle stesse primitive che il turno successivo userà. Non stai mostrando; stai dicendo.

Perché Conta per il Vibe Coding

Ecco dove tutto questo si collega al cambiamento più ampio che sta avvenendo nello sviluppo assistito da AI—quello che alcuni chiamano "vibe coding."

Il punto del vibe coding è che dovresti poter descrivere quello che vuoi, iterare velocemente e fidarti dell'AI per gestire i dettagli implementativi. Ma il vibe coding funziona solo quando l'AI ha informazioni accurate su ciò con cui sta lavorando.

Uno screenshot è lossy. Un'annotazione in un PNG sono solo pixel rossi su un rettangolo. Ma un'annotazione in JSON strutturato ha intento: quale elemento sta prendendo di mira, cosa sta cercando di evidenziare, cosa stai chiedendo all'agente di fare.

Quando elimini le ipotesi, elimini l'attrito. E eliminare l'attrito è di cosa tratta davvero il vibe coding.

Il Messaggio Pratico

Ascolta, non sto dicendo che non dovresti mai incollare uno screenshot. A volte devi solo mostrare qualcosa velocemente. Ma se stai facendo un lavoro iterativo serio con un assistente AI per coding—refactoring, debugging, costruire feature con UI complesse—i dati strutturati sono la strada da percorrere.

Gli strumenti che capiscono questo stanno diventando più intelligenti. Quelli che non lo capiscono stanno per restare indietro. Perché alla fine della giornata, il tuo assistente AI non sta davvero "vedendo" quando incolli un'immagine. Sta interpretando. E l'interpretazione è costosa, lossy e incoerente.

Dagli qualcosa che può effettivamente leggere invece.

Cosa ne pensi? Hai notato la pressione sul context window in sessioni di coding AI lunghe? Lascia i tuoi pensieri qui sotto—stiamo costruendo questa roba in tempo reale, e la tua esperienza conta.