Pourquoi parler à votre IA en données structurées surpasse les captures d'écran à chaque fois

Le problème avec les captures d'écran

Imagine la scène. Il est 23h. Tu galères depuis une éternité sur un problème de mise en page CSS. Finalement, tu fais une capture d'écran, tu la colles dans ton terminal, et tu tapes : « corrige ce bouton mal aligné ».

Ton assistant IA regarde les pixels du mieux qu'il peut, fait son interprétation, et — avec un peu de chance — te donne quelque chose d'utile. Mais ce qui s'est vraiment passé dans les coulisses : le modèle a dépensé des tokens juste pour voir ton écran, puis d'autres pour comprendre ce qu'il voyait, avant de deviner lequel des 47 éléments UI sur ton display 1440p tu voulais cibler.

Pas idéal pour une session de debug à 23h.

La face cachée de la consommation de tokens

Voici ce que les éditeurs d'assistants IA pour le coding ne mettent pas en avant : chaque capture d'écran te coûte de l'argent réel et grignote ton context window. Une capture retina classique sur Claude, c'est environ 1500+ tokens pour le traitement visuel. Sur GPT-4o, on tourne autour de 1100 tokens. Gemini 2.5 ? Environ 1550.

Maintenant multiplie par une session itérative. Tu montres l'état de ton écran toutes les quelques prompts — ce qui, si tu debug comme moi des interfaces complexes, peut représenter 15 à 20 fois par session.

Tu arrives vite à 22 000 ou 31 000 tokens rien qu'en vision, avant même que l'agent ait fait quoi que ce soit d'utile. Sur un context window de 200k, c'est de la surface que tu ne récupéreras pas. Et si tu tournes sur Opus 4.7 ou 4.8 ? Prépare-toi pour environ 96 000 tokens visuels sur la même session.

L'alternative ? Du JSON structuré qui décrit tes éléments UI : leurs positions, couleurs, contenu textuel, rôles sémantiques. Le même état d'écran en JSON ? Environ 700 tokens. Sur une session de 20 tours : à peine 14 000 tokens au total.

On ne parle pas d'une amélioration marginale. C'est la différence entre finir ton refactoring ou se faire virer du context window en pleine session.

La structure bat les pixels : le vrai gain

Mais voici ce qui compte vraiment au-delà des maths de tokens — et c'est le point sur lequel je reviens sans cesse.

Quand tu colles une capture d'écran, l'agent doit réinterpréter tout à chaque tour. Les pixels bruts ne constituent pas un état de raisonnement persistant. Tu poses une question de suivi six prompts plus tard, et le modèle retourne à scruter les pixels, réinterprète, redévine.

Le JSON structuré change complètement la dynamique. Au lieu de « voilà ce que les pixels représentent peut-être », tu donnes à l'agent des faits qu'il peut référencer et réutiliser : « L'élément e4 est un bouton en position [0.34, 0.60, 0.32, 0.07], de couleur #3B82F6, libellé 'S'inscrire'. »

L'agent n'a pas à deviner quel champ tu vises. Le schéma le sait déjà. Le raisonnement s'appuie sur les mêmes primitives que le tour suivant utilisera. Tu ne montres pas ; tu expliques.

Pourquoi c'est crucial pour le vibe coding

Voici où ça se connecte au changement plus large en cours dans le dev assisté par IA — ce que certains appellent le « vibe coding ».

L'intérêt du vibe coding, c'est de pouvoir décrire ce qu'on veut, itérer rapidement, et faire confiance à l'IA pour gérer les détails d'implémentation. Mais le vibe coding ne fonctionne que quand l'IA dispose d'informations précises sur ce avec quoi elle bosse.

Une capture d'écran, c'est une compression avec perte. Une annotation dans un PNG, c'est juste des pixels rouges sur un rectangle. Mais une annotation en JSON structuré porte de l'intention : quel élément elle cible, ce qu'elle essaie de mettre en avant, ce que tu demandes à l'agent de faire.

Quand tu vires la devinette, tu vires les frictions. Et virer les frictions, c'est vraiment le but du vibe coding.

Le conseil pratique

Holà, je ne dis pas de ne jamais coller une capture d'écran. Des fois, tu dois juste montrer un truc rapidement. Mais si tu fais du travail itératif sérieux avec un assistant IA — refactoring, debug, création de features avec des UI complexes — la data structurée, c'est la voie.

Les outils qui comprennent ça gagnent en intelligence. Les autres sont sur le point de prendre du retard. Parce qu'au bout du compte, ton assistant IA ne « voit » pas vraiment quand tu colles une image. Il interprète. Et l'interprétation, c'est coûteux, compressé avec perte, et incohérent.

Donne-lui plutôt quelque chose qu'il peut vraiment lire.

T'en penses quoi ? Tu as remarqué la pression sur le context window dans tes longues sessions de coding avec IA ? Balance tes retours — on construit tout ça en temps réel, et ton expérience compte.