Le casse-tête des captures d'écran dans le développement assistée par IA

Tu utilises des agents CLI comme Claude Code, Aider ou Codex CLI ? Alors tu connais le problème : ces outils sont redoutables pour lire et écrire du code, mais ils restent aveugles face à ton interface.

Tu veux signaler un bouton cassé ? Tu te retrouves à taper des paragraphes entiers du genre « le message rouge en haut à droite de la page de paiement ». Ton agent fait de son mieux pour visualiser ce que tu décris, mais c'est pas optimal.

C'est là qu'intervient SlimSnap — un utilitaire macOS qui transforme n'importe quelle capture d'écran en JSON structuré, exploitable directement par ton agent en ligne de commande.

Un workflow en trois étapes

Le fonctionnement est d'une simplicité déconcertante :

1. Capture — ⌘⇧S, tu sélectionnes la zone de ton écran. L'outil s'appuie sur les API natives de macOS, donc zéro dépendance externe.

2. Annotation — Tu ajoutes flèches, annotations et surlignages directement sur la capture pour montrer précisément ce qui pose problème.

3. Export JSON — Un clic et hop, tout se transforme en JSON propre, prêt à coller dans ton terminal.

Le résultat est plus riche qu'il n'y paraît. Le JSON inclut le timestamp de capture, le nom de l'application, les dimensions de l'écran, et surtout — un tableau structuré des éléments détectés. Chaque élément indique son type (bouton, champ, label), son texte exact, et ses coordonnées sous forme normalisée (0-1).

Ce dernier point change tout. Quand ton agent connaît la position exacte du « troisième champ de la modale paramètres », il peut agir avec précision au lieu de partir dans tous les sens.

Pourquoi c'est pertinent pour les développeurs

Le vrai plus de SlimSnap ? L'efficacité en termes de tokens.

Quand tu colles une capture brute dans l'interface web de ChatGPT, l'API la réduit et la compresse. Mais avec les agents CLI qui acceptent les images, tu butes vite sur les limites — environ 1 568 tokens de vision pour une capture classique sur les modèles Sonnet, et jusqu'à 4 784 sur Opus 4.7/4.8.

L'export JSON de SlimSnap tourne généralement entre 600 et 800 tokens. Soit environ 55 % d'économies sur Sonnet, et jusqu'à 85 % sur Opus. Sur une longue session de debug ou de refactoring avec des dizaines d'itérations, ça cumul vite.

Plus de tokens disponibles dans ta fenêtre de contexte = plus de place pour le vrai code, les logs d'erreur et le raisonnement de l'agent. Ton budget contexte s'étire considérablement.

Une architecture respectueuse de ta vie privée

Un point que j'apprécie : toute la reconnaissance OCR se fait en local sur ton Mac. Les captures ne quittent jamais ta machine. Pas de compte à créer, pas de serveur tiers. Si tu bosses sur des applications sensibles ou des interfaces propriétaires, c'est un vrai argument.

Le schéma JSON est ouvert (licence MIT) et dispo sur GitHub. Tu peux le valider, écrire tes propres exportateurs, ou même créer du JSON valide à la main si tu veux l'intégrer avec d'autres pipelines OCR.

Le skill pour Claude Code

Pour les utilisateurs de Claude Code, SlimSnap propose un skill qui détecte automatiquement tes captures. Il écrit un petit fichier de config dans ~/.slimsnap/config.json avec tes préférences, et le skill le lit pour charger le dernier JSON dans le contexte de ton agent. Intégration fluide, zéro manipulation manuelle.

Quand le JSON surclasse les pixels

Le compromis honnête à garder en tête : pour du travail au niveau élément — corriger un bouton précis, mettre à jour un champ de formulaire, ajuster un problème de mise en page — le JSON est objectivement supérieur. Ton agent obtient des coordonnées exactes et du texte extrait au lieu d'interpréter des pixels.

Mais pour les vérifications d'ambiance — cette UI donne-t-elle une impression cohérente ? La palette de couleurs fonctionne-t-elle ? — tu auras peut-être encore envie de coller l'image brute. Rien ne t'empêche d'envoyer les deux : le JSON pour le ciblage précis, l'image pour le raisonnement esthétique.

En résumé

SlimSnap解决了一个具体但真实的问题 dans le workflow du développement assistée par IA. Si tu travailles beaucoup avec des agents CLI et que tu dois régulièrement discuter d'interfaces, ça mérite sa place dans ta boîte à outils. Les économies de tokens seules justifient la mise en place, et le traitement local signifie zéro souci de confidentialité.

Pour l'instant uniquement sur macOS, mais puisque le schéma est ouvert, il n'y a qu'une question de temps avant que quelqu'un construise des exportateurs compatibles pour d'autres plateformes.

Va jetter un œil sur slimsnap.ai — les gains de productivité pour les sessions de debug riches en UI pourraient être substantiels.

Fatigué de décrire des interfaces en paragraphes ? Parfois le meilleur outil est celui qui traduit ce que tu vois en ce que ton agent comprend.