SlimSnap: Nå får kommandolinja ditt synet det alltid savnet
Problemet med skjermbilder i AI-assistert utvikling
Hvis du har jobbet med CLI-baserte kodeagenter som Claude Code, Aider eller Codex CLI, har du sannsynligvis møtt samme frustrerende begrensning: disse verktøyene er flinke til å lese og skrive kode, men de har ingen måte å se brukergrensesnittet ditt på. Vil du beskrive en knapp som er i stykker? Da ender du opp med å skrive lange avsnitt som «den røde feilmeldingen i øvre høyre hjørne av checkout-siden.» Agenten din må prøve å forestille seg hva du mener.
Løsningen er SlimSnap – et praktisk macOS-verktøy som gjør om skjermbilder til strukturert JSON som CLI-agenten din faktisk kan jobbe med.
Slik fungerer det: Ta bilde, kommenter, send
Flyten er overraskende enkel:
Ta bilde – Trykk ⌘⇧S og dra for å markere et hvilket som helst område på skjermen. Verktøyet bruker native macOS-API-er, så ingen ekstra avhengigheter.
Kommenter – Legg til piler, bokser og markeringer direkte på skjermbildet for å vise nøyaktig hva som trenger fiks.
Kopier som JSON – Ett klikk konverterer alt til strukturert JSON, klart til å lime inn i en hvilken som helst terminalagent.
JSON-utdataen er overraskende rik. Den inneholder tidspunkt for skjermbilde, appnavn, skjermdimensjoner, og viktigst av alt: en strukturert liste over oppdagede elementer. Hvert element har type (knapp, input-felt, etikett), faktisk tekstinnhold, og bounding box-koordinater i normalisert 0-1 format.
Det siste punktet er avgjørende. Når agenten din vet eksakt posisjon til «det tredje input-feltet i innstillinger-modalen», kan den resonnere presist om hva som må endres – i stedet for å gjette.
Hvorfor dette betyr noe for utviklerarbeidsflyter
Her skinner SlimSnap virkelig: token-effektivitet.
Når du limer inn et rått skjermbilde i ChatGPT, komprimerer API-et det. Men med CLI-agenter som tar imot bilder, treffer du fortsatt API-grensene – rundt 1 568 vision-tokens for et typisk skjermbilde på Sonnet-modeller, og opptil 4 784 på Opus 4.7/4.8.
SlimSnap sitt JSON-export ender typisk mellom 600-800 tokens. Det er omtrent 55 % færre tokens per interaksjon på Sonnet, og opptil 85 % besparelse på Opus-modeller. Over en lang debuggingsøkt med dusinvis av iterasjoner, vokser disse besparelsene raskt.
Flere tokens tilgjengelig i context-vinduet betyr mer plass til faktisk kode, feillogger og agent-resonnering. Budsjettet ditt rekker lenger.
Arkitektur med fokus på personvern
Noe jeg setter pris på: SlimSnap gjør all OCR-behandling lokalt på Mac-en din. Skjermbilder forlater aldri maskinen. Ingen konto kreves, ingen server involvert. Hvis du jobber med sensitive applikasjoner eller proprietære grensesnitt, er dette viktig.
JSON-skjemaet er åpent (MIT-lisens) og publisert på GitHub. Du kan validere mot det, skrive dine egne eksportører, eller til og med lage gyldig JSON for hånd hvis du vil integrere med andre OCR-pipelines.
Claude Code-delen
For Claude Code-brukere spesifikt tilbyr SlimSnap en skill som automatisk oppdager skjermbildene dine. Den skriver en liten konfigurasjonsfil til ~/.slimsnap/config.json med dine lagrepreferanser, og skillen leser den for å laste inn den nyeste JSON-en inn i agentens kontekst. Sømløs integrasjon uten manuell filjakt.
Når JSON er bedre enn piksler
Her er den ærlige avveiningen: for elementnivå-arbeid – fikse spesifikke knapper, oppdatere skjemaer, justere layoutproblemer – er JSON objektivt bedre. Agenten får presise koordinater og uttrukket tekst i stedet for å tolke piksler.
Men for «vibe-sjekker» – føles designet samlet? Fungerer fargepaletten? – er det kanskje fortsatt best å lime inn selve bildet. Ingenting hindrer deg i å sende begge deler: JSON-en for presis targeting, bildet for estetisk vurdering.
Konklusjonen
SlimSnap løser et spesifikt, men reelt problem i AI-assistert utviklingsarbeidsflyt. Hvis du jobber mye med CLI-agenter og ofte trenger å diskutere brukergrensesnitt, er dette verdt å ha i verktøykassen. Token-besparelsene alene rettferdiggjør oppsettet, og lokal behandling betyr null personvernbekymringer.
Foreløpig bare macOS, men siden skjemaet er åpent, er det bare et spørsmål om tid før noen bygger kompatible eksportører for andre plattformer.
Sjekk det ut på slimsnap.ai – produktivitetsgevinstene for UI- intensive debuggingsøkter kan være betydelige.
Lei av å beskrive brukergrensesnitt i avsnitt? Noen ganger er det beste verktøyet det som oversetter det du ser til det agenten din forstår.