SlimSnap: Nu får dine CLI-agenter syn
Problemet med screenshots i AI-assisteret udvikling
Hvis du bruger CLI-baserede kodningsagenter som Claude Code, Aider eller Codex CLI, har du sikkert oplevet den frustrerende begrænsning: Værktøjerne er fantastiske til at læse og skrive kode, men de kan ikke se din brugergrænseflade. Vil du beskrive en knap, der ikke virker? Så ender du med at skrive lange afsnit som "fejlmeddelelsen i rødt i øverste højre hjørne af betalingssiden." Din agent gransker dine ord og prøver at forestille sig, hvad du mener.
Her kommer SlimSnap ind i billedet – et praktisk macOS-værktøj, der transformerer enhver skærmdump til struktureret JSON, som din CLI-agent kan arbejde med.
Workflowet: Tag skærmdump, annoter, send
Processen er bemærkelsesværdigt enkel:
Tag skærmdump - Tryk ⌘⇧S og træk for at vælge et område af din skærm. Værktøjet bruger native macOS APIs, så du slipper for ekstra afhængigheder.
Annoter - Tilføj pile, bokse og markeringer direkte på skærmdumpet for at vise præcis, hvad der skal rettes.
Kopier som JSON - Ét klik konverterer alt til struktureret JSON, klar til at indsætte i enhver terminal-agent.
JSON-outputtet er overraskende detaljeret. Det indeholder tidspunkt for optagelsen, appnavn, skærmopløsning og vigtigst af alt: en struktureret liste over registrerede elementer. Hvert element har sin type (knap, input, label), den faktiske tekstindhold og bounding box-koordinater i normaliseret 0-1 format.
Den sidste del er afgørende. Når din agent kender den præcise position af "det tredje inputfelt i indstillingsdialogen," kan den ræsonnere præcist over, hvad der skal ændres – i stedet for at gætte.
Hvorfor dette betyder noget for udviklerworkflows
Her skinner SlimSnap virkelig: token-effektivitet.
Når du indsætter et rå skærmdump i ChatGPT's webinterface, downsampler og komprimerer API'en det. Men med CLI-agenter der accepterer billeder, støder du stadig ind i API-begrænsninger – cirka 1.568 vision tokens for et typisk skærmdump på Sonnet-modeller, og op til 4.784 på Opus 4.7/4.8.
SlimSnap's JSON-export lander typisk mellem 600-800 tokens. Det er roughly 55% færre tokens per interaktion på Sonnet, og helt op til 85% besparelse på Opus-modeller. Over en lang fejlretnings- eller refaktoreringssession med snesevis af iterationer, vokser besparelserne hurtigt.
Flere tokens tilbage i din context window betyder mere plads til egentlig kode, fejllogge og agent-ræsonnering. Din context-budget rækker længere.
Privacy-first arkitektur
En ting jeg sætter pris på: SlimSnap udfører al OCR-behandling lokalt på din Mac. Skærmdumpe forlader aldrig din maskine. Ingen konto påkrævet, ingen server involveret. Hvis du arbejder med følsomme applikationer eller proprietære grænseflader, er det vigtigt.
JSON-skemaet selv er åbent (MIT-licens) og publiceret på GitHub. Du kan validere mod det, skrive dine egne eksportører eller endda konstruere gyldig JSON manuelt, hvis du vil integrere med andre OCR-pipelines.
Claude Code Skill
For Claude Code-brugere specifikt tilbyder SlimSnap en skill, der automatisk registrerer dine skærmdumpe. Den skriver en lille config-fil til ~/.slimsnap/config.json med dine gemmepræferencer, og skill'en læser den for at loade den nyeste JSON ind i din agents context. Sømløs integration uden manuel filjagt.
Hvornår JSON vinder over pixels
Her er det ærlige trade-off: til element-niveau arbejde – rettelse af specifikke knapper, opdatering af formularfelter, justering af layout-problemer – er JSON objektivt bedre. Din agent får præcise koordinater og udtrukket tekst i stedet for at fortolke pixels.
Men til "vibe checks" – føles designet sammenhængende? Virker farvepaletten? – vil du måske stadig foretrække at indsætte rå billedet. Intet forhindrer dig i at sende begge dele: JSON'en for præcis targeting, billedet for æstetisk ræsonnering.
Konklusionen
SlimSnap løser et specifikt men reelt smertepunkt i AI-assisteret udviklingsworkflow. Hvis du bruger CLI-baserede agenter flittigt og ofte har brug for at diskutere brugergrænseflader, er det værd at tilføje til dit arsenal. Token-besparelserne alene retfærdiggør opsætningen, og den lokale behandling betyder ingen privatlivsbekymringer.
Pt. kun macOS, men da skemaet er åbent, er det kun et spørgsmål om tid, før nogen bygger kompatible eksportører til andre platforme.
Tjek det ud på slimsnap.ai – produktivitetsgevinsterne i UI-tunge fejlretningssessioner kan være betydelige.
Træt af at beskrive brugergrænseflader i afsnit? Nogle gange er det bedste værktøj det, der oversætter det du ser til det, din agent forstår.