SlimSnap: CLI-agenter som äntligen kan se
Problemet med skärmdumpar i AI-assisterad utveckling
Om du har jobbat med CLI-baserade kodningsagenter som Claude Code, Aider eller Codex CLI har du säkert stött på samma vägg: dessa verktyg är fantastiska på att läsa och skriva kod, men de kan inte se ditt gränssnitt. Vill du beskriva en trasig knapp? Då sitter du och skriver långa stycken som "felmeddelandet uppe till höger på betalningssidan." Din agent försöker gissa vad du menar.
Möt SlimSnap – ett smidigt macOS-verktyg som omvandlar valfri skärmdump till strukturerad JSON som din CLI-agent faktiskt kan bearbeta.
Så funkar det: Fånga, kommentera, skicka
Arbetsflödet är enkelt:
Fånga - Slå ⌘⇧S och dra för att markera önskat område. Verktyget använder native macOS-API:er, inga extra beroenden.
Kommentera - Lägg till pilar, pratbubblor och markeringar direkt på skärmdumpar för att tydligt visa vad som behöver fixas.
Kopiera som JSON - Ett klick konverterar allt till strukturerad JSON, redo att klistras in i valfri terminalagent.
JSON-outputen är förvånansvärt rik. Den innehåller tidsstämpel, appnamn, skärmmått och – viktigast av allt – en strukturerad array med identifierade element. Varje element har typ (knapp, inmatningsfält, etikett), faktiskt textinnehåll och koordinater i normaliserat 0-1-format.
Det sista är avgörande. När din agent känner till exakt position för "det tredje inmatningsfältet i inställningsdialogen" kan den resonera precist kring vad som behöver ändras – istället för att gissa.
Varför det här spelar roll för utvecklararbetsflöden
Här lyser SlimSnap verkligen: tokeneffektivitet.
När du klistrar in en rå skärmdump i ChatGPT:s webbgränssnitt downsamplar och komprimerar API:t bilden. Men med CLI-agenter som tar emot bilder ligger du fortfarande på API-begränsningarna – cirka 1 568 visiontokens för en vanlig skärmdump på Sonnet-modeller, upp till 4 784 på Opus 4.7/4.8.
SlimSnaps JSON-export landar typiskt mellan 600-800 tokens. Det innebär ungefär 55% färre tokens per interaktion på Sonnet, och upp till 85% besparing på Opus-modeller. Över en lång felsöknings- eller refaktoringssession med dussintals iterationerackumuleras de besparingarna snabbt.
Fler tokens kvar i ditt kontextfönster betyder mer utrymme för faktisk kod, felloggar och agentens resonemang. Din kontextbudget räcker längre.
Arkitektur med fokus på integritet
Något jag uppskattar: SlimSnap gör all OCR-bearbetning lokalt på din Mac. Skärmdumparna lämnar aldrig din maskin. Inget konto krävs, ingen server inblandad. Om du jobbar med känsliga program eller proprietära gränssnitt spelar det roll.
JSON-schemat är öppet (MIT-licens) och publicerat på GitHub. Du kan validera mot det, skriva egna exportörer eller till och med skapa giltig JSON manuellt om du vill integrera med andra OCR-pipelines.
Claude Code-skillen
För Claude Code-användare erbjuder SlimSnap en skill som automatiskt identifierar dina skärmdumpar. Den skriver en liten konfigurationsfil till ~/.slimsnap/config.json med dina sparpreferenser, och skillen läser den för att ladda in senaste JSON i din agents kontext. Sömlös integration utan manuell filjakt.
När JSON slår pixlar
Här är den ärliga avvägningen: för elementnivåarbete – att fixa specifika knappar, uppdatera formulärfält, justera layoutproblem – är JSON objektivt bättre. Din agent får exakta koordinater och extraherad text istället för att tolka pixlar.
Men för "vibe checks" – känns designen sammanhängande? Fungerar färgpaletten? – kanske du fortfarande vill klistra in råbilden. Ingenting hindrar dig från att skicka båda: JSON för exakt riktning, bilden för estetisk bedömning.
Sammanfattning
SlimSnap löser ett specifikt men verkligt smärtpunkt i AI-assisterade utvecklingsarbetsflöden. Om du kör CLI-baserade agenter och ofta behöver diskutera gränssnitt är verktyget värt att lägga till i din verktygslåda. Tokenbesparingen ensammotiverar installationen, och den lokala bearbetningen betyder inga integritetsbekymmer.
För närvarande endast macOS, men eftersom schemat är öppet är det bara en tidsfråga innan någon bygger kompatibla exportörer för andra plattformar.
Testa det på slimsnap.ai – produktivitetsvinsterna för UI-tunga felsökningssessioner kan vara betydande.
Trött på att beskriva gränssnitt i stycken? Ibland är det bästa verktyget det som översätter det du ser till det din agent förstår.