Ongelma: CLI-työkalut eivät näe ruutua

Käytätkö CLI-pohjaisia koodausagentteja kuten Claude Code, Aider tai Codex CLI? Silloin olet todennäköisesti törmännyt samaan esteeseen: nämä työkalut ovat loistavia koodin lukemisessa ja kirjoittamisessa, mutta ne eivät yksinkertaisesti näe käyttöliittymääsi.

Tarvitsetko kuvailla viallista nappia? Lopputulos on väistämättä pitkä ja kömpelö selitys: "punainen virheilmoitus oikeassa yläkulmassa kassasivulla." Agentti yrittää tulkita sanojasi ja arvata, mitä tarkoitat.

Tähän asti.

SlimSnap: Ruudunkaappaus JSON-muotoon

SlimSnap on näppärä macOS-apuohjelma, joka muuntaa minkä tahansa kuvakaappauksen strukturoiduksi JSON-dataksi. Sama data on sellaisenaan CLI-agentin ymmärrettävissä.

Kolme vaihetta, jotka sujuvat sutjakasti

1. Kaappaa – Paina ⌘⇧S ja valitse haluamasi alue näytöltä. Työkalu käyttää natiiveja macOS-rajapintoja, joten ylimääräisiä riippuvuuksia ei tarvita.

2. Merkkaa – Lisää nuolia, huomiotekstejä ja korostuksia suoraan kuvakaappaukseen. Osoita tarkasti, mitä pitää korjata.

3. Kopioi JSONina – Yksi klikkaus muuntaa kaiken valmiiksi JSON-dataksi, jonka voi liittää suoraan terminaali-agenttiin.

Mitä JSON sisältää?

Tulos on yllättävän rikas. JSON sisältää kaappaushetken aikaleiman, sovelluksen nimen, näytön mitat ja ennen kaikkea rakenteellisen listan tunnistetuista elementeistä. Jokainen elementti sisältää tyypin (nappi, syötekenttä, otsikko), varsinaisen tekstisisällön ja sijaintitiedon normalisoidussa 0-1-muodossa.

Tämä viimeinen kohta on ratkaiseva. Kun agentti tietää "asetusmodalin kolmannen syötekentän" tarkan sijainnin, se voi päätellä täsmälleen mitä muuttaa – arvailun sijaan.

Miksi tämä on merkittävää kehittäjille?

SlimSnap loistaa erityisesti token-tehokkuudella.

Jos liität raakan kuvakaappauksen ChatGPT:n verkkoliittymään, API pakkaa ja pienentää sen. CLI-agenteilla, jotka hyväksyvät kuvia, törmäät kuitenkin API-rajoihin: tyypillinen kuvakaappaus kuluttaa noin 1 568 vision-tokenia Sonnet-malleilla ja jopa 4 784 tokenia Opus 4.7/4.8-malleilla.

SlimSnapin JSON-vienti tuottaa tyypillisesti 600–800 tokenia. Se on noin 55 prosenttia vähemmän Sonnet-malleilla ja 85 prosentin säästö Opus-malleilla. Pitkässä debuggaus- tai refaktorointisessiossa kymmenillä toistoilla nämä säästöt kasautuvat nopeasti.

enemmän vapaita tokeneita konteksti-ikkunassa tarkoittaa enemmän tilaa varsinaiselle koodille, virhelokeille ja agentin päättelylle. Kontekstibudjettisi riittää pidemmälle.

Tietosuoja ensin

Yksi asia, josta pidän: SlimSnap suorittaa kaiken OCR-käsittelyn paikallisesti Macillasi. Kaappaukset eivät koskaan poistu koneeltasi. Tiliä ei tarvita, palvelinta ei ole kuvioissa. Jos työskentelet arkaluonteisten sovellusten tai yrityksen sisäisten rajapintojen parissa, tämä on merkittävä etu.

JSON-skema on avoin (MIT-lisenssi) ja julkisesti GitHubissa. Voit validoida sen, kirjoittaa omia vientityökaluja tai jopa käsin muodostaa kelvollista JSONia, jos haluat integroida muihin OCR-putkiin.

Claude Code -taito

Erityisesti Claude Code -käyttäjille SlimSnap tarjoaa taidon, joka tunnistaa kaappaukset automaattisesti. Se kirjoittaa pienen konfiguraatiotiedoston sijaintiin ~/.slimsnap/config.json, ja taito lukee sen ladatakseen uusimman JSONin agentin kontekstiin. Saumaton integraatio ilman manuaalista tiedostopyörittelyä.

Milloin JSON on parempi kuin pikselit?

Rehellinen kompromissi on silti paikallaan: elementtitason työssä – tietyn napin korjaaminen, lomakekenttien päivitys, asetteluvirheiden korjaaminen – JSON on objektiivisesti parempi. Agentti saa tarkat koordinaatit ja puretun tekstin pikseleiden tulkitsemisen sijaan.

Mutta "fiilis-tarkistuksissa" – tuntuuko tämä suunnitelma yhtenäiseltä? Toimiiko väripaletti? – raaka kuva voi silti olla hyödyllinen. Mikään ei estä lähettämästä molempia: JSON tarkkaa kohdistamista varten, kuva visuaalista arviointia varten.

Loppuajatus

SlimSnap ratkaisee spesifin mutta todellisen kipupisteen AI-avusteisessa kehitystyössä. Jos olet syvällä CLI-pohjaisissa agenteissa ja joudut usein keskustelemaan käyttöliittymistä, työkalu kannattaa lisätä arsenaaliin. Pelkät token-säästöt oikeuttavat asennuksen, ja paikallinen käsittely tarkoittaa nollatietosuojaongelmia.

Toistaiseksi vain macOS, mutta koska skeema on avoin, vain ajan kysymys on milloin joku rakentaa yhteensopivia vientityökaluja muille alustoille.

Kokeile slimsnap.ai-sivustolla – tuottavuuslisät UI-painotteisissa debuggaussessioissa voivat olla huomattavia.

Väsyitkö kuvaamaan käyttöliittymiä palloissa? Paras työkalu on joskus se, joka kääntää näkemäsi kielelle, jonka agenttisi ymmärtää.