Problém se screenshoty v AI-asistrovaném vývoji

Pracuješ s CLI nástroji jako Claude Code, Aider nebo Codex CLI? Pak určitě víš, o čem mluvím. Tyhle pomocníci jsou skvělí v psaní kódu, ale nevidí tvoje UI. Chceš popsat rozbitý button? Čeká tě odstavec jako: „ta červená chybová hláška nahoře vpravo na stránce checkout." Agent se snaží z tvých slov složit obrázek a doufá, že to pochopí správně.

SlimSnap tohle řeší. Jde o utilitku pro macOS, která převede jakýkoliv screenshot na strukturovaný JSON, se kterým si CLI agent poradí.

Tři kroky: Zachyt, Popiš, Pošli

Funguje to překvapivě jednoduše:

1. Zachyt - Stiskneš ⌘⇧S a přetáhneš výběr přes libovolnou část obrazovky. Využívá native macOS API, žádné další závislosti.

2. Popiš - Přidáš šipky, popisky a zvýraznění rovnou na screenshot. Ukážeš přesně, co je potřeba opravit.

3. Kopíruj jako JSON - Jedním kliknutím dostaneš strukturovaný JSON připravený k vložení do terminálu.

Výstup je solidní. JSON obsahuje časovou značku, název aplikace, rozměry obrazovky a hlavně pole detekovaných prvků. Každý prvek má svůj typ (button, input, label), textový obsah a souřadnice v normalizovaném formátu 0-1.

Tohle je důležité. Když tvůj agent ví přesně, kde je „třetí input field v settings modalu," může přesně říct, co změnit. Žádné hádání.

Proč na tom záleží

Tady přichází ta hlavní výhoda: úspora tokenů.

Když vložíš screenshot do ChatGPT přes web, API ho zmenší a komprimuje. U CLI agentů, kteří podporují obrázky, ale pořád narážíš na limity - kolem 1 568 vision tokenů za běžný screenshot na Sonnet modelech, až 4 784 na Opus 4.7/4.8.

SlimSnap export typicky vyjde na 600-800 tokenů. To je o 55 % míň na Sonnet a až 85 % úspora na Opus modelech. Když děláš delší debugging session s desítkami iterací, tyhle čísla se rychle nasčítávají.

Více volných tokenů v context window znamená víc místa pro kód, error logy a uvažování agenta. Tvůj context budget vydrží dál.

Lokální zpracování

Jedna věc, která mě potěšila: SlimSnap dělá veškeré OCR zpracování přímo na tvém Macu. Screenshoty nikdy neopustí tvůj stroj. Žádný účet, žádný server. Pokud pracuješ na citlivých aplikacích nebo firemních rozhraních, tohle prostě dává smysl.

JSON schema je open source pod MIT licencí a najdeš ho na GitHubu. Můžeš proti němu validovat, psát vlastní exportéry, nebo si dokonce ručně poskládat JSON, pokud chceš integrovat s jinými OCR pipeliny.

Integrace s Claude Code

Pro uživatele Claude Code je tu navíc skill, který automaticky detekuje tvoje screenshoty. Zapíše konfigurák do ~/.slimsnap/config.json s tvými preferencemi a skill ho načte rovnou do kontextu agenta. Žádné manuální hledání souborů.

Kdy JSON, kdy obrázek

Upřímná kalkulace: pro práci na úrovni prvků - oprava buttonů, úprava formulářových polí, ladění layoutu - je JSON jednoznačně lepší. Agent dostane přesné souřadnice a extrahovaný text místo interpretace pixelů.

Ale pro „vibe check" - působí design uceleně? Sedí barevná paleta? - možná pořád oceníš surový obrázek. Vždycky můžeš poslat oboje: JSON pro přesné cílení, obrázek pro estetické posouzení.

Závěr

SlimSnap řeší konkrétní, ale reálný problém v AI-asistrovaném workflow. Pokud aktivně používáš CLI agenty a často potřebuješ řešit UI, stojí za to ho vyzkoušet. Úspora tokenů sama o sobě ospravedlní nastavení a lokální zpracování znamená žádné privacy obavy.

Momentálně jen pro macOS, ale schema je open, takže je jen otázka času, než se objeví kompatibilní exportéry i pro jiné platformy.

Mrkni na slimsnap.ai - produktivita při UI-heavy debugging session může být slušná.

Unavený z popisování UI v odstavcích? Někdy je nejlepší tool ten, který přeloží to, co vidíš, do toho, co tvůj agent rozumí.