Problem ze screenshotami w pracy z AI kodującymi

Jeśli regularnie korzystasz z CLI-owych agentów kodujących takich jak Claude Code, Aider czy Codex CLI, na pewno wpadłeś w tę frustrującą ślepą uliczkę: te narzędzia świetnie czytają i piszą kod, ale nie widzą Twojego interfejsu. Chcesz opisać zepsuty przycisk? Kończysz pisząc kilka akapitów w stylu "ten czerwony komunikat błędu w prawym górnym rogu strony kasy". Twój agent męczy się, próbując sobie wyobrazić, co masz na myśli.

Tu pojawia się SlimSnap — sprytna aplikacja na macOS, która zamienia dowolny screenshot w ustrukturyzowany JSON, z którym Twój agent CLI może naprawdę pracować.

Zasada działania: przechwyć, opisz, wyślij

Cały proces jest genialnie prosty:

1. Przechwyć — Naciśnij ⌘⇧S i przeciągnij, zaznaczając dowolny fragment ekranu. Aplikacja korzysta z natywnych API macOS, więc nie potrzebujesz żadnych dodatkowych zależności.

2. Opisz — Rzuć strzałki, adnotacje i podświetlenia bezpośrednio na screenshocie, żeby dokładnie wskazać, co wymaga naprawy.

3. Kopiuj jako JSON — Jedno kliknięcie konwertuje wszystko do ustrukturyzowanego JSON-a, gotowego do wklejenia do dowolnego agenta w terminalu.

Wyjściowy JSON jest zaskakująco rozbudowany. Zawiera timestamp przechwycenia, nazwę aplikacji, wymiary ekranu i — co najważniejsze — ustrukturyzowaną tablicę wykrytych elementów. Każdy element ma swój typ (przycisk, pole input, etykieta), faktyczną treść tekstową oraz współrzędne bounding boxa w znormalizowanym formacie 0-1.

Ta ostatnia rzecz jest kluczowa. Kiedy Twój agent zna dokładną pozycję "trzeciego pola input w oknie ustawień", może precyzyjnie reasonsować o tym, co zmienić — zamiast zgadywać.

Dlaczego to ma znaczenie dla workflow programisty

Tutaj SlimSnap naprawdę błyszczy: efektywność tokenów.

Kiedy wklejasz surowy screenshot do ChatGPT przez przeglądarkę, API downsampluje i kompresuje obraz. Ale w przypadku agentów CLI akceptujących obrazy, wciąż natrafiasz na limity API — około 1 568 tokenów wizyjnych dla typowego screenshotu na modelach Sonnet, aż do 4 784 na Opus 4.7/4.8.

Eksport JSON z SlimSnap zazwyczaj waży między 600 a 800 tokenów. To mniej więcej 55% oszczędności na interakcję na Sonnet, a na modelach Opus sięgające 85%. Przy długiej sesji debugowania czy refaktoryzacji z tuzinami iteracji, te oszczędności szybko się kumulują.

Więcej wolnych tokenów w context window oznacza więcej miejsca na faktyczny kod, logi błędów i reasoning agenta. Twój budżet kontekstowy starcza dalej.

Architektura z priorytetem prywatności

Jedna rzecz, którą doceniam: SlimSnap wykonuje całe OCR lokalnie na Twoim Macu. Przechwyty nigdy nie opuszczają Twojej maszyny. Bez konta, bez serwera w łańcuchu. Jeśli pracujesz z wrażliwymi aplikacjami lub zastrzeżonymi interfejsami, to ma znaczenie.

Sam schemat JSON jest otwarty (licencja MIT) i opublikowany na GitHub. Możesz go używać do walidacji, pisać własne eksportery lub nawet ręcznie tworzyć poprawny JSON, jeśli chcesz zintegrować z innymi pipeline'ami OCR.

Skill dla Claude Code

Dla użytkowników Claude Code SlimSnap oferuje dedykowany skill, który automatycznie wykrywa przechwyty. Zapisuje mały plik konfiguracyjny do ~/.slimsnap/config.json z Twoimi preferencjami zapisu, a skill go odczytuje, żeby załadować najnowszy JSON do kontekstu agenta. Bezszwowa integracja bez żadnego ręcznego szukania plików.

Kiedy JSON wygrywa z pikselami

Oto uczciwy kompromis: przy pracy na poziomie elementów — naprawianie konkretnych przycisków, aktualizacja pól formularza, poprawianie problemów z layoutem — JSON jest obiektywnie lepszy. Twój agent dostaje precyzyjne współrzędne i wyciągnięty tekst zamiast interpretować piksele.

Ale przy "sprawdzaniu vibe'ów" — czy ten design sprawia spójne wrażenie? Czy paleta kolorów do siebie pasuje? — wciąż możesz chcieć wkleić surowy obraz. Nic nie stoi na przeszkodzie, żebyś wysłał oba: JSON do precyzyjnego targetowania, obrazek do oceny estetycznej.

Podsumowanie

SlimSnap rozwiązuje konkretny, ale realny problem w workflow wspomaganym przez AI. Jeśli intensywnie korzystasz z agentów opartych na CLI i często musisz omawiać interfejsy, warto mieć go w zestawie narzędzi. Oszczędność tokenów sama w sobie uzasadnia konfigurację, a lokalne przetwarzanie oznacza zero obaw o prywatność.

Na razie tylko macOS, ale skoro schemat jest otwarty, to tylko kwestia czasu, zanim ktoś zbuduje kompatybilne eksportery na inne platformy.

Sprawdź na slimsnap.ai — zyski produktywności podczas sesji debugowania z ciężkim UI mogą być całkiem spore.

Zmęczony opisywaniem interfejsów akapitami? Czasem najlepsze narzędzie to takie, które tłumaczy to, co widzisz, na to, co Twój agent rozumie.