Почему ваш AI-помощник слеп: решаем проблему описания интерфейсов

Работаете с Claude Code, Aider или Codex CLI? Тогда знакомо: эти инструменты круто правят код, но вот беда — не видят вашего экрана. Нужно починить кнопку? Приходится писать про «красную ошибку в верхнем правом углу страницы оформления заказа». Агент напрягает воображение и пытается догадаться, что вы имели в виду.

SlimSnap — небольшая утилита для macOS, которая превращает любой скриншот в структурированный JSON, понятный вашему терминальному агенту.

Три шага: снял, пометил, отправил

Процесс элементарный:

1. Снимок — комбинация ⌘⇧S, выделяете область. Используются нативные macOS API, никаких лишних зависимостей.

2. Разметка — рисуете стрелки, подписи и выделения прямо поверх скриншота. Показываете, что именно нужно исправить.

3. Копирование JSON — одна кнопка, и данные готовы для вставки в любого терминального агента.

JSON получается детальным. Там есть время снимка, название приложения, размеры экрана и — главное — массив обнаруженных элементов. Для каждого элемента указан тип (кнопка, поле ввода, надпись), текстовое содержимое и координаты в нормализованном формате от 0 до 1.

Последнее критически важно. Когда агент точно знает расположение «третьего поля ввода в модальном окне настроек», он может точечно внести изменения, а не гадать наугад.

Почему это реально экономит токены

SlimSnap особенно хорош в плане эффективности использования токенов.

Когда вы вставляете скриншот в веб-интерфейс ChatGPT, API ужимает изображение. Но при работе с CLI-агентами, которые принимают картинки, вы всё равно упираетесь в лимиты — примерно 1 568 vision-токенов на типичный скриншот в моделях Sonnet, и до 4 784 в Opus 4.7/4.8.

JSON от SlimSnap обычно весит 600–800 токенов. Это даёт экономию порядка 55% на Sonnet и до 85% на Opus. За долгую сессию отладки или рефакторинга с десятками итераций экономия набегает существенная.

Больше свободных токенов в контексте — больше места для кода, логов ошибок и рассуждений агента. Бюджет контекста работает эффективнее.

Приватность под контролем

Важный момент: вся OCR-обработка происходит локально на вашем Mac. Скриншоты никуда не уходят. Никаких аккаунтов, никаких серверов. Если работаете с чувствительными приложениями или проприетарными интерфейсами — это принципиально.

Схема JSON открыта (MIT-лицензия) и выложена на GitHub. Можете валидировать данные, писать собственные экспортёры или встраивать JSON в другие OCR-пайплайны.

Интеграция с Claude Code

Для пользователей Claude Code есть отдельный навык. SlimSnap автоматически отслеживает ваши снимки, создаёт небольшой конфиг в ~/.slimsnap/config.json с настройками сохранения, и навык подхватывает последний JSON в контекст агента. Никакой ручной возни с файлами.

Когда JSON выигрывает, а когда — нет

Честный расклад: для задач уровня элементов — починить конкретную кнопку, поправить поле формы, подвинуть блок — JSON объективно лучше. Агент получает точные координаты и извлечённый текст вместо интерпретации пикселей.

Но для «проверки общего впечатления» — смотрится ли дизайн целостно? Подходит ли цветовая схема? — лучше оставить исходное изображение. Никто не запрещает отправить оба варианта: JSON для точечной работы, картинку для эстетической оценки.

Итоги

SlimSnap закрывает конкретную, но реально существующую боль в workflow AI-ассистированной разработки. Если активно используете терминальных агентов и часто обсуждаете интерфейсы — имеет смысл добавить в набор инструментов. Экономия токенов сама по себе оправдывает настройку, а локальная обработка снимает вопросы приватности.

Пока только macOS, но схема открытая — рано или поздно появятся совместимые экспортёры и для других платформ.

Загляните на slimsnap.ai — при активной работе с UI-отладкой выигрыш в продуктивности может оказаться заметным.

Устали описывать интерфейсы словами? Иногда лучший инструмент — тот, который переводит увиденное на язык вашего агента.