Yomi: превращаем веб-страницы в чистый Markdown

Когда пытаешься вытащить текст из веб-страницы программно — это боль. HTML-код завален менюшками, рекламой, всплывающими окнами про куки и прочим мусором. Yomi решает именно эту проблему: вы даёте ссылку, получаете чистый Markdown.

Что внутри?

Yomi — это библиотека и CLI-утилита на Go. Но не очередной кривой скraper.

Умное извлечение контента. Библиотека не хватает всё подряд. Она понимает, где на странице основной текст, и отбрасывает навигацию, подвалы, боковые колонки и надоедливые оверлеи.

Сохранение структуры. Код блоки? Оставайся. Картинки с alt-текстом? На месте. Иерархия заголовков? Идеально. На выходе — документ, который выглядит как исходная страница.

Массовая конвертация. Одной страницей ограничиваться не обязательно. Можно рекурсивно пройтись по всему сайту. Отлично подходит для бэкапов документации или создания архивов.

Где это пригодится?

Сбор документации. Агрегатор docs? Интеграция внешних источников в базу знаний? Берём контент и приводим к единому формату.

Офлайн-чтение. Статьи, туториалы, исследования — конвертируем и складываем в Git, Obsidian или любую файловую систему.

Миграция контента. Переезд между платформами обычно означает ужасный HTML-экспорт. Прогоняем через Yomi и получаем чистый Markdown, с которым можно работать.

Архивирование. Сайты закрываются. Контент пропадает. Структурированный бэкап ценных ресурсов — это портативный архив, который не умрёт вместе с оригиналом.

Для разработчиков

Мне нравится подход: библиотека плюс CLI. Встраиваешь в Go-проект или запускаешь из терминала — решай сам.

API библиотеки простой. Никакой лишней сложности: забрал контент — дальше работай. CLI для быстрых задач и автоматизации в shell-скриптах.

Быстрый старт

MIT-лицензия, Go, бинарник без зависимостей для базового функционала. Репозиторий — tamnd/yomi. Бери и пользуйся.

Итого

Не усложняйте. Для задачи «веб-страница → чистый Markdown» уже есть отличный инструмент. Собираете контент-тулы, ведёте архивы или просто нужно вытащить текст для обработки — попробуйте Yomi на следующем проекте. Сэкономите и время, и нервы.