Yomi: Когато искаш само текста, без целия шум

Всеки, който се е опитвал да изтегли съдържание от уеб страница програмно, знае колко е досадно. HTML-ът е пълен с менюта, реклами, тези досадни банерчета за бисквитки и какво ли още не. Целият този шум около основното съдържание е точно проблемът, който Yomi се опитва да реши.

Защо Yomi е различен?

Yomi е Go библиотека и CLI инструмент, който превръща всяка уеб страница в чист Markdown. Но не е поредниятhalf-baked scraper. Проектът е обмислен - премахва боклука интелигентно, но запазва структурата, която наистина има значение.

Какво ми направи впечатление:

Умно извличане на съдържание — Yomi не просто взима целия текст. Той разпознава кое е основното съдържание и отсява навигацията, футърите, страничните ленти и тези досадни изскачащи прозорци.

Запазване на структурата — Когато става дума за tutorials или технически статии, форматирането на кода е важно. Yomi запазва кода непокътнат, картинките с alt текста им, йерархията на заглавията. Получаваш подреден Markdown документ, който наистина отразява оригинала.

Пълноценна конверсия на сайтове — Понякога ти трябва повече от една страница. Yomi може да следва линковете рекурсивно и да конвертира цели уебсайтове. Перфектно за локални резервни копия на документация или архивиране на съдържание.

Къде може да го използваш?

Възможностите са интересни:

Documentation pipelines — Искаш ли да събираш документация от различни източници или да я интегрираш в knowledge base? Yomi прави това лесно - изтегли и конвертирай уеб съдържанието в единен формат.

Offline четене — Създаваш си архив от статии, уроци или материали за изследвания? Конвертирай страниците в Markdown и ги съхранявай в Git, Obsidian или обикновени файлове.

Миграция на съдържание — Преместваш неща между платформи? Често се налага да се справяш с мазна експортна HTML документация. Пусни я през Yomi и ще получиш чист Markdown, с който можеш да работиш.

Архивиране — Уебсайтове изчезват непрекъснато. Използвай Yomi за структурирани резервни копия на ценни ресурси. Получаваш портативни, четими архиви, които няма да се счупят когато оригиналът изчезне.

Направен за разработчици

Това, което ми харесва в Yomi, е че е създаден с мисъл за разработчиците. Комбинацията библиотека плюс CLI означава, че можеш да го интегрираш директно в Go приложенията си или да го ползваш като команда в терминала за скриптове и automation.

API-ът на библиотеката е чист - фокусираш се върху това какво да правиш със съдържанието, а не как да го извличаш. CLI-ът прави същото за бързи еднократни конверсии или shell script automation.

С какво да започнеш?

Yomi е open source под MIT лиценз и е написан на Go. Това означава, че върви навсякъде, където Go върви, без допълнителни зависимости за основната функционалност. Репозиторито му е достъпно публично и има всичко необходимо - независимо дали ще го import-ваш в проект или ще правиш бързи конверсии от терминала.

Краят на краищата

Извличането на уеб съдържание не трябва да е сложно. Yomi предлага фокусирано, добре обмислено решение за конкретния проблем: конвертиране на уеб страници в чист Markdown. Независимо дали строиш content инструменти, правиш архиви или просто ти трябва да грабнеш малко съдържание за обработка - това е типът utility, дето те кара да се чудиш как си живял без него.

Опитай го в следващия си проект, където се налага конвертиране на уеб съдържание. С голяма вероятност Yomi ще ти спести доста време и главоболия.