Yomi: Když potřebujete z webu vytáhnout jen to podstatné

Někdy prostě potřebujete získat obsah z webové stránky. A pak zjistíte, že HTML je takový ten nepořádek, kde se mísí navigace, reklamy, cookie lišty a tuny dalšího balastu s tím, co vás actually zajímá. Právě tady přichází na scénu Yomi.

Co Yomi umí?

Yomi je knihovna a zároveň CLI nástroj napsaný v Go. Jeho úkol? Převést jakoukoliv URL adresu na čistý Markdown. Ale nebojte se, není to žádný bastl. Tým za projektem přistoupil k problému promyšleně — automaticky ořezává nepodstatné části stránky, ale zachovává strukturu, na které záleží.

Co mě zaujalo nejvíc:

Chytrá extrakce obsahu — Yomi není hloupý parser, který stáhne úplně všechen text. Místo toho chytře identifikuje hlavní obsahovou část stránky a filtruje věci jako postranní panely, zápatí, navigaci a ty otravné vyskakovací okna.

Zachování struktury — Když potřebujete převést tutorial, dokumentaci nebo technický článek, kódové bloky jsou klíčové. Yomi je zachovává přesně tak, jak mají být. Stejně tak obrázky s jejich alt textem a hierarchii nadpisů. Výsledek? Markdown dokument, který odpovídá původní stránce.

Hromadná konverze celých webů — Někdy nechcete jen jednu stránku. Yomi umí rekurzivně procházet odkazy a převést celé weby. Skvělé pro lokální zálohy dokumentace nebo budování obsahových archivů.

Kde se to hodí?

Možnosti jsou docela zajímavé:

Dokumentační pipeline — Potřebujete agregátor dokumentace nebo tahat obsah z externích zdrojů do vlastní knowledge base? S Yomim je fetchování a konverze webového obsahu do konzistentního formátu hračka.

Offline čtení — Chcete si vytvořit offline archiv článků, tutoriálů nebo výzkumných materiálů? Převeďte webové stránky na Markdown a uložte je do Git repozitáře, Obsidianu nebo jiného flat-file systému.

Migrace obsahu — Přesun obsahu mezi platformami často znamená práci s uklizeným HTML exportem. Proženete ho Yomim a dostanete čistý Markdown, se kterým se dá pracovat.

Archivační účely — Webové stránky mizí neustále. Použijte Yomi k vytvoření strukturovaných záloh hodnotných webových zdrojů. Dostanete přenosné, čitelné archivy, které nepřestanou fungovat, až původní web zmizí.

Nástroj pro vývojáře

Co na Yomim oceňuji, je fakt, že je primárně navržený pro vývojáře. Duální přístup knihovna-plus-CLI znamená, že ho můžete buď integrovat přímo do Go aplikací, nebo používat jako příkazový nástroj ve skriptech a build pipelinách.

API knihovny je přímočaré — soustředíte se na to, co chcete s obsahem dělat, než se ztrácet v extrakční logice. CLI je stejně přístupné pro rychlé jednorázové konverze nebo automatizaci přes shell skripty.

Jak začít

Yomi je open source pod licencí MIT a napsaný v Go, což znamená, že běží všude, kde běží Go, bez dalších závislostí pro základní funkcionalitu. Repozitář tamnd/yomi obsahuje vše potřebné — ať už chcete knihovnu importovat do projektu nebo jen rychle konvertovat z terminálu.

Shrnutí

Extrakce webového obsahu nemusí být komplikovaná záležitost. Yomi nabízí zaměřené, dobře navržené řešení pro konkrétní problém: převod webových stránek na čistý Markdown. Ať už stavíte obsahové nástroje, vytváříte archivy nebo prostě potřebujete nějaký obsah zpracovat, je to přesně ten typ utility, u které se ptáte — jak jsem bez ní mohl žít?

Vyzkoušejte ho na dalším projektu, kde potřebujete konvertovat webový obsah. Velká šance, že vám ušetří spoustu času a frustrace.