Yomi: Ha a weboldalakból tiszta Markdown kellene

Mindenki ismeri azt a frusztrációt, amikor programozottan kell kinyerni a lényeges tartalmat egy weboldalról. A HTML káosz: navigációs menük, hirdetések, sütikezelő felugrók, oldalsó widgetek - mindaz, ami teljesen lényegtelen. A Yomi épp ezt a problémát célozza meg.

Miért érdemes odafigyelni a Yomira?

A Yomi egy Go könyvtár és CLI eszköz, amely bármilyen URL-t szép, tiszta Markdown formátumba alakít. De nem egy félkész scraper: a projekt átgondolt megközelítést alkalmaz, okosan eltávolítja a felesleget, miközben megtartja a fontos struktúrát.

Ami igazán felkeltette az érdeklődésemet:

Intelligens tartalomkinyerés — A Yomi nem egyszerűen összegyűjti az összes szöveget. Okosan azonosítja az oldal fő tartalmi területét, kiszűrve a navigációs sávokat, lábléceket, oldalsó menüket és az általunk olyannyira gyűlölt felugró ablakokat.

Struktúra megőrzése — Tutorialok, dokumentációs oldalak vagy technikai cikkek konvertálásakor a kódrészletek számítanak. A Yomi érintetlenül hagyja a kód formázását, megőrzi a képeket az alt texttel együtt, és fenntartja a heading hierarchiát. Az eredmény egy megfelelően strukturált Markdown dokumentum, ami valóban úgy néz ki, mint az eredeti.

Teljes weboldal konverzió — Néha nem csak egyetlen oldal kell. A Yomi rekurzívan követi a linkeket és teljes weboldalakat alakít át, így tökéletes dokumentációk helyi backup-jának létrehozásához vagy tartalmi archívumok építéséhez.

Valós felhasználási területek

Ez az eszköz izgalmas lehetőségeket nyit:

Dokumentációs pipeline-ok — Dokumentációs aggregatort építesz, vagy külső forrásokból kell tartalmat bevonni a tudásbázisodba? A Yomi egyszerűvé teszi a webes tartalom letöltését és konzisztens formátumba alakítását.

Offline olvasás — Cikkek, tutorialok vagy kutatási anyagok offline archívumát készíted? Alakítsd át a weboldalakat Markdownba és tárold őket Gitben, Obsidianban vagy bármilyen flat-file rendszerben.

Tartalommigráció — Platformok közötti átköltözés gyakran jelent marhaság HTML exportokat. Futtasd át a tartalmat a Yomin és tiszta Markdownt kapsz, amivel tudsz dolgozni.

Archiválási célok — A weboldalak folyamatosan eltűnnek. A Yomi használatával strukturált backupokat készíthetsz értékes webes erőforrásokról, így hordozható, olvasható archívumokat kapsz, amelyek akkor is működnek, ha az eredeti megszűnik.

Fejlesztőknek tervezve

A Yomiban az tetszik igazán, hogy elsődlegesen fejlesztőknek készült. A kettős library-és-CLI megközelítés azt jelenti, hogy vagy közvetlenül integrálhatod a Go alkalmazásaidba, vagy CLI segédprogramként használhatod scriptekben és build pipeline-okban.

A library API egyszerű, így arra koncentrálhatsz, amit a tartalommal akarsz csinálni, nem kell bajlódnod a kinyerési logikával. A CLI egyaránt működik gyors egyszeri konverziókhoz vagy shell script automatizáláshoz.

Első lépések

A Yomi open source, MIT licenc alatt, Go-ban írva - ami azt jelenti, hogy mindenhol fut, ahol a Go fut, plusz függőségek nélkül az alapfunkciókhoz. A tamnd/yomi repository minden szükségest tartalmaz: könyvtár importálásához projektbe vagy gyors konverziókhoz terminálból.

Végső gondolatok

A webes tartalom kinyerése nem kell, hogy bonyolult legyen. A Yomi egy célorientált, jól megtervezett megoldás a weboldalak tiszta Markdowndá alakításának specifikus problémájára. Legyen szó tartalom eszközök építéséről, archívumok létrehozásáról, vagy egyszerűen csak tartalomgrabbelésről feldolgozáshoz - ez az a utility, ami után elgondolkozol, hogy eddig hogy is boldogultál nélküle.

Próbáld ki a következő projektedben, ahol webtartalom konverzióra van szükség - nagy eséllyel a Yomi jelentős időt és frusztrációt spórol meg neked.