Yomi: Få ren Markdown fra kaotiske nettsider

Har du noen gang prøvd å trekke ut tekst fra en nettside programmatisk? I så fall vet du hvor frustrerende det er. HTML er rotete. Navigasjonsmenyer, annonser, informasjonskapsler, popup-vinduer – alt dette har ingenting med den faktiske innholdet å gjøre. Yomi løser dette problemet på en elegant måte.

Hvorfor Yomi er annerledes

Yomi er et Go-bibliotek og CLI-verktøy som konverterer enhver URL til ren Markdown. Men dette er ikke bare nok en halvferdig skraper. Prosjektet tar en gjennomtenkt tilnærming til innholdsekstraksjon. Det fjerner rotet intelligent, samtidig som det bevarer strukturen som faktisk betyr noe.

Funksjonene som imponerte meg:

Intelligent innholdsgjenkjenning — Yomi henter ikke bare all tekst det finner. Det identifiserer hovedinnholdet på siden og filtrerer bort navigasjonsfelt, footere, siderader og de irriterende overlay-popupene vi alle hater.

Bevaring av struktur — Når du trenger å konvertere en veiledning eller teknisk artikkel, er kodeblokker viktige. Yomi beholder kodeformateringen intakt, tar vare på bilder med alt-tekst og opprettholder heading-hierarkier. Resultatet er et skikkelig strukturert Markdown-dokument som faktisk ligner på originalen.

Konvertering av hele nettsider — Noen ganger vil du ha mer enn én side. Yomi kan følge lenker rekursivt og konvertere hele nettsider. Perfekt for å lage lokale sikkerhetskopier av dokumentasjon eller bygge innholdsarkiver.

Praktiske bruksområder

Dette verktøyet åpner for interessante muligheter:

Dokumentasjons-pipelines — Bygger du en dokumentasjonsaggregator eller trenger å hente innhold fra eksterne kilder til kunnskapsbasen din? Yomi gjør det enkelt å hente og konvertere webinnhold til et konsistent format.

Offline lesing — Vil du lage et offline-arkiv av artikler, veiledninger eller forskningsmateriale? Konverter nettsider til Markdown og lagre dem i Git, Obsidian eller et hvilket som helst flatfiltsystem.

Innholdsmigrering — Å flytte innhold mellom plattformer innebærer ofte rotete HTML-eksporter. Send innholdet gjennom Yomi for å få ren Markdown du kan jobbe med.

Arkivering — Nettsider forsvinner hele tiden. Å bruke Yomi til å lage strukturerte sikkerhetskopier av verdifulle webressurser gir deg portable, lesbare arkiver som ikke går i stykker når originalen forsvinner.

Et verktøy for utviklere

Det jeg setter pris på med Yomi, er at det er designet for utviklere først. Den doble bibliotek-og-CLI-tilnærmingen betyr at du enten kan integrere det direkte i Go-applikasjonene dine eller bruke det som et kommandolinjeverktøy i skript og build-pipelines.

Bibliotek-API-et er rett frem og lar deg fokusere på hva du vil gjøre med innholdet i stedet for å drukne i ekstraksjonslogikk. CLI-en gjør det like tilgjengelig for raske engangs-konverteringer eller shell-skript-automatisering.

Kom i gang

Yomi er åpen kildekode under MIT-lisensen og skrevet i Go. Det betyr at det kjører overalt der Go kjører, uten ekstra avhengigheter for kjernefunksjonaliteten. Repositoryet på tamnd/yomi har alt du trenger for å komme i gang – enten du vil importere biblioteket i prosjektet ditt eller kjøre raske konverteringer fra terminalen.

Konklusjonen

Å trekke ut webinnhold trenger ikke være komplisert. Yomi tilbyr en fokusert, godt designet løsning for det spesifikke problemet med å konvertere nettsider til ren Markdown. Enten du bygger innholdsverktøy, lager arkiver eller bare trenger å hente litt innhold for behandling, er dette typen verktøy som får deg til å lure på hvordan du klarte deg uten det.

Prøv det på ditt neste prosjekt der webinnholdskonvertering er aktuelt. Sjansen er stor for at Yomi sparer deg for betydelig tid og frustrasjon.