Yomi: Fra rodet HTML til ren Markdown uden besvær

Har du prøvet at hive indhold ud af en webside automatisk? Så kender du problemet. HTML er kaotisk. Navigation, annoncer, cookie-bannere og en masse andet skrald, der intet har med den egentlige tekst at gøre. Det er præcis det problem, Yomi vil løse.

Hvad gør Yomi anderledes?

Yomi er et Go-bibliotek og et CLI-værktøj, der kan omdanne enhver URL til ren Markdown. Men det er ikke bare endnu en halvbagt scraper. Projektet tager en gennemtænkt tilgang til indholdsudtræk – den fjerner det uinteressante og bevarer det, der faktisk betyder noget.

Her er de funktioner, der fangede min opmærksomhed:

Intelligent indholdsudtræk — Yomi nøjes ikke med at samle al tekst på en side. Den finder selv hovedindholdet og sorterer navigation, sidefødder, bokse og irriterende popups fra.

Struktur i behold — Når du konverterer tutorials, dokumentation eller tekniske artikler, er kodeblokke vigtige. Yomi holder din kodeformatering intakt, bevarer billeder med alt-tekst og respekterer overskriftshierarkier. Det, du får ud, ligner faktisk den oprindelige side.

Hele websites på én gang — Nogle gange har du brug for mere end én side. Yomi kan følge links rekursivt og konvertere hele websites. Perfekt til lokale backups af dokumentation eller til at bygge indholdsarkiver.

Hvad kan du bruge det til?

Værktøjet åbner for nogle spændende muligheder:

Dokumentationspipelines — Bygger du en dokumentationsaggregator eller skal bruge indhold fra eksterne kilder? Yomi gør det nemt at hente og konvertere webindhold til et ensartet format.

Offline læsning — Vil du have en offline samling af artikler, tutorials eller research-materiale? Konverter websider til Markdown og gem dem i Git, Obsidian eller ethvert fladfil-system.

Indholdsmigration — Når du flytter indhold mellem platforme, ender du ofte med rodet HTML-eksport. Send det gennem Yomi, og få ren Markdown, du faktisk kan arbejde med.

Arkivering — Websites forsvinder hele tiden. Med Yomi kan du oprette strukturerede backups af værdifulde webressourcer. Det giver portable, læsbare arkiver, der ikke går i stykker, når den originale side lukker.

Bygget til udviklere

Det, jeg sætter pris på ved Yomi, er at det er designet til udviklere først. Den dobbelte tilgang som bibliotek og CLI betyder, at du kan integrere det direkte i dine Go-applikationer eller bruge det som kommandolinjeværktøj i scripts og build-pipelines.

Biblioteks-API'et er ligetil. Du kan fokusere på, hvad du vil gøre med indholdet, i stedet for at rode med selve udtrækslogikken. CLI'en gør det lige så tilgængeligt til hurtige engangskonverteringer eller automatisering i shellscripts.

Kom i gang

Yomi er open source under MIT-licensen og skrevet i Go. Det kører overalt, hvor Go kører, uden ekstra afhængigheder for kernefunktionaliteten. Repository'et på tamnd/yomi har alt, du skal bruge – uanset om du vil importere biblioteket i dit projekt eller køre hurtige konverteringer fra terminalen.

Konklusionen

Webindholdsudtræk behøver ikke være kompliceret. Yomi giver en fokuseret, velfungerende løsning på det specifikke problem: at omdanne websider til ren Markdown. Uanset om du bygger indholdsværktøjer, opretter arkiver eller bare har brug for at hente noget indhold til behandling – dette er den slags værktøj, der får en til at undre sig over, hvordan man nogensinde klarede sig uden det.

Prøv det på dit næste projekt, hvor webindholdskonvertering dukker op. Chancerne er store for, at Yomi sparer dig en masse tid og frustration.