Yomi – När webben behöver bli ren Markdown

Har du någonsin försökt plocka ut text från en webbsida programmässigt? Då vet du hur frustrerande det kan vara. HTML är rörigt. Navigationsmenyer, annonser, cookiebanderoller och allt annat brus som inte har med innehållet att göra – alltihop ligger i vägen.

Yomi löser det problemet.

Vad är Yomi?

Yomi är ett Go-bibliotek och CLI-verktyg som tar valfri URL och levererar ren, prydlig Markdown. Det handlar inte om ännu en halvdan webbskraper. Här har någon tänkt till ordentligt kring vad som faktiskt behövs.

Det som imponerar:

Intelligent innehållsextraktion — Yomi letar inte bara efter all text. Den identifierar den egentliga innehållsarean på sidan och filtrerar bort det som bara stör. Navigationsrader, sidfooters, sidopaneler och irriterande popup-fönster sorteras bort.

Bevarad struktur — Behöver du konvertera en tutorial, dokumentationssida eller teknisk artikel? Då spelar kodblocken roll. Yomi behåller din kodformatering intakt, bevarar bilder med deras alt-text och respekterar rubrikhierarkierna. Det du får ut är ett välstrukturerat Markdown-dokument som speglar originalet.

Hela webbplatser — Ibland räcker det inte med en enskild sida. Yomi kan följa länkar rekursivt och konvertera hela webbplatser. Perfekt för att skapa lokala säkerhetskopior av dokumentation eller bygga innehållsarkiv.

Praktiska scenarier

Verktyget öppnar för en hel del möjligheter:

Dokumentationspipelines — Bygger du en dokumentationsaggregerare eller behöver hämta innehåll från externa källor till din kunskapsbas? Yomi gör det enkelt att hämta och konvertera webbinnehåll till ett konsekvent format.

Offline-läsning — Vill du skapa ett offline-arkiv av artiklar, tutorials eller forskningsmaterial? Konvertera webbsidorna till Markdown och spara i Git, Obsidian eller valfritt plattfilssystem.

Innehållsmigrering — Att flytta innehåll mellan plattformar innebär ofta röriga HTML-exportfiler. Kör det genom Yomi och få ren Markdown att arbeta med.

Arkivering — Webbplatser försvinner hela tiden. Med Yomi skapar du strukturerade säkerhetskopior av värdefulla webbresurser. Portabla, läsbara arkiv som inte går sönder när originalet försvinner.

Byggt för utvecklare

Det jag uppskattar med Yomi är att det är designat för utvecklare i första hand. Biblioteket kombinerat med CLI-verktyget betyder att du antingen kan integrera det direkt i dina Go-applikationer eller använda det som kommandoradsverktyg i scripts och byggpipelines.

API:t är rakt på sak. Du fokusar på vad du vill göra med innehållet istället för att gräva ner dig i extraktionslogik. CLI:t gör det lika tillgängligt för snabba enstaka konverteringar eller shell script-automatisering.

Kom igång

Yomi är open source under MIT-licensen och skrivet i Go. Det betyder att det körs överallt där Go körs, utan extra beroenden för kärnfunktionaliteten. Repot på tamnd/yomi har allt du behöver — oavsett om du vill importera biblioteket i ditt projekt eller köra snabba konverteringar från terminalen.

Sammanfattning

Att extrahera webbinnehåll behöver inte vara komplicerat. Yomi erbjuder en fokuserad, väldesignad lösning för det specifika problemet att konvertera webbsidor till ren Markdown.

Bygger du innehållsverktyg? Skapar du arkiv? Eller behöver du bara plocka ut lite innehåll för bearbetning? Då är Yomi den typen av verktyg som får en att undra hur man någonsin klarade sig utan det.

Testa det nästa gång webbinnehållskonvertering dyker upp i ett projekt. Chansen är stor att Yomi sparar dig både tid och frustration.