Yomi: Webseiten sauber in Markdown verwandeln

Wer schon mal versucht hat, Textinhalte von Webseiten programmatisch zu extrahieren, kennt das Dilemma. HTML ist chaotisch, vollgepackt mit Navigationsmenüs, Werbung, Cookie-Bannern und allerlei Ballast, der nichts mit dem eigentlichen Content zu tun hat. Genau dieses Problem adressiert Yomi.

Warum Yomi einen Blick wert ist

Yomi ist eine Go-Bibliothek und gleichzeitig ein CLI-Tool, das beliebige URLs in sauberes Markdown verwandelt. Aber hier hört es nicht auf – das Projekt geht durchdacht ans Werk und filtert den Content intelligent heraus, während es die Struktur erhält, die wirklich wichtig ist.

Was mich besonders angesprochen hat:

Intelligente Inhaltsextraktion — Yomi greift nicht einfach jeden Text ab, den es findet. Stattdessen identifiziert es dieHauptinhaltsbereiche einer Seite und entfernt zuverlässig Navigation, Footer, Sidebars und diese lästigen Overlay-Popups.

Strukturerhaltung — Bei Tutorials, Dokumentationsseiten oder technischen Artikeln zählt jeder Codeblock. Yomi behält Formatierungen bei, übernimmt Bilder mit ihren Alt-Texten und wahrt die Überschriftenhierarchie. Heraus kommt ein sauber strukturiertes Markdown-Dokument, das den Originalaufbau widerspiegelt.

Website-weite Konvertierung — Manchmal reicht eine einzelne Seite nicht. Yomi kann Links rekursiv folgen und komplette Websites umwandeln – perfekt für lokale Backups von Dokumentation oder den Aufbau von Content-Archiven.

Praktische Einsatzszenarien

Das Tool eröffnet einige spannende Möglichkeiten:

Dokumentations-Pipelines — Wer eine Dokumentations-Aggregation aufbaut oder Inhalte externer Quellen in seine Wissensdatenbank integrieren möchte, findet in Yomi einen unkomplizierten Weg, Webcontent in ein konsistentes Format zu überführen.

Offline-Lektüre — Articles, Tutorials oder Rechercheergebnisse lokal archivieren? Webseiten in Markdown konvertieren und in Git, Obsidian oder jedem beliebigen Flat-File-System speichern.

Content-Migration — Plattformwechsel bedeuten oft umständliche HTML-Exporte. Einfach den Content durch Yomi jagen und sauberes Markdown erhalten, mit dem sich arbeiten lässt.

Archivierungszwecke — Webseiten verschwinden laufend. Mit Yomi strukturierte Backups wertvoller Ressourcen erstellen bedeutet portable, lesbare Archive, die nicht zusammenbrechen, wenn das Original offline geht.

Ein Werkzeug für Entwickler

Was mir an Yomi besonders zusagt: Das Tool ist von Grund auf für Entwickler konzipiert. Der Dual-Ansatz aus Bibliothek und CLI bedeutet, dass sich Yomi entweder direkt in Go-Anwendungen einbinden oder als Kommandozeilen-Werkzeug in Skripten und Build-Pipelines nutzen lässt.

Die Library-API ist schnörkellos und ermöglicht es, sich auf das Wesentliche zu konzentrieren – namely what you want to do with the extracted content – statt sich in komplexer Extraktionslogik zu verheddern.

Der Einstieg

Yomi ist Open Source unter MIT-Lizenz und in Go geschrieben, läuft also überall dort, wo Go läuft, ohne zusätzliche Abhängigkeiten für den Kernfunktionsumfang. Das Repository unter tamnd/yomi liefert alles, was du brauchst – ob du die Bibliothek in dein Projekt importierst oder schnelle Konvertierungen vom Terminal aus startest.

Fazit

Web-Content-Extraktion muss nicht kompliziert sein. Yomi bietet eine fokussierte, solide Lösung für genau das eine Problem: Webseiten in sauberes Markdown verwandeln. Ob du Content-Tools baust, Archive erstellst oder einfach Content für die weitere Verarbeitung brauchst – dieses Tool wird dich dazu bringen, dich zu fragen, wie du je ohne es ausgekommen bist.

Probier es das nächste Mal aus, wenn Web-Content-Konvertierung auf deiner Agenda steht – die Chancen stehen gut, dass Yomi dir eine Menge Zeit und Frust erspart.