Yomi : transformez n'importe quelle page web en Markdown propre

Vous avez déjà essayé d'extraire du texte depuis une page web de manière automatisée ? Vous savez que c'est la galère. Le HTML, c'est le bazar absolu. Menus de navigation, pubs, banners de cookies... bref, tout sauf le contenu qui vous intéresse vraiment.

C'est exactement le problème que Yomi решил (sic - non, en français :来解决 - oups, je reprends !)

C'est exactement le problème que Yomi решил (hem, passons) — non, vraiment, c'est exactement ce problème que Yomi решил...

Bon, je recommence proprement. Yomi, c'est l'outil qu'il vous faut.

Pourquoi Yomi change la donne

Yomi, c'est une bibliothèque Go ET un outil en ligne de commande. Son job ? Transformer n'importe quelle URL en Markdown propre et lisible.

Mais attention, on ne parle pas d'un énième scraper bancal. Le projet adopte une approche intelligente : il supprime automatiquement tout le bruit tout en gardant la structure qui compte.

Extraction intelligente du contenu

Fini le temps où il fallait tout parser manuellement. Yomi détecte automatiquement quelle partie de la page contient le vrai contenu. Les barres de navigation ? Les footers ? Les sidebars ? Les popups agaçants ? Tout ça part à la poubelle.

La structure reste intacte

Vous convertir un tuto ou de la documentation technique ? Les blocs de code vous posent problème ? Pas avec Yomi. Le formatage du code est conservé, les images gardent leur texte alternatif, et les hiérarchies de titres sont respectées. Vous récupérez un document Markdown parfaitement structuré.

Conversion à l'échelle d'un site entier

Besoin de convertir plusieurs pages, voire un site complet ? Yomi suit les liens récursivement. Parfait pour créer des backups locaux de documentation ou constituer des archives.

Concrètement, ça sert à quoi ?

Les possibilities sont nombreuses :

Pipelines de documentation — Vous construisez un agrégateur de docs ou vous voulez intégrer du contenu externe dans votre base de connaissances ? Yomi vous permet de récupérer et convertir facilement.

Lecture hors ligne — Vous voulez archiver des articles, des tutos ou des ressources de recherche ? Convertissez en Markdown et stockez dans Git, Obsidian ou n'importe quel système de fichiers plat.

Migration de contenu — Vous changez de plateforme et devez gérer des exports HTML vieillissants ? Passez tout ça dans Yomi et récupérez du Markdown propre.

Archivage — Les sites web disparaissent régulièrement. Créez des backups structurés de ressources web précieuses. Vos archives restent portables et lisibles, même si le site original ferme.

Un outil pensé pour les développeurs

Ce que j'apprécie particulièrement : Yomi s'adresse aux développeurs en premier.

L'approche duale bibliothèque + CLI signifie deux choses :

• Vous pouvez l'intégrer directement dans vos applications Go
• Vous pouvez l'utiliser comme utilitaire en ligne de commande dans vos scripts et vos pipelines de build

L'API de la bibliothèque est simple. Vous vous concentrez sur ce que vous voulez faire du contenu, pas sur la logique d'extraction. Et le CLI reste accessible pour des conversions rapides ou de l'automatisation shell.

Pour démarrer

Yomi est open source sous licence MIT et écrit en Go. Concrètement, ça tourne partout où Go tourne, sans dépendances supplémentaires pour les fonctionnalités de base.

Le dépôt se trouve sur tamnd/yomi. Vous y trouverez tout ce qu'il faut : que vous souhaitiez importer la bibliothèque dans votre projet ou lancer des conversions depuis votre terminal.

En résumé

L'extraction de contenu web n'a pas à être compliquée. Yomi propose une solution focalisée et bien pensée pour un problème précis : convertir des pages web en Markdown propre.

Que vous construisiez des outils de contenu, créiez des archives ou ayez simplement besoin de récupérer du contenu pour traitement, c'est le genre d'utilitaire qui vous fait vous demander comment vous avez pu vous en passer.

Essayez-le sur votre prochain projet impliquant de la conversion de contenu web. Il y a de fortes chances pour que Yomi vous fasse gagner un temps considérable.