Yomi: O Extrator de Conteúdo Web que Você Não Sabia que Precisava

Todo mundo que já tentou puxar texto de uma página web via código conhece o drama. HTML é uma bagunça danada — menus de navegação, anúncios, aqueles banners de cookies que ninguém pediu, barras laterais, popups invasivos. Você só quer o conteúdo principal e fica lutando contra uma montanha de ruído.

É exatamente nesse ponto que o Yomi entra em cena.

O que Torna o Yomi Diferente?

O Yomi é uma biblioteca escrita em Go que também funciona como ferramenta de linha de comando. O que ele faz? Converte qualquer URL em Markdown limpo e organizado.

Mas não é só mais um scraper genérico. O projeto tem uma abordagem inteligente — remove a sujeira, mas mantém a estrutura que interessa.

Vamos ao que realmente importa:

Extração Inteligente — O Yomi não copia tudo que vê pela frente. Ele identifica onde está o conteúdo principal da página e descarta o resto. Menus, rodapés, barras laterais, aqueles popups chatos que aparecem do nada? Fora.

Estrutura Mantida — Precisa converter um tutorial ou documentação técnica? Código é fundamental. O Yomi preserva formatação de código, mantém imagens com seus textos alternativos, respeita a hierarquia de títulos. O resultado é um documento Markdown que realmente representa o original.

Conversão em Larga Escala — Às vezes uma página não basta. O Yomi consegue seguir links recursivamente e converter sites inteiros. Perfeito para fazer backups locais de documentações ou criar arquivos de conteúdo.

Onde Isso É Útil?

As possibilidades são várias:

Pipelines de Documentação — Está montando um agregador de docs ou precisa puxar conteúdo de fontes externas para sua base de conhecimento? O Yomi simplifica o processo.

Leitura Offline — Quer guardar artigos, tutoriais ou materiais de pesquisa para acessar depois? Converta para Markdown e guarde no Git, no Obsidian, ou qualquer sistema de arquivos simples.

Migração de Conteúdo — Trocar de plataforma geralmente significa lidar com exports HTML horrorosos. Rode esse conteúdo pelo Yomi e sai Markdown limpo e usável.

Arquivamento — Sites somem o tempo todo. Criar backups estruturados de recursos web importantes te dá arquivos portáveis e legíveis que não vão quebrar se o original sair do ar.

Feito para Desenvolvedores

O que me conquistou no Yomi é que ele foi pensado para quem mexe com código. A abordagem de biblioteca + CLI te dá o melhor dos dois mundos: integra direto em aplicações Go ou usa como utilitário em scripts e pipelines de build.

A API da biblioteca é direto ao ponto. Você foca no que quer fazer com o conteúdo, sem se preocupar com a lógica de extração. E o CLI é perfeito para conversões rápidas ou automação em shell scripts.

Começando

O projeto é open source sob licença MIT e escrito em Go. Isso significa que roda em qualquer lugar que o Go roda, sem dependências extras para a funcionalidade principal. O repositório tamnd/yomi tem tudo que você precisa — seja para importar a biblioteca no seu projeto ou fazer conversões pelo terminal.

Veredicto

Extrair conteúdo da web não precisa ser um parto. O Yomi oferece uma solução focada e bem desenhada para esse problema específico.

Seja construindo ferramentas de conteúdo, criando arquivos ou só precisando puxar algo para processar — essa é aquela categoria de utilitário que te faz pensar "como eu vivi sem isso?"

Testa no seu próximo projeto que envolva conversão de conteúdo web. Apostando que vai te poupar tempo e dor de cabeça.