Yomi – czyli jak zamienić brudny HTML w czysty Markdown bez bólu

Każdy, kto próbował kiedyś wyciągnąć tekst ze strony internetowej programowo, wie o co chodzi. HTML to istny chaos – menu nawigacyjne, reklamy, banery cookies, popup-y i masa innych elementów, które kompletnie nie interesują nas w procesie ekstrakcji. Yomi rozwiązuje dokładnie ten problem i robi to naprawdę dobrze.

Dlaczego Yomi zasługuje na uwagę?

Yomi to biblioteka napisana w Go wraz z narzędziem CLI, która potrafi zamienić dowolny URL w czysty Markdown. Nie jest to jednak kolejny niedorobiony scraper. Projekt podszedł do tematu z głową – inteligentnie usuwa zbędne elementy, zachowując przy tym strukturę, która naprawdę ma znaczenie.

Co wyróżnia Yomi na tle konkurencji:

Inteligentna ekstrakcja treści – Yomi nie pobiera po prostu całego tekstu z page'a. System rozpoznaje, gdzie znajduje się główna treść, odfiltrowując nawigację, stopki, sidebar-y i te irytujące overlay-e, które wszyscy tak uwielbiamy.

Zachowanie pełnej struktury – Kiedy konwertujesz tutorial, dokumentację czy artykuł techniczny, bloki kodu mają znaczenie. Yomi dba o ich formatowanie, zachowuje obrazy z alt textami i utrzymuje hierarchię nagłówków. Efekt końcowy to porządnie sstructuryzowany dokument Markdown, który odzwierciedla oryginał.

Konwersja całych witryn – Czasem jedna strona to za mało. Yomi potrafi rekursywnie podążać za linkami i konwertować całe serwisy. Świetnie sprawdza się przy tworzeniu lokalnych kopii zapasowych dokumentacji czy budowaniu archiwów treści.

Gdzie to znajdzie zastosowanie?

Możliwości otwierają się szerokie:

Pipeline'y dokumentacyjne – Budujesz aggregator dokumentacji albo chcesz ściągnąć treści z zewnętrznych źródeł do swojej bazy wiedzy? Yomi pozwala pobierać i konwertować web content do spójnego formatu bezproblemowo.

Czytanie offline – Chcesz zarchiwizować artykuły, tutoriale albo materiały badawcze na później? Konwertuj strony do Markdown i trzymaj w Git, Obsidian czy dowolnym systemie flat-file.

Migracja treści – Przenosisz content między platformami? Zazwyczaj oznacza to walkę z porąbanym eksportem HTML. Przepuść to przez Yomi i dostajesz czysty Markdown, z którym da się pracować.

Cel archiwizacyjny – Strony znikają non stop. Tworzenie strukturyzowanych kopii zapasowych wartościowych zasobów webowych daje Ci przenośne, czytelne archiwa, które nie padną kiedy oryginał zniknie z sieci.

Narzędzie stworzone dla developerów

To, co cenię w Yomi, to fakt, że projekt od początku był projektowany z myślą o programistach. Podejście dualne – biblioteka plus CLI – oznacza, że możesz zintegrować go bezpośrednio z aplikacjami Go albo używać jako narzędzia命令行owego w skryptach i pipeline'ach buildowych.

API biblioteki jest proste i intuicyjne. Koncentrujesz się na tym, co chcesz zrobić z treścią, zamiast grzebać w logice ekstrakcji. CLI daje równie łatwy dostęp do szybkich, jednorazowych konwersji czy automatyzacji w powłoce.

Pierwsze kroki

Yomi to open source na licencji MIT, napisany w Go. Oznacza to, że działa wszędzie tam, gdzie działa Go – bez dodatkowych zależności dla core'owej funkcjonalności. Repozytorium tamnd/yomi ma wszystko, czego potrzebujesz – czy to importowanie biblioteki do projektu, czy szybkie konwersje z terminala.

Podsumowując

Ekstrakcja treści webowej nie musi być skomplikowana. Yomi oferuje skupione, dobrze zaprojektowane rozwiązanie dla konkretnego problemu konwersji stron do czystego Markdown. Niezależnie czy budujesz narzędzia do contentu, tworzysz archiwa czy po prostu potrzebujesz szybko wyciągnąć jakieś dane – to tego typu utilitka, po której sięgasz i zastanawiasz się, jak wcześniej bez niej żyłeś.

Wypróbuj Yomi przy następnym projekcie, gdzie konwersja web contentu wchodzi w grę. Jest spora szansa, że zaoszczędzisz sporo czasu i frustracji.