Yomi – kun web-sivujen siivous käy käden käänteessä

Oletko koskaan yrittänyt poimia tekstiä verkkosivulta ohjelmallisesti? Jos olet, tiedät että homma menee helposti sekopäiseksi. HTML on sotkuinen: navigaatiopalkit, mainokset, eväste-ikkonat ja kaikki muu roska sotkee varsinaisen sisällön.

Tähän ongelmaan Yomi tarjoaa siistin ratkaisun.

Mikä Yomi oikeastaan on?

Kyseessä on Go-kirjasto sekä CLI-työkalu, joka muuttaa minkä tahansa URL-osoitteen puhtaaksi Markdown-muotoon. Kyse ei ole mistä tahansa räpellyksestä – projekti on mietitty huolellisesti. Se osaa karsia pois roskan mutta säilyttää rakenteet, jotka oikeasti merkitsevät.

Kolme asiaa, jotka tekevät vaikutuksen:

Älykäs sisällön tunnistus – Yomi ei napata kaikkea tekstiä mitä sivulta löytyy. Se tunnistaa, missä varsinainen sisältö sijaitsee, ja suodattaa automaattisesti navigaation, alatunnisteet, sivupalkit ja kaikki ne ärsyttävät ponnahdusikkunat pois.

Rakenteiden säilyminen – Kun käsittelet oppaita, dokumentaatiota tai teknisiä artikkeleita, koodilohkot ovat tärkeitä. Yomi pitää koodimuotoilut ehjinä, säilyttää kuvien alt-tekstit ja noudattaa otsikoiden hierarkiaa. Lopputuloksena on kunnollinen Markdown-dokumentti, joka näyttää alkuperäiseltä.

Koko sivuston muuntaminen – Joskus yksi sivu ei riitä. Yomi osaa seurata linkkejä rekursiivisesti ja muuttaa kokonaisia verkkosivustoja. Tämä on kätevää esimerkiksi dokumentaation varmuuskopiointiin tai sisältöarkistojen rakentamiseen.

Käytännön hyötyjä arkeen

Tämä työkalu avaa useita mielenkiintoisia mahdollisuuksia:

Dokumentaatipipelinet – Rakennatko dokumentaatioagregaattoria tai tarvitsetko sisältöä ulkoisista lähteistä omaan tietopohjaasi? Yomi hoitaa verkkosisällön haun ja muuntamisen yhtenäiseen muotoon vaivattomasti.

Offline-lukeminen – Haluatko arkistoida artikkeleita, oppaita tai tutkimusmateriaalia? Muunna sivut Markdowniksi ja säilö ne Gitiin, Obsidianiin tai mihin tahansa tiedostojärjestelmään.

Sisältöjen siirto – Alustalta toiselle siirtyminen tarkoittaa usein kaaottisia HTML-tulosteita. Ohjaa sisältö Yomin läpi ja saat siistin Markdownin, jota on helppo käsitellä.

Arkistointi – Verkkosivuja häviää koko ajan. Yomin avulla voit luoda rakenteellisia varmuuskopioita arvokkaista resursseista. Nämä arkistot ovat siirrettäviä ja luettavia – eivätkä hajoa, kun alkuperäinen sivu katoaa.

Kehittäjän työkalu

Se, mistä Yomissa pidän, on sen kehittäjäkeskeinen suunnittelu. Kirjasto ja CLI toimivat rinnakkain, joten voit joko integroida sen suoraan Go-sovelluksiisi tai käyttää komentorivityökaluna skripteissä ja build-pipelineissa.

Kirjaston API on suoraviivainen. Voit keskittyä siihen, mitä haluat tehdä sisällöllä, sen sijaan että hukkuisit poimintalogiikkaan. CLI taas sopii nopeisiin kertakäyttömuunnoksiin tai shell-skriptauksen automaatioon.

Aloittaminen

Yomi on avointa lähdekoodia MIT-lisenssillä ja kirjoitettu Go-kielellä. Tämä tarkoittaa, että se toimii kaikkialla missä Go toimii, ilman ylimääräisiä riippuvuuksia ydintoimintoihin. Repositorio osoitteessa tamnd/yomi sisältää kaiken tarvittavan – olitpa sitten tuomassa kirjastoa projektiisi tai ajamassa nopeita muunnoksia terminaalista.

Lopuksi

Verkkosisällön poimiminen ei ole monimutkaista. Yomi tarjoaa keskitetyn, hyvin suunnitellun ratkaisun verkkosivujen muuntamiseen puhtaaksi Markdowniksi. Olet sitten rakentamassa sisältötyökaluja, luomassa arkistoja tai tarvitset vain nopean tavan napata sisältöä käsittelyyn – tämä on sellainen apuväline, jota ihmettelee miksei ole tullut aiemmin käyttäneeksi.

Kokeile seuraavassa projektissa, jossa web-sisällön muuntaminen tulee ajankohtaiseksi. Yomi säästää todennäköisesti huomattavasti aikaa ja turhautumista.