Web Sayfalarını Markdown'a Dönüştürmek Artık Bu Kadar Kolay Olmamıştı

Web üzerinden içerik çekmek istediğinizde karşılaştığınız manzara malum: Sayfa kaynağını açtığınızda arama motorları, reklamlar, çerez bildirimleri, navigasyon menüleri... Sanki içinde değerli bir bilgi kalmış gibi değil, değil mi? İşte tam bu sorunu çözen bir araçtan bahsetmek istiyorum.

Yomi Nedir?

Yomi, Go ile yazılmış bir kütüphane ve CLI aracı. Verdiğiniz her URL'yi temiz bir Markdown çıktısına dönüştürüyor. Ama sıradan bir web scraper değil. Gerçekten düşünülmüş bir yaklaşım benimsiyor ve sayfadaki gereksiz öğeleri akıllıca ayıklarken, önemli olan yapıyı koruyor.

Öne Çıkan Özellikler

Akıllı İçerik Algılama — Yomi her şeyi değil, gerçek içeriği alıyor. Navigasyon barlarını, footer'ları, yan sütunları ve o can sıkıcı pop-up'ları görmezden gelip asıl metne odaklanıyor.

Yapı Koruma — Bir tutorial veya teknik doküman dönüştürdüğünüzde kod blokları kritik önem taşıyor. Yomi bu blokları olduğu gibi bırakıyor, görsellerin alt metinlerini koruyor ve başlık hiyerarşisini bozmuyor. Sonuç, orijinal sayfanın yapısını yansıtan düzgün bir Markdown belgesi oluyor.

Toplu Site Dönüştürme — Tek sayfa değil, tüm site lazım olduğunda Yomi linkleri takip ederek site genelinde dönüştürme yapabiliyor. Dokümantasyon yedekleri veya içerik arşivleri oluşturmak için ideal.

Nerelerde İşinize Yarar?

Birkaç pratik senaryo düşünelim:

Dokümantasyon Sistemleri — Harici kaynaklardan içerik çekip bilgi tabanınıza entegre etmeniz gerekiyor mu? Yomi ile web içeriğini tutarlı bir formata dönüştürmek çocuk oyuncağı.

Çevrimdışı Arşiv — Beğendiğiniz makaleleri, tutorial'ları veya araştırma notlarınızı saklamak istiyorsunuz. Sayfaları Markdown'a çevirip Git'e, Obsidian'a veya herhangi bir flat-file sistemine kaydedebilirsiniz.

Platformlar Arası Taşıma — İçerik aktarımı genellikle karmaşık HTML export'larıyla geliyor. Yomi bu ham veriyi düzgün Markdown'a çevirerek üzerinde çalışılabilir hale getiriyor.

Kalıcı Yedekler — İnternet siteleri bir gün yok oluyor. Değerli web kaynaklarının yapılandırılmış yedeklerini alarak, orijinal site kapansa bile ulaşılabilir ve okunabilir arşivlere sahip olabilirsiniz.

Geliştiriciler İçin Tasarlanmış

Yomi'nin en beğendiğim yanı, geliştiricileri ön planda tutması. Kütüphane ve CLI ikili yaklaşımı sayesinde ister doğrudan Go uygulamalarınıza entegre edin, ister terminalden hızlı dönüşümler veya shell script'leri içinde kullanın.

Kütüphane API'si sade tutulmuş, extraction mantığıyla boğuşmak yerine içerikle ne yapacağınıza odaklanmanıza izin veriyor. CLI tarafı da aynı şekilde pratik — tek seferlik dönüşümler veya otomasyon süreçleri için ideal.

Hemen Başlamak

Yomi MIT lisansı altında açık kaynak ve Go ile yazılmış. Go'nun çalıştığı her yerde sıfır ek bağımlılıkla çalışıyor. Kurulum ve kullanım detayları için projenin GitHub sayfasını (tamnd/yomi) ziyaret edebilirsiniz.

Son Söz

Web içerik çıkarma işi sandığınız kadar karmaşık olmak zorunda değil. Yomi, web sayfalarını temiz Markdown'a dönüştürme problemini hedef alan, iyi tasarlanmış bir çözüm sunuyor. İçerik araçları geliştiriyor olun, arşiv oluşturuyor olun veya sadece biraz içerik çekmeniz gereksin — bu tür bir yardımcı araç, yokluğunu fark etmeden nasıl idare ettiğinizi düşündürüyor.

Bir sonraki projenizde web içerik dönüştürme ihtiyacı doğduğunda Yomi'yi deneyin. Muhtemelen epey zaman ve sinir kurtaracaktır.