Dosya İndirme Derdi Biten Bir Araç: Scraper

Hepimizin başından geçmiştir: bir yerden büyük bir dosya çekmeniz, bir web sitesinin tamamını kopyalamanız ya da düzenli aralıklarla dosya transferi yapmanız gerekiyor. Ve ne oluyor? Elinizdeki araçlar birbirinden kopuk, her iş için farklı bir komut, farklı bir kütüphane, farklı bir script... İşte bu kaosu biraz olsun toparlayan bir araçtan bahsetmek istiyorum.

Scraper — tek bir binary olarak çalışan, github.com/nicfio/Scraper adresinden ulaşabileceğiniz bir veri çekme aracı.

Scraper Tam Olarak Ne Yapar?

Üç farklı ihtiyacı tek bir çatı altında topluyor:

• Parçalı indirme desteği — Tarayıcıların indirme hızlandırıcıları gibi çalışıyor. Büyük dosyaları birden fazla bağlantı üzerinden eş zamanlı olarak çekiyor. Özellikle HTTP range request destekleyen sunucularda farkı net görüyorsunuz.

• Web tarama (crawling) — İstediğiniz derinlik ve kapsamda sayfa, asset ya da yapılandırılmış veri çekebiliyorsunuz.

• Akıllı filtreleme — Her şeyi indirmek yerine sadece işinize yarayan dosyaları, URL'leri ya da içerik türlerini hedefleyebiliyorsunuz. Böylece sonradan temizlik yapmak zorunda kalmıyorsunuz.

Tek Binary Ne Kadar Önemli?

Şöyle düşünün: her ek bağımlılık, potansiyel bir hata noktası. Her farklı runtime, deployment sürecinizi karmaşıklaştırıyor.

Scraper'ın tek binary yaklaşımı ise şunları getiriyor:

• Kurulum derdi yok — İndir, çalıştır, bitir.
• Her platformda çalışır — Linux, macOS, Windows. Tek dosya hepsinde sorunsuz çalışıyor.
• Taşınabilir — Docker container'ına atın, CI/CD pipeline'ınıza ekleyin, local'inizdeki ~/bin klasörüne koyun. Fark etmez.

Özellikle erken aşamadaki projeler ve solo developer'lar için bu, yapılandırma ile uğraşmak yerine ürün geliştirmeye odaklanabileceğiniz anlamına geliyor.

Hangi Senaryolarda İşinize Yarar?

• Data pipeline'lar — Üçüncü taraf API'lardan düzenli yedekler veya büyük datasetler çekmek
• Site yedekleme — Dokümantasyon veya içeriklerin çevrimdışı arşivlerini oluşturmak
• Test otomasyonu — Fixture dosyalarını ve assetleri test sürecinizin bir parçası olarak çekmek
• İçerik toplama — robots.txt kurallarına saygı gösterirken tam olarak ihtiyacınız olan veriyi çeken crawler'lar kurmak

Nasıl Başlanır?

GitHub releases sayfasından işletim sisteminize uygun binary'yi indirin. Kullanım dokümantasyonu oldukça sade tutulmuş ve açık kaynak olması sayesinde kodu inceleyebilir veya katkıda bulunabilirsiniz.

Karmaşıklığı seven biri değilseniz, Scraper araç kutusuna eklemeye değer bir seçenek. Bazen en iyi araçlar, bir şeyi iyi yapanlardır — Scraper ise üç şeyi iyi yapıyor.

Deneyenler var mı? Yorum bölümünde kendi kullanım senaryolarınızı paylaşırsanız sevinirim.