Yomi: Η Βιβλιοθήκη που Μετατρέπει Οποιαδήποτε Ιστοσελίδα σε Καθαρό Markdown

Όποιος έχει προσπαθήσει να εξάγει κείμενο από μια ιστοσελίδα μέσω κώδικα, ξέρει τι εννοώ. Το HTML είναι χάος. Μενού πλοήγησης, διαφημίσεις, popup για cookies — όλα αυτά που δεν χρειάζεσαι βρίσκονται εκεί και σκαλώνουν τα πάντα. Το Yomi ήρθε για να λύσει αυτό ακριβώς το πρόβλημα.

Τι το Κάνει να Ξεχωρίζει;

Το Yomi είναι μια βιβλιοθήκη γραμμένη σε Go και παράλληλα ένα CLI εργαλείο που μετατρέπει οποιοδήποτε URL σε καθαρό, όμορφο Markdown. Δεν είναι απλά ένα ακόμη scraper της προκοπής. Η προσέγγιση είναι σκεπτόμενη: αφαιρεί ό,τι είναι θόρυβος, αλλά κρατάει τη δομή που πραγματικά έχει σημασία.

Τα χαρακτηριστικά που τράβηξαν το βλέμμα μου:

Έξυπνη Εξαγωγή Περιεχομένου — Το Yomi δεν αρπάζει όλο το κείμενο που βρίσκει. Εντοπίζει το κύριο περιεχόμενο της σελίδας και φιλτράρει τα πάντα: μενού πλοήγησης, footers, sidebars, αυτά τα ενοχλητικά popup που όλοι μισούμε.

Διατήρηση της Δομής — Όταν χρειάζεσαι να μετατρέψεις ένα tutorial ή ένα τεχνικό άρθρο, τα code blocks έχουν σημασία. Το Yomi διατηρεί τη μορφοποίηση του κώδικα, τις εικόνες με το alt text τους, και τις ιεραρχίες των επικεφαλίδων. Αυτό που βγαίνει είναι ένα σωστά δομημένο Markdown που μοιάζει με το αρχικό.

Μετατροπή Ολόκληρων Ιστοσελίδων — Μερικές φορές δεν θες μόνο μία σελίδα. Το Yomi μπορεί να ακολουθήσει συνδέσμους αναδρομικά και να μετατρέψει ολόκληρα websites. Ιδανικό για τοπικά αντίγραφα τεκμηρίωσης ή δημιουργία αρχείων περιεχομένου.

Πραγματικές Περιπτώσεις Χρήσης

Αυτό το εργαλείο ανοίγει ενδιαφέρουσες δυνατότητες:

Pipelines Τεκμηρίωσης — Φτιάχνεις έναν aggregator τεκμηρίωσης ή χρειάζεσαι να τραβήξεις περιεχόμενο από εξωτερικές πηγές στη βάση γνώσης σου; Το Yomi σου δίνει τη δυνατότητα να μετατρέψεις web περιεχόμενο σε μια σταθερή μορφή.

Ανάγνωση Εκτός Σύνδεσης — Δημιουργείς ένα αρχείο άρθρων, tutorials ή ερευνητικού υλικού για offline χρήση; Μετατρέπεις τις ιστοσελίδες σε Markdown και τις αποθηκεύεις σε Git, Obsidian ή οποιοδήποτε flat-file σύστημα.

Μετανάστευση Περιεχομένου — Η μεταφορά περιεχομένου μεταξύ πλατφορμών συχνά σημαίνει μπλεγμένα HTML exports. Πέταξε το περιεχόμενο στο Yomi και βγάλε καθαρό Markdown έτοιμο για δουλειά.

Σκοποί Αρχειοθέτησης — Οι ιστοσελίδες εξαφανίζονται συνέχεια. Χρησιμοποιώντας το Yomi για να δημιουργήσεις δομημένα αντίγραφα ασφαλείας πολύτιμων πόρων, έχεις portable, ευανάγνωστα αρχεία που δεν θα σπάσουν όταν το πρωτότυπο εξαφανιστεί.

Ένα Εργαλείο για Developers

Αυτό που εκτιμώ στο Yomi είναι ότι σχεδιάστηκε με γνώμονα τους developers. Η διπλή προσέγγιση βιβλιοθήκη-και-CLI σημαίνει ότι μπορείς να το ενσωματώσεις απευθείας σε εφαρμογές Go ή να το χρησιμοποιήσεις ως command-line utility σε scripts και build pipelines.

Το API της βιβλιοθήκης είναι απλό, αφήνοντάς σε να επικεντρωθείς στο τι θες να κάνεις με το περιεχόμενο, χωρίς να χάνεσαι στη λογική της εξαγωγής. Το CLI είναι εξίσου προσιτό για γρήγορες μετατροπές ή αυτοματισμούς στο shell.

Πώς να Ξεκινήσεις

Το Yomi είναι open source με άδεια MIT και γραμμένο σε Go, που σημαίνει ότι τρέχει παντού όπου τρέχει το Go με μηδενικές επιπλέον εξαρτήσεις για τη βασική λειτουργικότητα. Το repository στο tamnd/yomi έχει όλα όσα χρειάζεσαι για να ξεκινήσεις, είτε κάνεις import τη βιβλιοθήκη στο project σου είτε τρέχεις γρήγορες μετατροπές από το terminal.

Το Συμπέρασμα

Η εξαγωγή web περιεχομένου δεν χρειάζεται να είναι περίπλοκη υπόθεση. Το Yomi προσφέρει μια εστιασμένη, καλοσχεδιασμένη λύση για το συγκεκριμένο πρόβλημα της μετατροπής ιστοσελίδων σε καθαρό Markdown. Είτε φτιάχνεις εργαλεία περιεχομένου, είτε δημιουργείς αρχεία, είτε απλά χρειάζεσαι να τραβήξεις κάποιο περιεχόμενο για επεξεργασία, αυτό είναι το είδος του utility που σε κάνει να αναρωτιέσαι πώς τα έβγαζες πέρα χωρίς αυτό.

Δοκίμασέ το στο επόμενο project σου που χρειάζεται μετατροπή web περιεχομένου — οι πιθανότητες είναι ότι το Yomi θα σου εξοικονομήσει σημαντικό χρόνο και πονοκέφαλο.