Η αλλαγή της πολιτικής Cloudflare για τους crawlers τον Σεπτέμβριο: Τι σημαίνει για την πρόσβαση AI στην ιστοσελίδα σας
- Εισαγωγή που εξηγεί την αλλαγή
- Τι σημαίνουν οι αλλαγές για τους ιδιοκτήτες ιστοσελίδων
- Η σύνδεση με το Googlebot
- Πώς αξιολογούνται οι πολυλειτουργικοί crawler
- Επιπτώσεις για τον κλάδο
- Τι πρέπει να κάνουν οι ιδιοκτήτες ιστοσελίδων
Η Νέα Πραγματικότητα για την Κίνηση Crawler
Η Cloudflare εισήγαγε σημαντικές αλλαγές στις προεπιλεγμένες ρυθμίσεις για τους crawler στις 15 Σεπτεμβρίου, και ειλικρινά, αυτή η μετατόπιση θα αιφνιδιάσει πολλούς ιδιοκτήτες ιστοσελίδων. Αν έχετε αποκλείσει τους crawler εκπαίδευσης AI για να προστατεύσετε το περιεχόμενό σας, ίσως θελήσετε να ελέγξετε ξανά τις ρυθμίσεις σας, καθώς οι ίδιες διαμορφώσεις μπορεί πλέον να αποκλείουν και το Googlebot.
Αυτό είναι σημαντικό. Το Googlebot είναι ουσιαστικά το εισιτήριο της ιστοσελίδας σας για ορατότητα στις μηχανές αναζήτησης. Αν χάσετε αυτή την πρόσβαση, δείτε την οργανική σας κίνηση να εξατμίζεται γρηγορότερα από ένα instance διακομιστή κατά τη διάρκεια μιας επίθεσης DDoS.
Γιατί η Ξαφνική Αλλαγή;
Η Cloudflare κάνει μια δήλωση σχετικά με τον τρόπο που κατηγοριοποιεί και διαχειρίζεται την κίνηση των crawler. Η βασική μετατόπιση αφορά τον τρόπο αξιολόγησης των πολυλειτουργικών crawler. Στο παρελθόν, οι crawler μπορεί να λάμβαναν εξαίρεση από ορισμένους περιορισμούς αν εξυπηρετούσαν πολλαπλές λειτουργίες. Τώρα, η Cloudflare κρίνει αυτούς τους crawler με βάση κάθε μία από τις εργασίες που εκτελούν, πράγμα που σημαίνει ότι αν ένας crawler περιλαμβάνει οποιαδήποτε στοιχεία εκπαίδευσης AI, μπορεί να ενεργοποιήσει αποκλεισμούς που επηρεάζουν επίσης τη νόμιμη λειτουργία αναζήτησης.
Φανταστείτε το σαν έναν έλεγχο ασφαλείας. Πριν, αν είχατε μια VIP κάρτα για μία λειτουργία, περνούσατε για όλες. Τώρα, κάθε λειτουργία αξιολογείται ξεχωριστά. Το περιεχόμενό σας μπορεί να είναι πολύτιμο για τα αποτελέσματα αναζήτησης, αλλά αν το ίδιο bot εκπαιδεύει επίσης μοντέλα AI; Αποκλείεται.
Οι Επιπτώσεις για τους Ιδιοκτήτες Ιστοσελίδων
Εδώ τα πράγματα γίνονται πρακτικά. Αν χρησιμοποιείτε τις λειτουργίες διαχείρισης bot της Cloudflare για να αποκλείσετε τους crawler AI, πρέπει να κάνετε άμεσα έλεγχο της διαμόρφωσής σας. Οι ιστοσελίδες που έχουν αποκλείσει προληπτικά τους crawler εκπαίδευσης AI μπορεί να διαπιστώσουν ότι η πρόσβαση του Googlebot επηρεάζεται πλέον ως συνέπεια του τρόπου λειτουργίας των νέων προεπιλογών της Cloudflare.
Αυτό δημιουργεί μια δύσκολη θέση για δημιουργούς περιεχομένου και επιχειρήσεις. Από τη μία πλευρά, μπορεί να μην θέλετε το ιδιόκτητο περιεχόμενό σας να τροφοδοτεί μοντέλα AI που ανταγωνίζονται εσάς. Από την άλλη, η αορατότητα στη Google είναι ουσιαστικά ψηφιακή αυτοκτονία για τις περισσότερες διαδικτυακές επιχειρήσεις.
Τι Πρέπει να Κάνει ένας Ιδιοκτήτης Ιστοσελίδας;
Πρώτον, ελέγξτε άμεσα τις ρυθμίσεις στον πίνακα ελέγχου της Cloudflare. Εστιάστε συγκεκριμένα στις διαμορφώσεις bot και crawler. Αν αποκλείετε γνωστούς crawler AI, μπορεί να χρειαστεί να δημιουργήσετε πιο λεπτομερείς κανόνες που διαφοροποιούν τους crawler αναζήτησης από τα bot εκπαίδευσης AI.
Δεύτερον, λάβετε υπόψη τις μακροπρόθεσμες επιπτώσεις αυτής της προσέγγισης. Καθώς η AI ενσωματώνεται όλο και περισσότερο στον τρόπο ανακάλυψης και