Εισαγωγή

Κάθε άρθρο σχετικά με τα προγράμματα ανίχνευσης τεχνητής νοημοσύνης (AI crawlers) σας προειδοποιεί για το ίδιο λάθος. Αποκλείσατε το GPTBot κατά τη διάρκεια της πανικού του 2023 σχετικά με το scraping, λέει η προειδοποίηση, και κατά λάθος αποκλείσατε και τους νεότερους πράκτορες που ανακτούν σελίδες για να τις αναφέρουν σε ζωντανές απαντήσεις. Σκοπός σας ήταν να σταματήσετε τα προγράμματα ανίχνευσης που χρησιμοποιούνται για εκπαίδευση, αλλά χωρίς να το καταλάβετε, αποκλείσατε και τη δυνατότητα να σας προτείνουν.

Ελέγξαμε αν αυτό συμβαίνει πράγματι.

Σε 219 τομείς, αυτό δεν συνέβη ούτε μία φορά.

Όχι σπάνια. Όχι σε μερικές περιπτώσεις. Ούτε μία φορά.

Μέθοδος

Πήραμε τα είκοσι κορυφαία οργανικά αποτελέσματα για 26 εμπορικές αναζητήσεις σε επτά κατηγορίες: SaaS, ηλεκτρονικό εμπόριο, χρηματοοικονομικά, υγεία, ταξίδια, σπίτι και μάρκετινγκ. Αυτό απέδωσε 254 μοναδικούς τομείς. Ανακτήσαμε το αρχείο robots.txt για κάθε έναν από αυτούς στις 28 Ιουλίου 2026, και 219 επιλύθηκαν. Επτά από αυτούς δεν παρείχαν καθόλου αρχείο robots.txt, κάτι που θεωρείται ως άδεια για τα πάντα.

Για κάθε domain, εξετάσαμε κάθε user agent τεχνητής νοημοσύνης σε σχέση με το αρχείο χρησιμοποιώντας τον τυπικό κανόνα προτεραιότητας: κερδίζει η πιο συγκεκριμένη ομάδα User-agent που ταιριάζει, οπότε μια ακριβής αντιστοίχιση agent υπερισχύει του *. Ένα domain θεωρείται ότι αποκλείει έναν agent όταν η ομάδα που κερδίζει δεν επιτρέπει την πρόσβαση στη ρίζα του ιστότοπου χωρίς μια πιο συγκεκριμένη άδεια.

Ελέγχθηκαν δώδεκα πράκτορες, κατηγοριοποιημένοι ανάλογα με το περιεχόμενο που τροφοδοτούν.

Πρόγραμμα-πελάτης	Διαχειριστής	Τροφοδοσίες
GPTBot	OpenAI	εκπαίδευση
OAI-SearchBot	OpenAI	Αναφορές αναζήτησης ChatGPT
ClaudeBot	Anthropic	εκπαίδευση
Claude-SearchBot	Anthropic	Αναφορές αναζήτησης Claude
PerplexityBot	Perplexity	απαντήσεις
DuckAssistBot	DuckDuckGo	απαντήσεις
Amazonbot	Amazon	απαντήσεις
CCBot	Common Crawl	ένα σώμα κειμένων στο οποίο βασίζονται πολλά μοντέλα
Google-Extended	Google	Εκπαίδευση του Gemini, όχι της Αναζήτησης
Applebot-Extended	Apple	εκπαίδευση
Bytespider	ByteDance	εκπαίδευση
μετα-εξωτερικός πράκτορας	Meta	εκπαίδευση

Αποτελέσματα

Το 77% αυτών των τομέων επιτρέπει κάθε πράκτορα τεχνητής νοημοσύνης. Το 23% αποκλείει τουλάχιστον έναν.

Πράκτορας	Αποκλεισμένος	Τομείς που το ονομάζουν ρητά
Bytespider	20%	45
CCBot	20%	47
ClaudeBot	17%	50
Google-Extended	16%	46
meta-externalagent	16	38
PerplexityBot	15%	44
GPTBot	14%	53
Applebot-Extended	14%	39
Amazonbot	13%	39
Claude-SearchBot	10%	22
DuckAssistBot	10%	24
OAI-SearchBot	9%	34

Ο πράκτορας που αποκλείεται λιγότερο συχνά είναι αυτός που ανακτά σελίδες για να τις παραθέσει το ChatGPT. Οι πράκτορες που αποκλείονται πιο συχνά είναι αυτοί που συλλέγουν δεδομένα για σώματα κειμένων εκπαίδευσης.

Αυτή η σειρά δεν είναι τυχαία και αποτελεί το σύνολο των ευρημάτων.

Κανείς δεν κάνει λάθος. Όλοι λαμβάνουν μια απόφαση

Κοιτάξτε τους δύο παρόχους που λειτουργούν τόσο ένα πρόγραμμα ανίχνευσης για εκπαίδευση όσο και ένα πρόγραμμα ανίχνευσης για αναζήτηση.

	Αποκλείει και τα δύο	Αποκλείει την εκπαίδευση, επιτρέπει την αναζήτηση	Αποκλείει την αναζήτηση, επιτρέπει την εκπαίδευση
OpenAI, GPTBot / OAI-SearchBot	9%	5%	0%
Anthropic, ClaudeBot / Claude-SearchBot	10%	7%	0

Δώδεκα τομείς αποκλείουν το GPTBot, ενώ επιτρέπουν σκόπιμα το OAI-SearchBot. Δεκαπέντε κάνουν το αντίστοιχο για το Anthropic. Αυτή είναι μια συνεπής πολιτική: μην εκπαιδεύεστε με το περιεχόμενό μου, αλλά παραθέστε με.

Κανείς δεν κάνει το αντίστροφο.

Δύο ακόμη αριθμοί δείχνουν προς την ίδια κατεύθυνση. Μόνο τέσσερις τομείς σε ολόκληρο το δείγμα χρησιμοποιούν μια γενική απαγόρευση User-agent: * root, και ακριβώς ένας αποκλείει έναν πράκτορα τεχνητής νοημοσύνης χωρίς να κατονομάζει ρητά κανέναν πράκτορα τεχνητής νοημοσύνης. Όποιος επεξεργάζεται αυτά τα αρχεία γνωρίζει ποιοι πράκτορες υπάρχουν και τι κάνει ο καθένας.

Έτσι, η προειδοποίηση του κλάδου αφορά ένα πρόβλημα που, σε αυτό το δείγμα, δεν υπάρχει. Το ενδιαφέρον ερώτημα δεν είναι αν αποκλείσατε τους πράκτορες αναζήτησης κατά λάθος. Είναι αν το κάνατε σκόπιμα.

Επειδή το 18% αυτών των τομέων αποκλείει τουλάχιστον έναν πράκτορα αναζήτησης και το 4% αποκλείει και τους τέσσερις. Αυτοί οι ιστότοποι έχουν επιλέξει να μην εμφανίζονται στις απαντήσεις της τεχνητής νοημοσύνης και, βάσει αυτών των στοιχείων, το έκαναν σκόπιμα.

Οι 5 τρόποι για να διορθώσετε τη δική σας κατάσταση σήμερα

1. Αντιμετωπίστε την εκπαίδευση και την αναζήτηση ως δύο ξεχωριστά ζητήματα. Πρόκειται για διαφορετικές αποφάσεις και η αγορά τις έχει ήδη διαχωρίσει. Οι περισσότεροι εκδότες επιθυμούν το δεύτερο χωρίς το πρώτο. Συντάξτε το αρχείο με αυτόν τον τρόπο, αντί να αντιμετωπίζετε τα «προγράμματα ανίχνευσης τεχνητής νοημοσύνης» ως μία κατηγορία.

2. Ονομάστε κάθε πράκτορα ρητά. Μόνο τέσσερις τομείς εδώ βασίζονται στον χαρακτήρα μπαλαντέρ, και για καλό λόγο: ένα απλό User-agent: * disallow εντοπίζει πράκτορες που δεν υπήρχαν όταν το γράψατε, και θα εντοπίσει πράκτορες που δεν υπάρχουν ακόμα. Δύο από τους πιο αποκλεισμένους πράκτορες σε αυτά τα αποτελέσματα, το Bytespider και το meta-externalagent, είναι μεταγενέστεροι από τις περισσότερες συμβουλές για το robots.txt που κυκλοφορούν ακόμα.

3. Ελέγξτε τα OAI-SearchBot και Claude-SearchBot ονομαστικά. Αυτά τα δύο καθορίζουν αν μπορείτε να αναφερθείτε. Το 9% και το 10% του δείγματος τα αποκλείει. Αν ανήκετε σε αυτή την ομάδα και δεν ήταν αυτή η πρόθεσή σας, αυτή είναι η γραμμή που πρέπει να αλλάξετε, και είναι το μόνο στοιχείο σε αυτή τη λίστα που έχει άμεσο κόστος ορατότητας.

4. Επαναελέγξτε κάθε τρίμηνο. Νέοι πράκτορες εμφανίστηκαν αρκετές φορές τον τελευταίο χρόνο. Ένα αρχείο που γράφτηκε πριν από δεκαοκτώ μήνες έχει ελλείψεις, ανεξάρτητα από το πόσο προσεκτικά είχε συνταχθεί τότε.

5. Επαληθεύστε και στα όρια του δικτύου, όχι μόνο στο αρχείο. Οι κανόνες διαχείρισης bot στο CDN σας μπορούν να αποκλείσουν έναν πράκτορα που το robots.txt επιτρέπει ρητά, και το αρχείο δεν θα σας πει τίποτα σχετικά με αυτό. Αυτή είναι η αδυναμία που παραμένει ακόμη και με ένα τέλειο robots.txt.

Ένα σημείο εκκίνησης που διαχωρίζει τις δύο αποφάσεις:

# Αναφέρετέ με. Αυτά ανακτούν σελίδες για να τις παραθέσουν σε ζωντανές απαντήσεις.
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
Γνωρίστε το Ranktracker
Η All-in-One πλατφόρμα για αποτελεσματικό SEO
Πίσω από κάθε επιτυχημένη επιχείρηση βρίσκεται μια ισχυρή εκστρατεία SEO. Αλλά με αμέτρητα εργαλεία και τεχνικές βελτιστοποίησης εκεί έξω για να διαλέξετε, μπορεί να είναι δύσκολο να ξέρετε από πού να ξεκινήσετε. Λοιπόν, μη φοβάστε άλλο, γιατί έχω ακριβώς αυτό που θα σας βοηθήσει. Παρουσιάζοντας την πλατφόρμα Ranktracker all-in-one για αποτελεσματικό SEO
Έχουμε επιτέλους ανοίξει την εγγραφή στο Ranktracker εντελώς δωρεάν!
Δημιουργήστε έναν δωρεάν λογαριασμό
Ή Συνδεθείτε χρησιμοποιώντας τα διαπιστευτήριά σας
User-agent: DuckAssistBot
Allow: /
Μην με χρησιμοποιείτε για εκπαίδευση. Αλλάξτε αυτές τις ρυθμίσεις σε «Allow» αν διαφωνείτε.
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: CCBot
Disallow: /

Αυτή η ρύθμιση είναι παρόμοια με εκείνη που εφαρμόζουν ήδη δώδεκα έως δεκαπέντε τομείς σε αυτό το δείγμα. Πρόκειται πλέον για μια συνήθη πρακτική και όχι για μια έξυπνη λύση.

Γιατί τίποτα από αυτά δεν εμφανίζεται σε μια αναφορά που ήδη εκτελείτε

Το Search Console αναφέρει το Googlebot. Δεν αναφέρει τίποτα για το OAI-SearchBot. Το Analytics αναφέρει συνεδρίες, και μια μηχανή που δεν σας αναφέρει ποτέ δεν στέλνει συνεδρίες που θα μπορούσαν να λείπουν. Τα εργαλεία παρακολούθησης κατάταξης αναφέρουν θέσεις, και οι θέσεις σας δεν επηρεάζονται από τίποτα από όλα αυτά.

Υπάρχουν δύο τρόποι να το εντοπίσετε. Να διαβάσετε απευθείας το αρχείο, όπως έγινε στην παρούσα μελέτη. Ή να προχωρήσετε αντίστροφα από το σύμπτωμα χρησιμοποιώντας ένα εργαλείο ελέγχου ορατότητας με τεχνητή νοημοσύνη, υποβάλλοντας ερωτήσεις σχετικά με την κατηγορία σας στις μηχανές αναζήτησης σύμφωνα με ένα χρονοδιάγραμμα και αναμένοντας την απάντηση που θα δηλώνει ότι δεν μπορούν να σας δουν καθόλου.

Ο έλεγχος των προγραμμάτων ανίχνευσης που βρίσκεται πίσω από αυτή τη μελέτη είναι αυτός που εκτελούμε στο Honeyb, όπου συγκρίνουμε κάθε ονομασμένο πράκτορα στον παραπάνω κατάλογο με τους κανόνες robots ενός ιστότοπου σύμφωνα με ένα χρονοδιάγραμμα και όχι ως μεμονωμένη ενέργεια. Η πρόσβαση είναι το πρώτο από τα τέσσερα στοιχεία που ελέγχει. Τα άλλα τρία είναι αν οι μηχανές αναζήτησης σας προτείνουν, τι συγκεκριμένα πρέπει να αλλάξετε και, στη συνέχεια, η παραγωγή και η δημοσίευση του περιεχομένου που επιφέρει αυτές τις αλλαγές.

Δύο περιορισμοί που αξίζει να αναφερθούν

Αυτό το δείγμα αφορά εμπορικές σελίδες αποτελεσμάτων αναζήτησης (SERPs) στις ΗΠΑ, οπότε παρουσιάζει μεροληψία υπέρ μεγάλων εκδοτών και καθιερωμένων εμπορικών σημάτων, οι οποίοι διαθέτουν τόσο την ενημέρωση όσο και τη νομική συμβουλή για να λάβουν μια μελετημένη απόφαση σε αυτό το θέμα. Ένα δείγμα ιστότοπων μικρών επιχειρήσεων θα έδειχνε πολύ πιθανόν διαφορετικό, και η ιστορία του τυχαίου αποκλεισμού θα μπορούσε κάλλιστα να αποδειχθεί αληθινή σε αυτή την περίπτωση. Θα διεξάγουμε αυτή τη δοκιμή στη συνέχεια.

Επιπλέον, ένα αρχείο robots.txt καταγράφει την πρόθεση, όχι την επιβολή. Δεν ελέγξαμε αν αυτοί οι τομείς παρέχουν πράγματι περιεχόμενο σε κάθε πράκτορα, κάτι που ρυθμίζεται από τους κανόνες του CDN και όπου τείνει να δημιουργείται το χάσμα μεταξύ του αρχείου και της πραγματικότητας.

Η πλατφόρμα πίσω από αυτή τη μελέτη βρίσκεται στη διεύθυνση honeyb.ai.