Introduzione

Ogni articolo sui crawler basati sull'intelligenza artificiale mette in guardia dallo stesso errore. L'avvertimento recita: durante il panico da scraping del 2023 hai bloccato GPTBot e hai accidentalmente bloccato anche gli agenti più recenti che recuperano pagine da citare nelle risposte in tempo reale. La tua intenzione era quella di fermare gli scraper di addestramento e, senza renderlo pubblico, hai rinunciato a ricevere raccomandazioni.

Abbiamo verificato se ciò stia effettivamente accadendo.

Su 219 domini, non è successo nemmeno una volta.

Non raramente. Non in una manciata di casi. Nemmeno una volta.

Metodo

Abbiamo preso i primi venti risultati organici per 26 query commerciali in sette categorie: SaaS, e-commerce, finanza, salute, viaggi, casa e marketing. Ciò ha prodotto 254 domini unici. Abbiamo recuperato il file robots.txt per ciascuno di essi il 28 luglio 2026 e ne abbiamo risolti 219. Sette di questi non fornivano alcun file robots.txt, il che equivale a consentire tutto.

Per ogni dominio abbiamo confrontato ogni user agent AI con il file utilizzando la regola di precedenza standard: prevale il gruppo User-agent più specifico, quindi una corrispondenza esatta dell’agente ha la precedenza su *. Un dominio viene considerato come bloccante un agente quando il suo gruppo vincente non consente l’accesso alla radice del sito senza un’autorizzazione più specifica.

Sono stati controllati dodici agenti, suddivisi in base al tipo di contenuto che distribuiscono.

Agente	Operatore	Feed
GPTBot	OpenAI	formazione
OAI-SearchBot	OpenAI	Citazioni relative a ChatGPT
ClaudeBot	Anthropic	formazione
Claude-SearchBot	Anthropic	Ricerca citazioni Claude
PerplexityBot	Perplexity	risposte
DuckAssistBot	DuckDuckGo	risposte
Amazonbot	Amazon	risposte
CCBot	Common Crawl	un corpus a cui attingono molti modelli
Google-Extended	Google	Addestramento di Gemini, non Ricerca
Applebot-Extended	Apple	formazione
Bytespider	ByteDance	formazione
meta-agente esterno	Meta	addestramento

Risultati

Il 77% di questi domini consente l’accesso a tutti gli agenti di IA. Il 23% ne blocca almeno uno.

Agente	Bloccato	Domini che lo nominano esplicitamente
Bytespider	20%	45
CCBot	20%	47
ClaudeBot	17%	50
Google-Esteso	16%	46
meta-agente esterno	16%	38
PerplexityBot	15%	44
GPTBot	14%	53
Applebot-Extended	14%	39
Amazonbot	13%	39
Claude-SearchBot	10%	22
DuckAssistBot	10%	24
OAI-SearchBot	9%	34

L’agente bloccato meno spesso è quello che recupera le pagine che ChatGPT cita. Gli agenti bloccati più spesso sono quelli che raccolgono dati per i corpora di addestramento.

Questo ordine non è casuale, ed è proprio questo il risultato principale.

Nessuno sta commettendo un errore. Tutti stanno prendendo una decisione

Si considerino i due operatori che gestiscono sia un crawler di addestramento che un crawler di ricerca.

	Blocca entrambi	Blocca l'addestramento, consente la ricerca	Blocca la ricerca, consente l'addestramento
OpenAI, GPTBot / OAI-SearchBot	9%	5%	0%
Anthropic, ClaudeBot / Claude-SearchBot	10%	7%	0%

Dodici domini bloccano GPTBot mentre consentono deliberatamente l’accesso a OAI-SearchBot. Quindici fanno lo stesso con Anthropic. Si tratta di una politica coerente: non addestrare i modelli sui miei contenuti, ma citami pure.

Nessuno fa il contrario.

Altri due dati indicano la stessa direzione. Solo quattro domini nell’intero campione utilizzano un divieto generico di tipo User-agent: * root, e esattamente uno blocca un agente di intelligenza artificiale senza nominarne alcuno in modo esplicito. Chiunque modifichi questi file sa quali agenti esistono e cosa fa ciascuno di essi.

Quindi l’avvertimento del settore affronta un problema che, in questo campione, non esiste. La domanda interessante non è se abbiate bloccato gli agenti di ricerca per sbaglio, ma se lo abbiate fatto intenzionalmente.

Infatti, il 18% di questi domini blocca almeno un agente di ricerca e il 4% li blocca tutti e quattro. Questi siti hanno scelto di non comparire nelle risposte dell’IA e, alla luce di questi dati, lo hanno fatto di proposito.

I 5 modi per risolvere il problema oggi stesso

1. Considera l'addestramento e la ricerca come due questioni distinte. Si tratta di decisioni diverse e il mercato le ha già separate. La maggior parte degli editori vuole la seconda senza la prima. Scrivi il file in questo modo, anziché trattare i "crawler AI" come un'unica categoria.

2. Indica esplicitamente ogni agente. Solo quattro domini qui si affidano al carattere jolly, e per una buona ragione: un semplice User-agent: * disallow intercetta agenti che non esistevano quando l’hai scritto e intercetterà agenti che non esistono ancora. Due degli agenti più bloccati in questi risultati, Bytespider e meta-externalagent, sono posteriori alla maggior parte dei consigli su robots.txt ancora in circolazione.

3. Controllate OAI-SearchBot e Claude-SearchBot per nome. Questi due determinano se potete essere citati. Il 9% e il 10% del campione li blocca. Se fate parte di quel gruppo senza volerlo, questa è la riga da modificare, ed è l’unica voce di questo elenco che comporta un costo immediato in termini di visibilità.

4. Rivedete il controllo ogni trimestre. Nel corso dell’ultimo anno sono comparsi nuovi agenti diverse volte. Un file scritto diciotto mesi fa presenta delle voci mancanti, indipendentemente da quanto accuratamente sia stato redatto all’epoca.

5. Verifica anche a livello di perimetro, non solo nel file. Le regole di gestione dei bot del tuo CDN possono bloccare un agente che il file robots.txt autorizza esplicitamente, e il file non te lo segnalerà in alcun modo. Questo è il tipo di errore che sfugge anche a un file robots.txt perfetto.

Un punto di partenza che distingue le due decisioni:

# Citatemi. Questi recuperano pagine da citare nelle risposte in tempo reale.
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
Incontrare Ranktracker
La piattaforma all-in-one per un SEO efficace
Dietro ogni azienda di successo c'è una forte campagna SEO. Ma con innumerevoli strumenti e tecniche di ottimizzazione tra cui scegliere, può essere difficile sapere da dove iniziare. Ebbene, non temete più, perché ho quello che fa per voi. Vi presento la piattaforma Ranktracker all-in-one per una SEO efficace.
Abbiamo finalmente aperto la registrazione a Ranktracker in modo assolutamente gratuito!
Creare un account gratuito
Oppure accedi con le tue credenziali
User-agent: DuckAssistBot
Allow: /
Non addestratevi su di me. Impostate questi su Allow se non siete d’accordo.
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: CCBot
Disallow: /

Questa configurazione è simile a quella già utilizzata da dodici a quindici domini in questo campione. Ormai è una posizione diffusa, piuttosto che una scelta ingegnosa.

Perché nulla di tutto ciò compare in un report che già esegui

Search Console riporta i dati relativi a Googlebot, ma non menziona OAI-SearchBot. Analytics riporta le sessioni, e un motore che non vi cita mai non invia sessioni, quindi non ce ne sono da rilevarne. I tracker di posizionamento riportano le posizioni, e le vostre posizioni non sono influenzate da nulla di tutto ciò.

Ci sono due modi per individuarlo. Leggere direttamente il file, come ha fatto questo studio. Oppure procedere a ritroso partendo dal sintomo con uno strumento di verifica della visibilità basato sull’intelligenza artificiale, ponendo ai motori di ricerca domande relative alla vostra categoria a intervalli regolari e prestando attenzione alla risposta che indica che non riescono a vedervi affatto.

L’audit dei crawler alla base di questo studio è quello che eseguiamo in Honeyb, confrontando ogni agente indicato nel catalogo sopra riportato con le regole robots di un sito a intervalli regolari anziché una tantum. L’accesso è la prima delle quattro cose che verifica. Le altre tre sono: se i motori di ricerca vi raccomandano, cosa cambiare nello specifico e, infine, la produzione e la pubblicazione dei contenuti che apportano tali modifiche.

Due limiti che vale la pena sottolineare

Questo campione riguarda le SERP commerciali statunitensi, quindi è sbilanciato a favore dei grandi editori e dei marchi affermati, che dispongono sia della consapevolezza che della consulenza legale necessarie per prendere una decisione ponderata in merito. Un campione di siti di piccole imprese apparirebbe molto probabilmente diverso, e la storia del blocco accidentale potrebbe benissimo rivelarsi vera in quel contesto. Lo analizzeremo prossimamente.

Inoltre, un file robots.txt registra l’intenzione, non l’applicazione effettiva. Non abbiamo verificato se questi domini forniscano effettivamente contenuti a ciascun agente, ambito in cui risiedono le regole dei CDN e dove tende ad aprirsi il divario tra il file e la realtà.

La piattaforma alla base di questo studio è disponibile su honeyb.ai.