Sissejuhatus

Igas artiklis, mis käsitleb tehisintellekti-indekseerijaid, hoiatatakse sama vea eest. Hoiatus kõlab nii: te blokeerisite GPTBoti 2023. aasta andmekogumispaanika ajal ja tabasite kogemata uuemad agendid, kes laadivad lehekülgi, et neid reaalajas vastustes tsiteerida. Teie eesmärk oli peatada õppimiseks mõeldud indekseerijad ja te loobusite vaikselt soovituste saamisest.

Me kontrollisime, kas see tegelikult nii juhtub.

219 domeeni puhul ei juhtunud seda kordagi.

Mitte harva. Mitte mõnes üksikus juhtumis. Mitte kordagi.

Meetod

Võtsime 26 kommertspäringu puhul 20 parimat orgaanilist tulemust seitsmes kategoorias: SaaS, e-kaubandus, rahandus, tervis, reisimine, kodu ja turundus. See andis 254 unikaalset domeeni. Laadisime 28. juulil 2026 igaühe jaoks alla robots.txt-faili ning 219 neist olid kättesaadavad. Seitsmel neist puudus robots.txt-fail täielikult, mis loetakse kõike lubavaks.

Iga domeeni puhul võrdlesime failiga kõiki AI-kasutajaagente, kasutades standardset prioriteedireeglit: võidab kõige spetsiifilisem sobiv kasutajaagendi rühm, seega täpne agendi vaste tühistab *. Domeen loetakse agendi blokeerijaks, kui selle võitnud rühm keelab saidi juurkaustu ilma spetsiifilisema lubamiseta.

Kontrolliti kahtteist agendi, jagatuna vastavalt sellele, mida nad edastavad.

Agent	Operaator	Vood
GPTBot	OpenAI	koolitus
OAI-SearchBot	OpenAI	ChatGPT otsingutulemused
ClaudeBot	Anthropic	koolitus
Claude-SearchBot	Anthropic	Claude'i otsingutulemused
PerplexityBot	Perplexity	vastused
DuckAssistBot	DuckDuckGo	vastused
Amazonbot	Amazon	vastused
CCBot	Common Crawl	korpus, millele paljud mudelid tuginevad
Google-Extended	Google	Gemini koolitus, mitte otsing
Applebot-Extended	Apple	koolitus
Bytespider	ByteDance	koolitus
meta-välisagent	Meta	koolitus

Tulemused

77% nendest domeenidest lubab kõiki AI-agente. 23% blokeerib vähemalt ühte.

Agent	Blokeeritud	Domeenid, mis nimetavad seda otseselt
Bytespider	20%	45
CCBot	20%	47
ClaudeBot	17%	50
Google-Extended	16%	46
meta-externalagent	16%	38
PerplexityBot	15%	44
GPTBot	14%	53
Applebot-Extended	14%	39
Amazonbot	13%	39
Claude-SearchBot	10%	22
DuckAssistBot	10%	24
OAI-SearchBot	9%	34

Kõige harvemini blokeeritud agent on see, mis laadib alla lehekülgi, mida ChatGPT tsiteerib. Kõige sagedamini blokeeritakse agente, mis koguvad andmeid õppekorpuste jaoks.

See järjestus ei ole juhuslik ja see ongi kogu järeldus.

Keegi ei tee viga. Igaüks teeb otsuse

Vaadake kahte operaatorit, kes käitavad nii õppimiseks mõeldud indekseerijat kui ka otsingumootorit.

	Blokeerib mõlemat	Blokeerib treenimise, lubab otsingut	Blokeerib otsingu, lubab treenimist
OpenAI, GPTBot / OAI-SearchBot	9%	5%	0
Anthropic, ClaudeBot / Claude-SearchBot	10%	7%	0

Kaksteist domeeni blokeerivad GPTBot'i, samas kui OAI-SearchBot'ile antakse teadlikult luba. Viisteist teevad sama Anthropic'u puhul. See on järjepidev poliitika: ärge treenige minu sisu põhjal, kuid tsiteerige mind.

Keegi ei tee vastupidi.

Veel kaks numbrit viitavad samale suunale. Kogu valimis kasutavad vaid neli domeeni üldist User-agent: * root keeldu ning täpselt üks blokeerib AI-agenti, nimetamata ühtegi AI-agenti selgesõnaliselt. Kes iganes neid faile redigeerib, teab, millised agendid on olemas ja mida igaüks neist teeb.

Seega käsitleb tööstusharu hoiatus probleemi, mida selles valimis ei eksisteeri. Huvitav küsimus ei ole selles, kas te blokeerisite otsingurobotid kogemata, vaid selles, kas te tegite seda tahtlikult.

Sest 18% neist domeenidest blokeerib vähemalt ühte otsingumootorit ja 4% blokeerib kõiki nelja. Need saidid on loobunud AI-vastustes ilmumisest ning käesolevate tõendite põhjal tegid nad seda tahtlikult.

5 viisi, kuidas oma olukorda täna parandada

1. Käsitle koolitust ja otsingut kahe eraldi küsimusena. Need on erinevad otsused ja turg on need juba eraldanud. Enamik väljaandjaid soovib teist ilma esimeseta. Kirjuta fail selliselt, selle asemel et käsitleda „AI-indekseerijaid” ühe kategooriana.

2. Nimetage iga agent selgesõnaliselt. Siin kasutavad vaid neli domeeni metamärki, ja seda hea põhjusega: lihtne „User-agent: * disallow“ püüab kinni agente, mida teie kirjutamise ajal veel ei olnud, ja püüab kinni agente, mida veel ei ole olemas. Kaks kõige sagedamini blokeeritud agenti nendes tulemustes, Bytespider ja meta-externalagent, on uuemad kui enamik endiselt ringlevatest robots.txt-soovitustest.

3. Kontrollige OAI-SearchBot ja Claude-SearchBot nimepõhiselt. Need kaks otsustavad, kas teid võib tsiteerida. Neid blokeerib vastavalt 9 ja 10 protsenti valimist. Kui kuulute sellesse rühma, kuigi seda ei soovinud, on see just see rida, mida tuleb muuta, ning see on ainus punkt selles nimekirjas, millel on vahetu nähtavuse hind.

4. Kontrollige olukorda kord kvartalis uuesti. Viimase aasta jooksul on mitu korda ilmunud uusi agente. 18 kuud tagasi koostatud failist puuduvad kirjed, olenemata sellest, kui hoolikalt see tol hetkel koostati.

5. Kontrollige ka väljaspool faili, mitte ainult failis. Teie CDN-i botihalduse reeglid võivad blokeerida agendi, keda robots.txt selgesõnaliselt lubab, ja failist ei saa selle kohta mingit teavet. See on viga, mis jääb täiuslikust robots.txt-failist hoolimata püsima.

Lähtpunkt, mis eristab neid kahte otsust:

# Tsiteeri mind. Need laadivad lehekülgi, et neid reaalajas vastustes tsiteerida.
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
Meet Ranktracker
Kõik-ühes platvorm tõhusaks SEO-ks
Iga eduka ettevõtte taga on tugev SEO-kampaania. Kuid kuna on olemas lugematu hulk optimeerimisvahendeid ja -tehnikaid, mille hulgast valida, võib olla raske teada, kust alustada. Noh, ärge kartke enam, sest mul on just see, mis aitab. Tutvustan Ranktracker'i kõik-ühes platvormi tõhusaks SEO-ks.
Oleme lõpuks avanud registreerimise Ranktracker täiesti tasuta!
Loo tasuta konto
Või logi sisse oma volituste abil
User-agent: DuckAssistBot
Allow: /
Ära kasuta mind õppimiseks. Muuda need „Allow”-iks, kui oled teisel arvamusel.
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: CCBot
Disallow: /

See on sarnane konfiguratsiooniga, mida selles näites juba kasutavad 12–15 domeeni. See on praegu pigem tavapärane kui nutikas lähenemine.

Miks midagi sellest ei kajastu aruandes, mida sa juba kasutad

Search Console näitab Googlebotit. OAI-SearchBotist ei räägita seal midagi. Analytics näitab seansse, ja otsingumootor, mis teid kunagi ei maini, ei saada seansse, mida puuduks. Positsioonide jälgijad näitavad positsioone, ja see kõik ei mõjuta teie positsioone.

Seda on võimalik avastada kahel viisil. Lugeda faili otse, mida käesolevas uuringus ka tehti. Või töötada tagasi sümptomi põhjal, kasutades AI-nähtavuse kontrollijat, esitades otsingumootoritele teie kategooriat puudutavaid küsimusi kindla ajakava järgi ja jälgides vastust, milles öeldakse, et nad teid üldse ei näe.

Selle uuringu aluseks olev indekseerija audit on see, mida me teostame Honeyb-is, võrreldes iga eespool nimetatud kataloogis loetletud agendi veebisaidi robotite reeglitega kindla ajakava järgi, mitte ühekordselt. Juurdepääs on esimene neljast asjast, mida see kontrollib. Ülejäänud kolm on: kas otsingumootorid soovitavad teid, mida täpselt tuleks muuta ning seejärel muutusi sisaldava sisu loomine ja avaldamine.

Kaks mainimist väärivat piirangut

Käesolev valim hõlmab USA kommertsotsingutulemusi, mistõttu kaldub see suuremate väljaandjate ja tuntud brändide poole, kellel on nii teadlikkus kui ka õigusnõustamine, et siin kaalutletud otsus langetada. Väikeettevõtete veebisaitide valim näeks tõenäoliselt hoopis teistsugune välja ning juhusliku blokeerimise lugu võiks seal vägagi tõeks osutuda. Seda uurime järgmisena.

Ja robots.txt-fail kajastab kavatsust, mitte jõustamist. Me ei testinud, kas need domeenid tegelikult pakuvad sisu igale agendile, sest just seal kehtivad CDN-reeglid ja just seal tekibki tihti lõhe faili ja tegelikkuse vahel.

Selle uuringu taga olev platvorm asub aadressil honeyb.ai.