Ievads

Katrs raksts par AI indeksētājiem brīdina par to pašu kļūdu. Brīdinājumā teikts, ka 2023. gada datu ieguves panikas laikā jūs bloķējāt GPTBot, un nejauši aizturējāt jaunākos aģentus, kas ieguva lapas, lai tās citētu reāllaika atbildēs. Jūs gribējāt apturēt apmācības indeksētājus un klusi atteicāties no ieteikumiem.

Mēs pārbaudījām, vai tas patiešām notiek.

219 domēnos tas nenotika ne reizi.

Ne reti. Ne dažos gadījumos. Nevienu reizi.

Metode

Mēs izvēlējāmies divdesmit labākos organiskos rezultātus 26 komerciāliem meklējumiem septiņās kategorijās: SaaS, e-komercija, finanses, veselība, ceļojumi, mājas un mārketings. Tādējādi tika iegūti 254 unikāli domēni. 2026. gada 28. jūlijā mēs lejupielādējām katra domēna robots.txt failu, un 219 no tiem tika atrisināti. Septiņi no tiem vispār neuzrādīja robots.txt failu, kas tiek uzskatīts par atļauju visam.

Katram domēnam mēs salīdzinājām katru AI lietotāja aģentu ar failu, izmantojot standarta prioritātes noteikumu: uzvar viskonkrētākā atbilstošā lietotāja aģenta grupa, tādējādi precīza aģenta atbilsme aizstāj *. Domēns tiek uzskatīts par aģenta bloķētāju, ja tā uzvarētāja grupa neļauj piekļūt vietnes saknei bez konkrētākas atļaujas.

Tika pārbaudīti divpadsmit aģenti, iedalot tos pēc to sniegtās informācijas.

Aģents	Operators	Plūsmas
GPTBot	OpenAI	apmācība
OAI-SearchBot	OpenAI	ChatGPT meklēšanas citāti
ClaudeBot	Anthropic	apmācība
Claude-SearchBot	Anthropic	Claude meklēšanas citāti
PerplexityBot	Perplexity	atbildes
DuckAssistBot	DuckDuckGo	atbildes
Amazonbot	Amazon	atbildes
CCBot	Common Crawl	korpuss, ko izmanto daudzi modeļi
Google-Extended	Google	Gemini apmācība, nevis meklēšana
Applebot-Extended	Apple	apmācība
Bytespider	ByteDance	apmācība
meta-ārējais aģents	Meta	apmācība

Rezultāti

77 % no šiem domēniem atļauj visus AI aģentus. Divdesmit trīs procenti bloķē vismaz vienu.

Aģents	Bloķēts	Domēni, kas to nosauc tieši
Bytespider	20 %	45
CCBot	20	47
ClaudeBot	17	50
Google-Extended	16	46
meta-externalagent	16	38
PerplexityBot	15	44
GPTBot	14	53
Applebot-Extended	14	39
Amazonbot	13	39
Claude-SearchBot	10 %	22
DuckAssistBot	10 %	24
OAI-SearchBot	9	34

Vismazāk bloķētais aģents ir tas, kas lejupielādē lapas, kuras ChatGPT izmanto citēšanai. Visbiežāk bloķētie aģenti ir tie, kas vāc datus mācību korpusiem.

Šī secība nav nejauša, un tā ir galvenā atklāsme.

Neviens nepieļauj kļūdu. Ikviens pieņem lēmumu

Paskatīsimies uz diviem operatoriem, kuri izmanto gan apmācības indeksētāju, gan meklēšanas indeksētāju.

	Bloķē abus	Bloķē apmācību, ļauj veikt meklēšanu	Bloķē meklēšanu, ļauj apmācīt
OpenAI, GPTBot / OAI-SearchBot	9 %	5%	0
Anthropic, ClaudeBot / Claude-SearchBot	10	7	0

Divpadsmit domēni bloķē GPTBot, vienlaikus apzināti atļaujot OAI-SearchBot. Piecpadsmit rīkojas līdzīgi attiecībā uz Anthropic. Tā ir saskaņota politika: neizmantojiet manu saturu apmācībai, bet citējiet mani.

Neviens nedara pretēji.

Vēl divi skaitļi norāda uz to pašu. Tikai četri domēni visā paraugā izmanto vispārēju User-agent: * root disallow, un tieši viens bloķē AI aģentu, nekonkretizējot nevienu AI aģentu. Ikviens, kurš rediģē šos failus, zina, kādi aģenti pastāv un ko katrs no tiem dara.

Tātad nozares brīdinājums attiecas uz problēmu, kas šajā paraugā nepastāv. Interesantais jautājums nav tas, vai jūs nejauši bloķējāt meklēšanas aģentus. Tas ir – vai jūs to darījāt apzināti.

Jo 18 % no šiem domēniem bloķē vismaz vienu meklēšanas aģentu, bet 4 % — visus četrus. Šīs vietnes ir atteikušās parādīties AI atbildēs, un, ņemot vērā šos pierādījumus, tās to darīja apzināti.

5 veidi, kā to labot jau šodien

1. Apsveriet apmācību un meklēšanu kā divus atsevišķus jautājumus. Tās ir atšķirīgas izvēles, un tirgus tās jau ir nošķīris. Lielākā daļa izdevēju vēlas otro bez pirmā. Izveidojiet failu šādā veidā, nevis apstrādājiet „AI indeksētājus” kā vienu kategoriju.

2. Katru aģentu nosauciet skaidri. Šeit tikai četri domēni paļaujas uz universālo simbolu, un tam ir pamatots iemesls: vienkāršs User-agent: * disallow bloķē aģentus, kas nepastāvēja brīdī, kad jūs to rakstījāt, un bloķēs aģentus, kas vēl nepastāv. Divi no visbiežāk bloķētajiem aģentiem šajos rezultātos, Bytespider un meta-externalagent, ir jaunāki par lielāko daļu robots.txt ieteikumu, kas joprojām ir apritē.

3. Pārbaudiet OAI-SearchBot un Claude-SearchBot pēc nosaukuma. Šie divi aģenti nosaka, vai jūs varat tikt citēts. Deviņi un desmit procenti no izlases tos bloķē. Ja jūs esat šajā grupā, bet to nevēlējāties, šī ir rinda, kas jāmaina, un tas ir vienīgais punkts šajā sarakstā, kam ir tūlītējas redzamības izmaksas.

4. Veiciet atkārtotu pārbaudi reizi ceturksnī. Pēdējā gada laikā vairākkārt ir parādījušies jauni aģenti. Failā, kas izveidots pirms 18 mēnešiem, trūkst ierakstu, neatkarīgi no tā, cik rūpīgi tas tobrīd tika sastādīts.

5. Pārbaudiet ne tikai failā, bet arī ārpus tā. Jūsu CDN botu pārvaldības noteikumi var bloķēt aģentu, kuru robots.txt skaidri atļauj, un failā par to nebūs nekādas informācijas. Šī ir kļūda, kas var palikt nepamanīta pat tad, ja robots.txt ir perfekts.

Sākumpunkts, kas nošķir šos divus lēmumus:

# Citējiet mani. Šie aģenti iegūst lapas, lai tās citētu reāllaika atbildēs.
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
Iepazīstieties ar Ranktracker
"Viss vienā" platforma efektīvai SEO optimizācijai
Katra veiksmīga uzņēmuma pamatā ir spēcīga SEO kampaņa. Taču, ņemot vērā neskaitāmos optimizācijas rīkus un paņēmienus, var būt grūti saprast, ar ko sākt. Nu, nebaidieties, jo man ir tieši tas, kas jums palīdzēs. Iepazīstinu ar Ranktracker "viss vienā" platformu efektīvai SEO optimizācijai.
Mēs beidzot esam atvēruši reģistrāciju Ranktracker pilnīgi bez maksas!
Izveidot bezmaksas kontu
Vai Pierakstīties, izmantojot savus akreditācijas datus
User-agent: DuckAssistBot
Allow: /
Neizmantojiet mani apmācībai. Ja nepiekrītat, mainiet šos iestatījumus uz „Allow”.
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: CCBot
Disallow: /

Tas ir tuvu konfigurācijai, ko jau izmanto divpadsmit līdz piecpadsmit domēni šajā paraugā. Šobrīd tā ir vispārpieņemta prakse, nevis kāds īpaši gudrs risinājums.

Kāpēc nekas no tā neparādās ziņojumā, ko jūs jau izmantojat

„Search Console” ziņo par „Googlebot”. Tajā nav nekādas informācijas par „OAI-SearchBot”. „Analytics” ziņo par sesijām, un meklētājprogramma, kas nekad neatsaucas uz jums, nesūta sesijas, kas varētu trūkt. Pozīciju izsekošanas rīki ziņo par pozīcijām, un jūsu pozīcijas netiek ietekmētas ne ar vienu no šiem faktoriem.

Ir divi veidi, kā to atklāt. Lasīt failu tieši, ko arī darīja šis pētījums. Vai arī rīkoties atpakaļvirzienā, sākot no simptoma, izmantojot AI redzamības pārbaudītāju, regulāri uzdot meklētājprogrammām jautājumus par jūsu kategoriju un gaidīt atbildi, kas liecina, ka tās jūs vispār neredz.

Šī pētījuma pamatā esošā indeksētāja pārbaude ir tā, ko mēs veicam Honeyb, salīdzinot katru iepriekš minētajā katalogā nosaukto aģentu ar vietnes robotu noteikumiem pēc grafika, nevis vienreizēji. Piekļuve ir pirmā no četrām lietām, ko tā pārbauda. Pārējās trīs ir: vai meklētājprogrammas jūs ieteic, ko konkrēti mainīt, un tad izveidot un publicēt saturu, kas to maina.

Divi ierobežojumi, kas ir vērts pieminēt

Šis paraugs attiecas uz ASV komerciālajiem meklēšanas rezultātiem (SERP), tāpēc tas ir vairāk vērsts uz lieliem izdevējiem un pazīstamiem zīmoliem, kuriem ir gan atpazīstamība, gan juridiskas konsultācijas, lai šajā jautājumā pieņemtu apdomātu lēmumu. Mazā biznesa vietņu paraugs, visticamāk, izskatītos citādi, un stāsts par nejaušu bloķēšanu tur varētu izrādīties patiesība. To mēs pārbaudīsim nākamajā kārtā.

Turklāt robots.txt fails reģistrē nodomu, nevis izpildi. Mēs nepārbaudījām, vai šie domēni faktiski nodrošina saturu katram aģentam, jo tieši šeit darbojas CDN noteikumi un šeit parasti rodas plaisa starp failu un realitāti.

Šī pētījuma platforma atrodas vietnē honeyb.ai.