Bevezető

Minden, a mesterséges intelligenciával működő webkúszókról szóló cikk ugyanarra a hibára figyelmeztet. A figyelmeztetés szerint a 2023-as adatgyűjtési pánik idején letiltottad a GPTBotot, és véletlenül elkapta azokat az újabb ügynököket is, amelyek oldalakat töltenek be az élő válaszokban való hivatkozás céljából. Az volt a szándékod, hogy leállítsd a tanuló webkúszókat, és ezzel csendben lemondtál arról, hogy ajánlásokban szerepelj.

Ellenőriztük, hogy ez valóban így van-e.

219 domain esetében ez egyszer sem fordult elő.

Nem ritkán. Nem néhány esetben. Egyszer sem.

Módszer

Kiválasztottuk a 26 kereskedelmi keresési lekérdezés első húsz organikus találatát hét kategóriában: SaaS, e-kereskedelem, pénzügy, egészség, utazás, otthon és marketing. Ez 254 egyedi domaint eredményezett. 2026. július 28-án letöltöttük mindegyik robots.txt fájlját, és 219-et sikerült feloldanunk. Ezek közül hét egyáltalán nem szolgáltatott robots.txt fájlt, ami azt jelenti, hogy mindent engedélyez.

Minden domain esetében minden AI-felhasználói ügynököt összehasonlítottunk a fájllal a szokásos prioritási szabály alkalmazásával: a legkonkrétabb egyező User-agent csoport nyer, így egy pontos ügynök-egyezés felülírja a * jelölést. Egy domain akkor tekinthető úgy, hogy blokkol egy ügynököt, ha a nyertes csoportja nem engedélyezi a webhely gyökérkönyvtárát egy konkrétabb engedély nélkül.

Tizenkét ügynököt ellenőriztünk, az általuk továbbított tartalom szerint csoportosítva.

Ügynök	Üzemeltető	Hírcsatornák
GPTBot	OpenAI	képzés
OAI-SearchBot	OpenAI	ChatGPT keresési hivatkozások
ClaudeBot	Anthropic	képzés
Claude-SearchBot	Anthropic	Claude hivatkozások keresése
PerplexityBot	Perplexity	válaszok
DuckAssistBot	DuckDuckGo	válaszok
Amazonbot	Amazon	válaszok
CCBot	Common Crawl	egy olyan korpusz, amelyre számos modell támaszkodik
Google-Extended	Google	Gemini-képzés, nem keresés
Applebot-Extended	Apple	képzés
Bytespider	ByteDance	képzés
meta-külső ügynök	Meta	képzés

Eredmények

Ezeknek a domaineknek 77%-a minden AI-ügynök számára engedélyezi a hozzáférést. 23%-uk legalább egyet blokkol.

Ügynök	Blokkolva	Domainok, amelyek kifejezetten megnevezik
Bytespider	20%	45
CCBot	20%	47
ClaudeBot	17%	50
Google-Extended	16%	46
meta-externalagent	16%	38
PerplexityBot	15%	44
GPTBot	14%	53
Applebot-Extended	14%	39
Amazonbot	13%	39
Claude-SearchBot	10%	22
DuckAssistBot	10%	24
OAI-SearchBot	9%	34

A legritkábban blokkolt ügynök az, amelyik oldalakat tölt le a ChatGPT számára idézés céljából. A leggyakrabban blokkolt ügynökök azok, amelyek képzési korpuszokhoz gyűjtenek adatokat.

Ez a sorrend nem véletlen, és ez a teljes megállapítás.

Senki sem követ el hibát. Mindenki döntést hoz.

Nézzük meg azt a két üzemeltetőt, akik mind képzési, mind keresési webkúszót működtetnek.

	Mindkettőt blokkolja	A betanítást blokkolja, a keresést engedélyezi	A keresést blokkolja, a képzést engedélyezi
OpenAI, GPTBot / OAI-SearchBot	9%	5%	0%
Anthropic, ClaudeBot / Claude-SearchBot	10%	7%	0

Tizenkét domain blokkolja a GPTBot-ot, miközben szándékosan engedélyezi az OAI-SearchBot-ot. Tizenöt domain ugyanezt teszi az Anthropic esetében. Ez egy következetes politika: ne használjátok a tartalmamat a tanuláshoz, de hivatkozzatok rám.

Senki sem csinálja fordítva.

Még két szám is ugyanerre utal. Az egész mintában csupán négy domain alkalmaz általános User-agent: * root tiltást, és pontosan egy blokkol egy AI-ügynököt anélkül, hogy bármely AI-ügynököt kifejezetten megnevezne. Akárki is szerkeszti ezeket a fájlokat, tudja, mely ügynökök léteznek, és mit csinál mindegyik.

Tehát az iparági figyelmeztetés egy olyan problémára vonatkozik, amely ebben a mintában nem létezik. Az érdekes kérdés nem az, hogy véletlenül blokkoltad-e a keresőügynököket, hanem az, hogy szándékosan tetted-e.

Mivel ezeknek a domaineknek 18%-a blokkol legalább egy keresőügynököt, 4%-uk pedig mind a négyet. Ezek a webhelyek úgy döntöttek, hogy nem jelennek meg a mesterséges intelligencia által generált válaszokban, és a bizonyítékok alapján ezt szándékosan tették.

5 módszer, amivel még ma orvosolhatja a problémát

1. Kezelje a betanítást és a keresést két különálló kérdésként. Ezek különböző döntések, és a piac máris szétválasztotta őket. A legtöbb kiadó az első nélkül szeretné a másodikat. Írja meg a fájlt így, ahelyett, hogy az „AI-crawlereket” egy kategóriaként kezelné.

2. Nevezze meg kifejezetten minden ügynököt. Itt csak négy domain támaszkodik a helyettesítő karakterre, és erre jó okuk van: egy egyszerű User-agent: * disallow kifejezés olyan ügynököket is kiszűr, amelyek még nem léteztek, amikor megírta, és olyanokat is, amelyek még nem léteznek. Az eredmények közül a leggyakrabban blokkolt két ügynök, a Bytespider és a meta-externalagent, későbbi keletűek, mint a robots.txt-re vonatkozó legtöbb, még mindig forgalomban lévő tanács.

3. Ellenőrizze az OAI-SearchBot és a Claude-SearchBot nevét. Ez a két ügynök dönti el, hogy hivatkozhatnak-e Önre. A minta 9, illetve 10 százaléka blokkolja őket. Ha Ön is ebbe a csoportba tartozik, de nem szándékozott így tenni, akkor ezt a sort kell módosítania, és ez az egyetlen tétel a listán, amelynek azonnali láthatósági költsége van.

4. Negyedévente végezzen új ellenőrzést. Az elmúlt évben többször is megjelentek új ügynökök. Egy tizennyolc hónappal ezelőtt írt fájlból hiányoznak bejegyzések, függetlenül attól, hogy akkor milyen gondosan írták meg.

5. Ellenőrizd a hálózat peremén is, ne csak a fájlban. A CDN-ed botkezelési szabályai blokkolhatnak olyan ügynököket, amelyeket a robots.txt kifejezetten engedélyez, és a fájl erről semmit sem fog jelezni. Ez az a hiba, amely még egy tökéletes robots.txt-fájl mellett is fennmarad.

A két döntést elválasztó kiindulási pont:

# Hivatkozz rám. Ezek az oldalak idézeteket gyűjtenek az élő válaszokhoz.
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
Ismerje meg a Ranktracker-t
Az All-in-One platform a hatékony SEO-hoz
Minden sikeres vállalkozás mögött egy erős SEO kampány áll. De a számtalan optimalizálási eszköz és technika közül lehet választani, ezért nehéz lehet tudni, hol kezdjük. Nos, ne félj tovább, mert van egy ötletem, ami segíthet. Bemutatom a Ranktracker all-in-one platformot a hatékony SEO-ért.
Végre megnyitottuk a Ranktracker regisztrációt teljesen ingyenesen!
Ingyenes fiók létrehozása
Vagy Jelentkezzen be a hitelesítő adatokkal
User-agent: DuckAssistBot
Allow: /
Ne használj engem a tanuláshoz. Ha nem értesz egyet, állítsd ezeket Allow-ra.
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: CCBot
Disallow: /

Ez közel áll ahhoz a konfigurációhoz, amelyet a mintában szereplő tizenkét–tizenöt domain már alkalmaz. Ma már ez a mainstream álláspont, nem pedig valami különleges megoldás.

Miért nem jelenik meg mindez a már futtatott jelentésedben?

A Search Console a Googlebotról számol be. Az OAI-SearchBotról nem tesz említést. Az Analytics a munkameneteket jelenti, és egy olyan keresőmotor, amely soha nem hivatkozik Önre, nem küld munkameneteket, így azok nem is hiányozhatnak. A rangkövetők a pozíciókat jelentik, és az Ön pozícióit mindez nem befolyásolja.

Kétféleképpen lehet ezt észrevenni. Olvasd el közvetlenül a fájlt, ahogyan ezt a tanulmány is tette. Vagy indulj ki a tünetből egy AI-alapú láthatósági ellenőrzővel, amely rendszeresen felteszi a keresőmotoroknak a kategóriádra vonatkozó kérdéseket, és figyeli azt a választ, amely szerint egyáltalán nem látnak téged.

A tanulmány hátterében álló keresőrobot-ellenőrzés az, amit a Honeyb-ben futtatunk: a fenti katalógusban szereplő minden megnevezett ügynököt a webhely robots.txt-szabályaival vetünk össze rendszeresen, nem pedig egyszeri alkalommal. A hozzáférés az első a négy ellenőrzendő dolog közül. A másik három az, hogy a keresőmotorok ajánlják-e az oldaladat, mit kell konkrétan megváltoztatni, majd a változtatásokat tartalmazó tartalom elkészítése és közzététele.

Két említésre méltó korlát

Ez a minta az amerikai kereskedelmi keresési találati oldalakat (SERP-eket) tartalmazza, így inkább a nagy kiadók és a bejáratott márkák felé torzul, akik rendelkeznek mind a szükséges ismeretekkel, mind a jogi tanácsadással ahhoz, hogy ebben a kérdésben megfontolt döntést hozzanak. A kisvállalkozások webhelyeiből álló minta nagy valószínűséggel másképp nézne ki, és a véletlen blokkolásról szóló történet ott könnyen igaznak bizonyulhat. Ezt fogjuk legközelebb vizsgálni.

A robots.txt fájl pedig a szándékot rögzíti, nem a végrehajtást. Nem teszteltük, hogy ezek a domainek ténylegesen kiszolgálnak-e tartalmat az egyes ügynököknek, hiszen ez a CDN-szabályok hatálya alá tartozik, és itt szokott kialakulni a különbség a fájl és a valóság között.

A tanulmány mögött álló platform a honeyb.ai.