Въведение

Всяка статия за AI-краулерите ви предупреждава за една и съща грешка. През 2023 г., по време на паниката около извличането на данни, сте блокирали GPTBot, гласи предупреждението, и случайно сте засекли по-новите агенти, които извличат страници, за да ги цитират в отговорите на живо. Искали сте да спрете краулерите за обучение и тихо сте се отказали от препоръките.

Проверихме дали това наистина се случва.

В 219 домейна това не се е случило нито веднъж.

Не „рядко“. Не „в няколко случая“. Нито веднъж.

Метод

Взехме първите двадесет органични резултата за 26 търговски заявки в седем категории: SaaS, електронна търговия, финанси, здраве, пътувания, дом и маркетинг. Това доведе до 254 уникални домейна. Изтеглихме robots.txt за всеки от тях на 28 юли 2026 г., като 219 бяха разрешени. Седем от тях изобщо не предоставяха robots.txt, което се счита за разрешаване на всичко.

За всеки домейн сравнихме всеки AI потребителски агент с файла, като използвахме стандартното правило за приоритет: най-конкретната съвпадаща група User-agent печели, така че точното съвпадение на агента има предимство пред *. Даден домейн се счита за блокиращ даден агент, когато неговата печеливша група забранява достъпа до корена на сайта, без да има по-конкретно разрешение.

Бяха проверени дванадесет агента, разделени според това, което подават.

Агент	Оператор	Емисии
GPTBot	OpenAI	обучение
OAI-SearchBot	OpenAI	Цитати от търсене в ChatGPT
ClaudeBot	Anthropic	обучение
Claude-SearchBot	Anthropic	Цитати от Claude Search
PerplexityBot	Perplexity	отговори
DuckAssistBot	DuckDuckGo	отговори
Amazonbot	Amazon	отговори
CCBot	Common Crawl	корпус, от който черпят много модели
Google-Extended	Google	Gemini обучение, а не търсене
Applebot-Extended	Apple	обучение
Bytespider	ByteDance	обучение
мета-външен агент	Meta	обучение

Резултати

77% от тези домейни разрешават всеки ИИ агент. Двадесет и три процента блокират поне един.

Агент	Блокиран	Домейни, които го споменават изрично
Bytespider	20%	45
CCBot	20%	47
ClaudeBot	17%	50
Google-Extended	16%	46
мета-външен агент	16%	38
PerplexityBot	15%	44
GPTBot	14%	53
Applebot-Extended	14%	39
Amazonbot	13%	39
Claude-SearchBot	10%	22
DuckAssistBot	10%	24
OAI-SearchBot	9%	34

Агентът, който се блокира най-рядко, е този, който извлича страници, които ChatGPT да цитира. Агентите, които се блокират най-често, са тези, които събират данни за обучителни корпуси.

Тази подредба не е случайна и представлява цялото заключение.

Никой не допуска грешка. Всеки взема решение

Погледнете двамата оператори, които управляват както краулер за обучение, така и краулер за търсене.

	Блокира и двете	Блокира обучението, позволява търсене	Блокира търсенето, позволява обучение
OpenAI, GPTBot / OAI-SearchBot	9%	5%	0%
Anthropic, ClaudeBot / Claude-SearchBot	10%	7%	0

Дванадесет домейна блокират GPTBot, докато умишлено допускат OAI-SearchBot. Петнадесет правят същото за Anthropic. Това е последователна политика: не обучавайте с моето съдържание, но ме цитирайте.

Никой не прави обратното.

Още две цифри сочат в същата посока. Само четири домейна в цялата извадка използват общо забраняване на User-agent: * root, а точно един блокира AI агент, без да назовава изрично нито един AI агент. Който и да редактира тези файлове, знае кои агенти съществуват и какво прави всеки един от тях.

Така че предупреждението на индустрията се отнася до проблем, който в тази извадка не съществува. Интересният въпрос не е дали сте блокирали търсещите агенти случайно. А дали сте го направили умишлено.

Защото 18% от тези домейни блокират поне един търсещ агент, а 4% блокират и четирите. Тези сайтове са избрали да не се появяват в отговорите на ИИ и, съдейки по тези данни, са го направили умишлено.

5 начина да поправите вашия сайт още днес

1. Разглеждайте обучението и търсенето като два отделни въпроса. Това са различни решения и пазарът вече ги е разделил. Повечето издатели искат второто, без първото. Напишете файла по този начин, вместо да третирате „AI краулерите“ като една категория.

2. Назовете всеки агент изрично. Само четири домейна тук разчитат на заместващия символ, и то с основателна причина: обикновеният User-agent: * disallow улавя агенти, които не са съществували, когато сте го написали, и ще улавя агенти, които все още не съществуват. Два от най-често блокираните агенти в тези резултати, Bytespider и meta-externalagent, са по-нови от повечето съвети за robots.txt, които все още циркулират.

3. Проверете OAI-SearchBot и Claude-SearchBot по име. Тези два агента решават дали можете да бъдете цитирани. Девет и десет процента от извадката ги блокират. Ако сте в тази група и не сте имали намерение да бъдете, това е редът, който трябва да промените, и това е единственият елемент в този списък, който има незабавна цена за видимостта.

4. Преизвършвайте проверка на всеки три месеца. През изминалата година няколко пъти се появиха нови агенти. В файл, създаден преди осемнадесет месеца, липсват записи, независимо колко внимателно е бил написан по онова време.

5. Проверявайте на границата, а не само във файла. Правилата за управление на ботове във вашата CDN могат да блокират агент, който е изрично разрешен в robots.txt, а файлът няма да ви даде никаква информация за това. Това е пропускът, който остава незабелязан дори при перфектен robots.txt.

Отправна точка, която разграничава двете решения:

# Цитирайте ме. Те извличат страници, за да ги цитират в отговорите на живо.
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
Запознайте се с Ranktracker
Универсалната платформа за ефективна SEO оптимизация
Зад всеки успешен бизнес стои силна SEO кампания. Но с безбройните инструменти и техники за оптимизация, от които можете да избирате, може да е трудно да разберете откъде да започнете. Е, не се страхувайте повече, защото имам точно това, което ще ви помогне. Представяме ви платформата Ranktracker "всичко в едно" за ефективна SEO оптимизация
Най-накрая отворихме регистрацията за Ranktracker напълно безплатно!
Създаване на безплатен акаунт
Или влезте в системата, като използвате данните си
User-agent: DuckAssistBot
Allow: /
Не ме използвайте за обучение. Променете тези настройки на „Allow“, ако не сте съгласни.
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: CCBot
Disallow: /

Това е близко до конфигурацията, която вече се използва от дванадесет до петнадесет домейна в този пример. В момента това е по-скоро общоприета практика, отколкото някакъв хитроумен ход.

Защо нищо от това не се появява в отчета, който вече използвате

Search Console отчита Googlebot. Тя не споменава нищо за OAI-SearchBot. Analytics отчита сесиите, а търсачка, която никога не ви цитира, не изпраща сесии, които да липсват. Инструментите за проследяване на позиции отчитат класирането, а вашите позиции не се влияят от нищо от това.

Има два начина да го забележите. Да прочетете файла директно, което е точно това, което направи това проучване. Или да работите обратно от симптома с AI инструмент за проверка на видимостта, като задавате на търсачките въпроси от вашата категория по график и следите за отговора, който казва, че те изобщо не могат да ви видят.

Одитът на краулерите, който стои зад това проучване, е този, който извършваме в Honeyb, като сравняваме всеки посочен агент от каталога по-горе с правилата за роботи на даден сайт по график, а не еднократно. Достъпът е първото от четирите неща, които се проверяват. Останалите три са дали търсачките ви препоръчват, какво конкретно трябва да се промени и след това създаването и публикуването на съдържанието, което внася промените.

Две ограничения, които си заслужава да се отбележат

Тази извадка обхваща търсенията в търсачките за търговски сайтове в САЩ, така че е насочена към големи издатели и утвърдени марки, които разполагат както с осведомеността, така и с правните съвети, за да вземат обмислено решение в този случай. Извадка от сайтове на малки предприятия най-вероятно би изглеждала по различен начин, а историята за случайно блокиране би могла да се окаже вярна в този случай. Ще проведем такова проучване в бъдеще.

А файлът robots.txt отразява намерението, а не прилагането. Не проверихме дали тези домейни действително предоставят съдържание на всеки агент, което е областта, в която действат правилата на CDN и където обикновено се появява разминаването между файла и реалността.

Платформата, на която се основава това проучване, е honeyb.ai.