Giriş

AI tarayıcılarıyla ilgili her makale sizi aynı hata konusunda uyarıyor. Uyarıya göre, 2023'teki veri toplama paniği sırasında GPTBot'u engellediniz ve canlı cevaplarda alıntı yapmak üzere sayfaları getiren daha yeni ajanları yanlışlıkla de engellediniz. Aslında eğitim amaçlı tarayıcıları durdurmak istemiştiniz, ancak farkında olmadan önerilme listesinden de çıkmış oldunuz.

Bunun gerçekten olup olmadığını kontrol ettik.

219 alan adında, bu durum hiç yaşanmadı.

Nadiren değil. Birkaç vakada değil. Bir kez bile değil.

Yöntem

SaaS, e-ticaret, finans, sağlık, seyahat, ev ve pazarlama olmak üzere yedi kategoride 26 ticari sorgu için ilk yirmi organik sonucu aldık. Bu, 254 benzersiz etki alanı oluşturdu. 28 Temmuz 2026 tarihinde her biri için robots.txt dosyasını aldık ve 219'u çözümlendi. Bunlardan yedisi hiç robots.txt dosyası sunmadı; bu da her şeye izin verilmesi olarak kabul edilir.

Her alan adı için, standart öncelik kuralını kullanarak dosyaya karşı her AI kullanıcı aracısını değerlendirdik: en spesifik eşleşen User-agent grubu kazanır, yani tam bir aracı eşleşmesi *'yi geçersiz kılar. Bir alan adı, kazanan grubu daha spesifik bir izin olmadan site kökünü reddediyorsa, o aracı engelliyor sayılır.

On iki kullanıcı ajanı, sundukları içeriklere göre ayrıştırılarak kontrol edildi.

Aracı	Operatör	Beslemeler
GPTBot	OpenAI	eğitim
OAI-SearchBot	OpenAI	ChatGPT arama alıntıları
ClaudeBot	Anthropic	eğitim
Claude-SearchBot	Anthropic	Claude arama alıntıları
PerplexityBot	Perplexity	cevaplar
DuckAssistBot	DuckDuckGo	cevaplar
Amazonbot	Amazon	cevaplar
CCBot	Common Crawl	birçok modelin dayandığı bir metin derlemesi
Google-Extended	Google	Gemini eğitimi, Arama değil
Applebot-Extended	Apple	eğitimi
Bytespider	ByteDance	eğitim
meta-harici ajan	Meta	eğitim

Sonuçlar

Bu alan adlarının %77'si her AI ajanı kabul ediyor. Yüzde yirmi üçü ise en az birini engelliyor.

Ajan	Engellenmiş	Bunu açıkça adlandıran etki alanları
Bytespider	%20	45
CCBot	%20	47
ClaudeBot	%17	50
Google-Genişletilmiş	%16	46
meta-dış-ajan	%16	38
PerplexityBot	%15	44
GPTBot	%14	53
Applebot-Extended	%14	39
Amazonbot	%13	39
Claude-SearchBot	%10	22
DuckAssistBot	%10	24
OAI-SearchBot	%9	34

En az engellenen ajans, ChatGPT'nin alıntı yapması için sayfaları alan ajanstır. En sık engellenen ajanslar ise eğitim metinleri derlemek için veri toplayan ajanslardır.

Bu sıralama tesadüf değildir ve bulgunun tamamını oluşturur.

Kimse hata yapmıyor. Herkes bir karar veriyor

Hem eğitim amaçlı tarayıcıyı hem de arama tarayıcısını çalıştıran iki operatöre bakın.

	Her ikisini de engeller	Eğitimi engeller, aramaya izin verir	Aramayı engeller, eğitimi izin verir
OpenAI, GPTBot / OAI-SearchBot	%9	%5	%0
Anthropic, ClaudeBot / Claude-SearchBot	%10	%7	0

On iki alan adı, GPTBot'u engellerken OAI-SearchBot'a kasıtlı olarak izin veriyor. On beş tanesi de Anthropic için aynı şeyi yapıyor. Bu tutarlı bir politikadır: içeriğimle eğitim yapmayın, ama benden alıntı yapın.

Kimse bunun tersini yapmıyor.

Aynı sonuca işaret eden iki rakam daha var. Tüm örneklemde sadece dört alan adı, User-agent: * kök engellemesini genel olarak kullanıyor ve tam olarak bir tanesi, herhangi bir AI ajanı açıkça adlandırmadan bir AI ajanını engelliyor. Bu dosyaları düzenleyen kişi, hangi ajanların var olduğunu ve her birinin ne yaptığını biliyor.

Dolayısıyla sektör uyarısı, bu örneklemde mevcut olmayan bir sorunu ele almaktadır. İlginç olan soru, arama ajanlarını yanlışlıkla engelleyip engellemediğiniz değildir. Asıl soru, bunu kasıtlı olarak yapıp yapmadığınızdır.

Çünkü bu alan adlarının %18’i en az bir arama ajanı engelliyor ve %4’ü dördünü de engelliyor. Bu siteler, AI yanıtlarında görünmemeyi tercih etmiş ve bu kanıtlara göre bunu kasten yapmışlar.

Sorununuzu bugün çözmenin 5 yolu

1. Eğitim ve aramayı iki ayrı konu olarak ele alın. Bunlar farklı kararlar ve piyasa bunları zaten birbirinden ayırmış durumda. Çoğu yayıncı, ilkini değil, ikincisini istiyor. “AI tarayıcıları”nı tek bir kategori olarak ele almak yerine dosyayı bu şekilde yazın.

2. Her ajanı açıkça adlandırın. Burada yalnızca dört etki alanı joker karakterine güveniyor ve bunun iyi bir nedeni var: Yalnızca User-agent: * disallow yazmak, dosyayı yazdığınızda var olmayan ajanları engeller ve henüz var olmayan ajanları da engelleyecektir. Bu sonuçlarda en çok engellenen ajanlardan ikisi olan Bytespider ve meta-externalagent, hâlâ dolaşımda olan robots.txt tavsiyelerinin çoğundan daha sonradır.

3. OAI-SearchBot ve Claude-SearchBot’u adlarına göre kontrol edin. Bu ikisi, çalışmanızın alıntılanıp alıntılanamayacağına karar verir. Örneklemdeki sitelerin yüzde dokuzu ve on biri bunları engelliyor. Eğer bu gruba dahilseniz ve bunu istemiyorsanız, değiştirmeniz gereken satır budur; ayrıca bu, listede görünürlük açısından anında bir maliyeti olan tek maddedir.

4. Üç ayda bir yeniden denetim yapın. Geçtiğimiz yıl içinde birkaç kez yeni ajanslar ortaya çıktı. On sekiz ay önce yazılmış bir dosyada, o sırada ne kadar dikkatli yazılmış olursa olsun eksik girişler olacaktır.

5. Yalnızca dosyada değil, uçta da doğrulayın. CDN’nizdeki bot yönetimi kuralları, robots.txt dosyasında açıkça izin verilen bir ajanı engelleyebilir ve dosya size bu konuda hiçbir bilgi vermez. Bu, kusursuz bir robots.txt dosyasının bile aşamadığı bir hatadır.

Bu iki kararı birbirinden ayıran bir başlangıç noktası:

# Beni alıntı yapın. Bunlar, canlı cevaplarda alıntı yapmak üzere sayfaları alır.
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
Ranktracker ile tanışın
Etkili SEO için Hepsi Bir Arada Platform
Her başarılı işletmenin arkasında güçlü bir SEO kampanyası vardır. Ancak sayısız optimizasyon aracı ve tekniği arasından seçim yapmak, nereden başlayacağınızı bilmek zor olabilir. Artık korkmayın, çünkü size yardımcı olacak bir şeyim var. Etkili SEO için Ranktracker hepsi bir arada platformunu sunuyoruz
Sonunda Ranktracker'a kaydı tamamen ücretsiz olarak açtık!
Ücretsiz bir hesap oluşturun
Veya kimlik bilgilerinizi kullanarak oturum açın
User-agent: DuckAssistBot
Allow: /
Beni eğitimde kullanmayın. Aynı fikirde değilseniz, bunları Allow olarak değiştirin.
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: CCBot
Disallow: /

Bu, bu örnekte halihazırda on iki ila on beş alan adının uyguladığı yapılandırmaya yakındır. Artık bu, zekice bir yaklaşımdan ziyade genel bir tutumdur.

Neden bunların hiçbiri halihazırda çalıştırdığınız bir raporda görünmüyor?

Search Console, Googlebot'u raporlar. OAI-SearchBot hakkında hiçbir şey belirtmez. Analytics, oturumları raporlar ve sizi hiç alıntılamayan bir arama motoru, eksik olacak oturum göndermez. Sıralama izleyicileri, sıralamaları raporlar ve sıralamalarınız bunlardan hiçbir şekilde etkilenmez.

Bunu tespit etmenin iki yolu vardır. Dosyayı doğrudan okumak; bu çalışmada da bu yöntem kullanıldı. Ya da bir AI görünürlük kontrol aracıyla belirtilerden geriye doğru çalışmak; arama motorlarına kategorinizle ilgili soruları belirli bir programa göre sormak ve sizi hiç göremediklerini belirten yanıtı beklemek.

Bu çalışmanın temelini oluşturan tarayıcı denetimi, Honeyb’de yürüttüğümüz denetimdir; yukarıdaki katalogda adı geçen her bir ajanı, tek seferlik değil, belirli bir programa göre bir sitenin robot kurallarıyla karşılaştırarak çözümleriz. Erişim, denetimin kontrol ettiği dört unsurdan ilkidir. Diğer üçü ise arama motorlarının sizi önerip önermediği, neyin değiştirilmesi gerektiği ve ardından bu değişiklikleri içeren içeriğin üretilip yayınlanmasıdır.

Belirtilmesi gereken iki sınırlama

Bu örnek, ABD’deki ticari arama sonuç sayfalarından (SERP’ler) oluşmaktadır; dolayısıyla, bu konuda bilinçli bir karar verebilecek farkındalığa ve hukuki danışmanlığa sahip büyük yayıncılar ve köklü markalara yöneliktir. Küçük işletme sitelerinden oluşan bir örneklem büyük olasılıkla farklı görünecektir ve kazara engelleme hikayesi bu durumda gerçek çıkabilir. Bunu bir sonraki aşamada test edeceğiz.

Ayrıca, robots.txt dosyası bir niyeti kaydeder, bir zorunluluğu değil. Bu alan adlarının her bir ajana gerçekten içerik sunup sunmadığını test etmedik; CDN kuralları bu noktada devreye girer ve dosya ile gerçeklik arasındaki uçurum genellikle bu noktada açılır.

Bu çalışmanın arkasındaki platform honeyb.ai adresindedir.