Engellenmeden büyük ölçekte web verilerini nasıl toplayabilirim?

Giriş

Kazıyıcınız birkaç yüz sayfada sorunsuz çalışır. Bunu birkaç yüz bine yönlendirdiğinizde ise isteklerinizin yarısı 403 hatası, CAPTCHA veya boş sayfalar olarak geri döner. Ayrıştırıcı başarısız olmadı. Hedef, trafiğinizin bir insan gibi davranmadığını fark etti ve karşı koymaya başladı.

Büyük ölçekte veri kazıma, çoğunlukla dikkat çekmeme oyunudur. Kazınmaya değer her site bir tür bot algılama sistemi kullanır ve her ekstra istek, işaretlenmek için bir fırsat daha demektir. Bunu, temel unsurları doğru bir şekilde uygulayarak aşabilirsiniz: doğru web kazıma proxy'leri, makul istek aralığı, gerçek bir tarayıcıdan gelen istekler gibi görünen istekler ve bir site karşı koyduğunda ne yapacağınıza dair bir plan. Bu makale, engellemelerin gerçekte nasıl gerçekleştiğini ve tüm alarmları tetiklemeden veri toplamaya devam eden bir iş akışının nasıl oluşturulacağını açıklamaktadır.

Siteler neden otomatik veri toplama işlemlerini engeller?

Siteler, zorluk çıkarmak için veri toplayıcıları engellemez. Engelleme yapmalarının nedeni, trafiğinizin onlara maliyete yol açması ve saklamak istedikleri verileri açığa çıkarmasıdır. Agresif bir veri toplayıcı, dakikada binlerce istek gönderebilir; bu da sunucuları zorlar ve analiz sonuçlarını çarpıtır. Fiyatlar, ürün listeleri ve yorumlar, rakiplerin tam da istediği bilgilerdir; bu nedenle bu verilere sahip siteler, verilerini en sıkı şekilde korur. Hedefinizin, sizin gibi kişilere karşı önlemler aldığını varsayalım.

Engelleme sistemleri nasıl karar verir?

Engelleme nadiren tek bir kuraldan ibarettir. Çoğu savunma sistemi, her ziyaretçi için bir puan tutar ve bir sınırı aşmanız halinde size bir CAPTCHA veya kapalı bir kapı ile karşılaşırsınız. Bu puan üç soruyu yanıtlar: kim olduğunuz, ne kadar hızlı hareket ettiğiniz ve yakından nasıl göründüğünüz.

Kim olduğunuz, IP itibarını ifade eder: Bilinen bir veri merkezi aralığı veya daha önce sorun çıkaran bir adres, başlangıçtan itibaren aleyhine puanlar alır. Ne kadar hızlı hareket ettiğiniz, istek sıklığıdır. Nasıl göründüğünüz ise parmak izinizdir; gönderdiğiniz başlıklar ve TLS el sıkışması, gerçek bir tarayıcının mı yoksa yalın bir komut dosyasının mı çağrı yaptığını ortaya çıkarır.

Cloudflare ve Akamai, bu üç unsuru her istek için canlı bir puana dönüştürür. Bu nedenle, bir veri toplayıcı küçük bir sitede sorunsuzca ilerlerken, aynı kodu çalıştıran korumalı bir sitede bir duvara çarpar.

Ölçeklendirme için bir proxy havuzu oluşturma

Kim olduğunuzla başlayın, çünkü tek bir IP büyük bir işi kaldıramaz. Tek bir adresten yüz bin istek gönderirseniz, itibar kontrolünü hızla tetiklersiniz. Bir havuz, bu yükü birçok IP'ye dağıtır, böylece hiçbiri göze çarpmaz; bu, herhangi bir büyük ölçekli veri toplama kurulumunun temel katmanıdır. Burada seçtiğiniz web kazıma proxy'leri, sonraki tüm işlemler için üst sınırı belirler.

Korunması zayıf veya hiç olmayan sitelerde, veri merkezi IP'leri ağır işi üstlenir: ucuz, hızlı ve toplu olarak temin edilebilir. Hacimli işler için, bir günde tükenen birkaç paylaşımlı adres yerine, yüksek hacimli veri toplama için tasarlanmış veri merkezi IP'lerini tercih etmelisiniz. Ancak bunların kolayca tespit edilebilmesi bir dezavantajdır. TorchProxies’e (2026) göre, veri merkezi proxy’leri korumasız hedeflerde yüzde 60 ila 90 arasında bir başarı oranına ulaşır, ancak Cloudflare veya Akamai bot yönetimi uygulanan sitelerde bu oran yüzde 20 ila 40’a düşer.

Boyutlandırma basit bir hesaplamadır: Bir site IP başına dakikada yaklaşık 10 istek kabul ediyorsa ve size 6.000 istek gerekiyorsa, en az 600 temiz IP'ye ek olarak, işaretlenenler için de bir yedek kapasiteye ihtiyacınız vardır.

İstek hızlandırma ve rotasyon mantığı

Sırada, ne kadar hızlı hareket edeceğiniz var. Rotasyon, her isteği hangi IP'nin alacağını belirler; hızlandırma ise bunlar arasındaki aralığı belirler.

İstek başına rotasyon, her çağrıya yeni bir IP atar; bu, bağımsız ürün sayfaları gibi durum bilgisi içermeyen işler için uygundur. Sabit oturumlar, ilgili istekler dizisi boyunca tek bir IP'yi korur; bu, bir sitenin ödeme işlemi gibi bir oturumu izlediği durumlarda gereklidir.

Hız ayarı, kullanıcıların veri toplama sırasında engellere takılmalarını ya da engelleri aşmalarını belirleyen unsurdur. İstekler arasındaki gecikmeyi rastgele ayarlayın; çünkü sabit 200 ms'lik bir aralık tek başına bir bot sinyalidir. IP başına hızı sınırlayın ve üstel geri çekilme ekleyin; böylece hatalar sizi zorlamaya çalışmak yerine yavaşlatır. Yukarıdaki grafik bunun nedenini gösterir: engelleme oranı, hedefin toleransını aşana kadar sıfıra yakın seyreder, ardından ani bir artış gösterir. Ranktracker'ın SEO araçları için web kazıma kılavuzu, aynı hız ayarının bir sıralama izleyicisini nasıl doğru tuttuğunu gösterir.

Başlıklar ve parmak izleri

Son olarak, nasıl göründüğünüz önemlidir. Makul bir hızda gönderilen temiz IP'ler bile, isteklerin kendisi bir komut dosyası olduğunu açıkça gösteriyorsa yine de tespit edilir. Her istek başlıklar ve bir TLS parmak izi taşır ve tespit işlemi her ikisini de gerçek bir tarayıcıyla karşılaştırır.

User-Agent ile başlayın, ancak bununla yetinmeyin. Gerçek bir tarayıcı, Accept, Accept-Language ve Accept-Encoding başlıklarını tutarlı bir sırayla gönderir; bunları atlayan veya sırasını bozan bir istek dikkat çeker. Bunun altında, JA3 parmak izine indirgenen TLS el sıkışması yer alır. Bir Python istemcisi ile Chrome, görünür başlıkları eşleşse bile farklı şekilde el sıkışır; bu nedenle, güçlü bot önleme sistemleri, sadece yüzeysel olarak sahte görünen veri toplayıcıları yakalamak için el sıkışmasını inceler. Her isteğin baştan sona bir tarayıcıdan geliyormuş gibi görünmesini sağlayın.

CAPTCHA'lar ve yumuşak engellemelerle başa çıkma

Her engelleme bir uyarı işareti göstermez. Sert engelleme açıktır: bir CAPTCHA ekranı veya 403 hatası. Yumuşak engelleme ise gizlidir. Site 200 yanıtı döndürür, ancak istek gövdesi kısıtlanır, seyreltilir veya size haber vermeden veri kümenizi bozmak amacıyla yanlış verilerle doldurulur.

Tespit, en önemli görevdir. Şüphe uyandıracak kadar küçük gelen yanıtları veya farklı olması gereken sayfalar arasında aynı olan yanıtları işaretleyin ve durum "başarılı" olarak görünse bile bunları hata olarak değerlendirin. Hatalı girdiler, üzerine inşa edilen her şeyi bozar; bu nedenle veri kalitesi kontrolleri, erişim kadar önemlidir. Ranktracker’ın doğru sıralama takibi kılavuzu, gürültülü girdilerin raporladığınız rakamları nasıl mahvettiğini gösterir.

CAPTCHA'lar ortaya çıktığında, bunları çözme hizmetleri mevcuttur, ancak daha ucuz çözüm, kaynağa yöneliktir: hızı yavaşlatın, daha sık rotasyon yapın, parmak izini temizleyin ve böylece bu zorlukla karşılaşmayı önleyin.

Ne zaman konut sınıfına geçmelisiniz?

Bazen IP kademesi kendisi bir sınır oluşturur. Trafiği ne kadar iyi ayarlar ve gizlerseniz gizleyin, bot yönetimi veri merkezi havuzunuzu engellemeye devam ediyorsa, bu bir üst kademede yer almanız gerektiğinin işaretidir.

Konut IP'leri gerçek ev cihazlarından gelir, bu nedenle veri merkezi aralıklarının asla kazanamadığı bir güvenilirliğe sahiptir. İnatçı hedefler için, dönen konut IP'lerine geçmek size sıradan ev kullanıcıları gibi görünen trafik sağlar ve veri merkezi adreslerini görür görmez reddeden filtreleri aşmanızı sağlar.

Bunun bedeli ise hız ve paradır. ProxyWing’e göre, veri merkezi proxy’leri 3 ila 10 kat daha hızlı çalışır; veri merkezi proxy’leri yaklaşık 200 ms’nin altındayken, konut IP’leri 500 ms ile 2 saniye arasında sürer. Milyonlarca istek söz konusu olduğunda bu fark önemli hale gelir; bu nedenle kademelendirme yapın: veri merkezi IP’lerini varsayılan olarak tutun ve yalnızca engellenen istekleri konut IP’lerine yönlendirin.

Arama sonuçları bunun klasik bir örneğidir. Ranktracker’ın SERP Checker gibi bir araca veri sağlamak için SERP’leri tarıyorsanız, en zor sayfalar genellikle sizi ev tipi proxy’lere yönlendirir.

Ölçeklendirmeden önce tek bir hedef üzerinde test edin

Scraper'ınızı tüm hedef listenize yönlendirmeden önce, tek bir korumalı site üzerinde çalıştırın ve yanıt kodlarını izleyin. Küçük bir veri merkezi havuzuyla başlayın, hızı ihtiyatlı bir şekilde ayarlayın, ardından engellemeler ortaya çıkana kadar hızı artırın ve son engellenmemiş seviyeye geri dönün. Bu sayı, IP başına üst sınırınızdır ve tüm iş için havuzun boyutunu belirler. Web veri toplama proxy'lerinizi ve hız ayarlarınızı tek bir sitede doğru şekilde ayarlayın; aynı kurulum, geri kalan siteler için de ölçeklenebilir.

Sık sorulan sorular

Büyük ölçekte veri kazımak için kaç proxy'ye ihtiyacım var?

Bu, hedefin toleransına ve veriminize bağlıdır. Bir IP'nin işaretlenmeden önce dakikada kaç istek kaldırabileceğini hesaplayın, hedef hızınızı buna bölün, ardından bir tampon ekleyin. IP başına 10 istek toleransı olan bir siteye karşı dakikada 6.000 istek mi gerekiyor? Bu, bir avuç IP'yi aşırı yüklemek yerine 600'den fazla temiz IP gerektirir.

Web kazıma için veri merkezi proxy'leri mi yoksa konut proxy'leri mi daha iyidir?

İkisi de kesin olarak üstün değildir. Veri merkezi proxy'leri daha hızlı ve ucuzdur ve korumasız sitelerle sorunsuz bir şekilde başa çıkar. Ev tipi proxy'ler daha yavaş ve pahalıdır, ancak sıkı bot yönetiminden kurtulabilir. Çoğu iş akışı her ikisini de kullanır, varsayılan olarak veri merkezi proxy'lerini tercih eder ve yalnızca engellemeler nedeniyle mecbur kaldığında ev tipi proxy'lere geçer.

Proxy kullanmama rağmen neden hala engelleniyorum?

Genellikle hız sınırlaması veya parmak izleri yüzünden olur, IP'ler yüzünden değil. Büyük bir havuzu dönüşümlü olarak kullanın, ancak varsayılan başlıklarla makine hızında çalıştırırsanız, kalıp yine de ortaya çıkar. Hızı düşürün, rastgele dağıtın ve öncelikle bir tarayıcı gibi görünmeye çalışın.

Halka açık verilerin toplanmasına izin veriliyor mu?

Bu, yargı yetki alanınıza ve sitenin hizmet şartlarına göre değişen yasal bir gri alandır. Herkese açık verilere sadık kalın, mümkün olduğunca robots.txt dosyasına uyun, kişisel verilerden uzak durun ve büyük çaplı ticari veri toplama işlemlerinden önce hukuki danışmanlık alın.