So sammeln Sie Webdaten in großem Umfang, ohne blockiert zu werden

Einleitung

Ihr Scraper funktioniert bei ein paar hundert Seiten einwandfrei. Richten Sie ihn jedoch auf ein paar hunderttausend Seiten aus, und die Hälfte Ihrer Anfragen wird mit 403-Fehlern, CAPTCHAs oder leeren Seiten beantwortet. Der Parser hat nicht versagt. Die Zielseite hat bemerkt, dass sich Ihr Traffic nicht wie der eines Menschen verhält, und hat begonnen, Gegenmaßnahmen zu ergreifen.

Scraping in großem Maßstab ist vor allem ein Spiel, bei dem es darum geht, nicht aufzufallen. Jede Website, die es wert ist, gescrapt zu werden, verfügt über eine Form der Bot-Erkennung, und jede zusätzliche Anfrage ist eine weitere Chance, markiert zu werden. Dem begegnet man mit gut umgesetzten Grundlagen: den richtigen Web-Scraping-Proxys, einem angemessenen Anfrage-Takt, Anfragen, die wie von einem echten Browser stammen, und einem Plan für den Fall, dass eine Website zurückschlägt. Dieser Artikel zeigt auf, wie Blockierungen tatsächlich zustande kommen und wie man eine Pipeline aufbaut, die kontinuierlich Daten abruft, ohne dabei jeden Alarm auszulösen.

Warum Websites automatisierte Datenerfassung blockieren

Websites blockieren Scraper nicht, um Schwierigkeiten zu machen. Sie blockieren, weil dein Traffic sie Geld kostet und Daten preisgibt, die sie lieber für sich behalten würden. Ein aggressiver Scraper kann Tausende von Anfragen pro Minute absetzen, was Server überlastet und Analysedaten verfälscht. Preise, Produktlisten und Bewertungen sind genau das, was ein Konkurrent haben will – daher verteidigen die Websites, die über diese Daten verfügen, sie am vehementesten. Geh davon aus, dass dein Ziel bereits Vorkehrungen gegen Leute wie dich getroffen hat.

Wie Blockiersysteme entscheiden

Das Blockieren erfolgt selten nach einer einzigen Regel. Die meisten Abwehrmechanismen führen für jeden Besucher eine laufende Bewertung, und wenn man eine Grenze überschreitet, erhält man ein CAPTCHA oder eine verschlossene Tür. Diese Bewertung beantwortet drei Fragen: Wer du bist, wie schnell du dich bewegst und wie du aus der Nähe aussiehst.

Wer du bist, ergibt sich aus der IP-Reputation: Ein bekannter Rechenzentrumsbereich oder eine Adresse, die sich zuvor unzulässig verhalten hat, startet mit Minuspunkten. Wie schnell du dich bewegst, ist die Anfragerate. Wie du aussiehst, ist dein Fingerabdruck – die von dir gesendeten Header sowie dein TLS-Handshake –, der verrät, ob ein echter Browser oder ein bloßes Skript die Anfrage stellt.

Cloudflare und Akamai fassen alle drei Faktoren zu einem Live-Score pro Anfrage zusammen. Das ist der Grund, warum ein Scraper auf einer kleinen Website problemlos durchkommt, während er bei einer geschützten Website, auf der derselbe Code läuft, an eine Wand stößt.

Aufbau eines Proxy-Pools für Skalierbarkeit

Beginnen Sie damit, wer Sie sind, denn eine einzelne IP-Adresse kann keine große Aufgabe bewältigen. Wenn Sie hunderttausend Anfragen von einer einzigen Adresse aus senden, lösen Sie schnell die Reputationsprüfung aus. Ein Pool verteilt diese Last auf viele IP-Adressen, sodass keine einzelne auffällt – das ist die Grundlage jeder groß angelegten Datenerfassungsumgebung. Die Web-Scraping-Proxys, die Sie hier auswählen, legen die Obergrenze für alle nachfolgenden Schritte fest.

Auf Websites mit schwachem oder gar keinem Schutz übernehmen Rechenzentrums-IPs die Hauptlast: günstig, schnell und in großen Mengen verfügbar. Für umfangreiche Aufgaben benötigst du Rechenzentrums-IPs, die für die Datenerfassung in großem Umfang ausgelegt sind, anstatt einiger weniger gemeinsam genutzter Adressen, die innerhalb eines Tages überlastet sind. Der Haken ist, dass sie leicht zu erkennen sind. Rechenzentrums-Proxys erreichen laut TorchProxies (2026) bei ungeschützten Zielen eine Erfolgsquote von 60 bis 90 Prozent, die jedoch hinter Cloudflare- oder Akamai-Bot-Management auf 20 bis 40 Prozent sinkt.

Die Dimensionierung ist eine einfache Rechnung: Wenn eine Website etwa 10 Anfragen pro IP und Minute toleriert und Sie 6.000 benötigen, sind das mindestens 600 saubere IPs, zuzüglich einer Reserve für markierte IPs.

Logik für Anforderungs-Pacing und -Rotation

Als Nächstes geht es darum, wie schnell Sie vorgehen. Die Rotation entscheidet, welche IP-Adresse welche Anfrage übernimmt; die Ratenregelung bestimmt den Abstand zwischen den einzelnen Anfragen.

Bei der Rotation pro Anfrage erhält jeder Aufruf eine neue IP-Adresse – ideal für zustandslose Vorgänge wie unabhängige Produktseiten. Bei „Sticky Sessions“ wird eine IP-Adresse über eine Reihe zusammenhängender Anfragen hinweg beibehalten; dies ist erforderlich, wenn eine Website eine Sitzung nachverfolgt, wie beispielsweise beim Bezahlvorgang.

Die Abfolge bestimmt, ob man beim Scraping Sperren umgeht oder direkt in sie hineingerät. Variiere die Verzögerung zwischen den Anfragen, da ein gleichbleibender Abstand von 200 ms an sich schon ein Bot-Signal ist. Begrenze die Rate pro IP-Adresse und füge einen exponentiellen Backoff hinzu, damit Fehler dich dazu bringen, langsamer zu werden, anstatt einfach weiterzumachen. Die obige Grafik zeigt, warum: Die Blockierungsrate bleibt nahe Null, bis du die Toleranzgrenze des Ziels überschreitest – dann steigt sie sprunghaft an. Der Leitfaden von Ranktracker zum Web-Scraping für SEO-Tools zeigt, wie dasselbe Pacing die Genauigkeit eines Rank-Trackers gewährleistet.

Header und Fingerabdrücke

Zuletzt geht es darum, wie du aussiehst. Selbst saubere IPs mit vernünftigem Tempo werden noch erkannt, wenn die Anfragen selbst nach einem Skript schreien. Jede Anfrage enthält Header und einen TLS-Fingerabdruck, und die Erkennung vergleicht beides mit einem echten Browser.

Beginnen Sie mit dem User-Agent, aber belassen Sie es nicht dabei. Ein echter Browser sendet einen übereinstimmenden Satz von „Accept“, „Accept-Language“ und „Accept-Encoding“-Header in einer konsistenten Reihenfolge, und eine Anfrage, die diese auslässt oder deren Reihenfolge durcheinanderbringt, fällt auf. Dahinter verbirgt sich der TLS-Handshake, der auf einen JA3-Fingerabdruck reduziert wird. Ein Python-Client und Chrome führen den Handshake unterschiedlich durch, selbst wenn ihre sichtbaren Header übereinstimmen; daher analysieren leistungsfähige Anti-Bot-Systeme den Handshake, um Scraper zu erkennen, die lediglich die Oberfläche vortäuschen. Sorgen Sie dafür, dass jede Anfrage von Anfang bis Ende wie die eines Browsers aussieht.

Umgang mit CAPTCHAs und weichen Sperren

Nicht jede Blockierung gibt ein deutliches Signal. Eine harte Blockierung ist offensichtlich: ein CAPTCHA-Bildschirm oder ein 403-Fehler. Eine weiche Blockierung verbirgt sich. Die Website gibt einen 200-Status zurück, aber der Body ist gedrosselt, ausgedünnt oder mit falschen Daten gespickt, die deinen Datensatz untergraben sollen, ohne dass du es merkst.

Die Erkennung hat oberste Priorität. Markieren Sie Antworten, die verdächtig klein ausfallen oder auf Seiten identisch sind, die sich eigentlich unterscheiden sollten, und behandeln Sie sie als Fehler, auch wenn der Status „Erfolg“ anzeigt. Falsche Eingaben verfälschen alles, was darauf aufbaut – daher sind Datenqualitätsprüfungen genauso wichtig wie der Zugriff selbst. Der Leitfaden von Ranktracker zur genauen Rank-Verfolgung zeigt, wie verzerrte Eingaben die von Ihnen gemeldeten Zahlen ruinieren.

Wenn CAPTCHAs auftauchen, gibt es zwar Dienste zum Lösen, doch die kostengünstigere Lösung liegt im Vorfeld: Verringere die Zugriffsrate, wechsle häufiger die IP-Adresse, bereinige den Fingerabdruck – und du vermeidest die CAPTCHA-Abfrage.

Wann man auf „Residential“ umsteigen sollte

Manchmal ist die IP-Ebene selbst die Obergrenze. Wenn das Bot-Management Ihren Rechenzentrumspool immer wieder blockiert, egal wie gut Sie den Datenverkehr dosieren und tarnen, ist das Ihr Stichwort, eine Stufe höher zu wechseln.

Privat-IPs stammen von echten Heimgeräten und genießen daher ein Vertrauen, das Rechenzentrums-IP-Bereiche niemals erreichen. Bei hartnäckigen Zielen sorgt der Wechsel zu rotierenden Privat-IPs dafür, dass Ihr Datenverkehr wie der gewöhnlicher Privatanwender wirkt und Filter umgeht, die Rechenzentrumsadressen sofort ablehnen.

Der Preis dafür ist Geschwindigkeit und Geld. Rechenzentrums-Proxys laufen 3- bis 10-mal schneller – laut ProxyWing liegen sie bei unter 200 ms, während Residential-Proxys 500 ms bis 2 Sekunden benötigen. Bei Millionen von Anfragen summiert sich das, also nutze eine mehrstufige Strategie: Behalte Rechenzentrums-Proxys als Standard bei und leite nur die blockierten Anfragen an Residential-Proxys weiter.

Suchergebnisse sind ein klassischer Fall. Wenn Sie SERPs scrapen, um ein Tool wie den SERP Checker von Ranktracker zu füttern, werden Sie bei den schwierigsten Seiten oft auf Privat-IPs umgeleitet.

Testen Sie zunächst an einem Ziel, bevor Sie skalieren

Bevor Sie einen Scraper auf Ihre gesamte Zielliste anwenden, testen Sie ihn an einer einzelnen geschützten Website und beobachten Sie die Antwortcodes. Beginnen Sie mit einem kleinen Rechenzentrumspool, gehen Sie zunächst konservativ vor und erhöhen Sie dann die Rate, bis Blockierungen auftreten – gehen Sie anschließend auf die letzte Stufe zurück, bei der noch keine Probleme auftraten. Diese Zahl ist Ihre Obergrenze pro IP-Adresse und bestimmt die Größe des Pools für den gesamten Auftrag. Wenn Sie Ihre Web-Scraping-Proxys und das Tempo auf einer Website richtig einstellen, lässt sich dieselbe Konfiguration auf alle anderen Websites skalieren.

Häufig gestellte Fragen

Wie viele Proxys benötige ich für das Scraping in großem Maßstab?

Das hängt von der Toleranz des Ziels und Ihrem Durchsatz ab. Ermitteln Sie, wie viele Anfragen pro Minute eine IP-Adresse verkraftet, bevor sie markiert wird, teilen Sie Ihre Zielrate durch diesen Wert und fügen Sie dann einen Puffer hinzu. Benötigen Sie 6.000 Anfragen pro Minute für eine Website, die 10 pro IP-Adresse toleriert? Das sind über 600 „saubere“ IP-Adressen – und nicht nur eine Handvoll, die bis zum Umfallen beansprucht werden.

Sind Rechenzentrums- oder Privathaushalts-Proxys besser für das Web-Scraping geeignet?

Keiner der beiden Typen ist eindeutig überlegen. Rechenzentrums-Proxys sind schneller und günstiger und kommen mit ungeschützten Websites gut zurecht. Privathaushalts-Proxys sind langsamer und teurer, überstehen aber strenge Bot-Kontrollen. Die meisten Pipelines nutzen beide, greifen standardmäßig auf Rechenzentrums-Proxys zurück und wechseln nur dann zu Privathaushalts-Proxys, wenn Blockierungen dies erzwingen.

Warum werde ich trotz Proxys immer noch blockiert?

Meistens liegt es am Pacing oder an Fingerabdrücken, nicht an den IPs. Wenn man einen großen Pool rotiert, diesen aber mit Maschinen-Geschwindigkeit und Standard-Header abfeuert, zeigt sich das Muster trotzdem. Verlangsame die Geschwindigkeit, randomisiere und verhalte dich zunächst wie ein Browser.

Ist das Scraping öffentlicher Daten erlaubt?

Es handelt sich um eine rechtliche Grauzone, die je nach Rechtsordnung und den Nutzungsbedingungen der Website variiert. Beschränken Sie sich auf öffentlich sichtbare Daten, beachten Sie „robots.txt“, wo immer möglich, lassen Sie personenbezogene Daten außer Acht und holen Sie rechtlichen Rat ein, bevor Sie größere kommerzielle Datensammlungen durchführen.