Hoe je op grote schaal webgegevens kunt verzamelen zonder geblokkeerd te worden

Inleiding

Je scraper werkt prima op een paar honderd pagina's. Richt hem op een paar honderdduizend en de helft van je verzoeken komt terug als 403-fouten, CAPTCHA's of lege pagina's. De parser heeft het niet laten afweten. De doelwebsite heeft gemerkt dat je verkeer zich niet gedraagt als een mens, en is begonnen terug te vechten.

Scrapen op grote schaal is vooral een kwestie van niet opvallen. Elke site die de moeite waard is om te scrapen, maakt gebruik van een of andere vorm van botdetectie, en elk extra verzoek is een extra kans om gemarkeerd te worden. Je kunt dat voorkomen door de basis goed te regelen: de juiste web-scraping-proxies, een eerlijk verzoekstempo, verzoeken die doorgaan voor een echte browser, en een plan voor als een site terugvecht. Dit artikel laat zien hoe blokkades daadwerkelijk plaatsvinden en hoe je een pijplijn kunt bouwen die gegevens blijft ophalen zonder alle alarmbellen te laten rinkelen.

Waarom websites geautomatiseerde gegevensverzameling blokkeren

Websites blokkeren scrapers niet om het je moeilijk te maken. Ze blokkeren omdat jouw verkeer hen geld kost en gegevens prijsgeeft die ze liever voor zichzelf houden. Eén agressieve scraper kan duizenden verzoeken per minuut versturen, waardoor servers overbelast raken en statistieken vertekend worden. Prijzen, productlijsten en recensies zijn precies wat een concurrent wil, dus de websites die over die gegevens beschikken, verdedigen deze het hardst. Ga ervan uit dat je doelwit al rekening heeft gehouden met mensen zoals jij.

Hoe blokkeringssystemen beslissen

Blokkeren gebeurt zelden op basis van één enkele regel. De meeste verdedigingsmechanismen houden voor elke bezoeker een lopende score bij, en als je een grens overschrijdt, krijg je een CAPTCHA of een gesloten deur. Die score geeft antwoord op drie vragen: wie je bent, hoe snel je te werk gaat en hoe je er van dichtbij uitziet.

Wie je bent, is je IP-reputatie: een bekend datacenterbereik of een adres dat zich eerder misdragen heeft, begint al met minpunten. Hoe snel je te werk gaat, is de verzoekfrequentie. Hoe je eruitziet, is je vingerafdruk: de headers die je verstuurt plus je TLS-handshake, die verraden of er een echte browser of een kaal script aan het werk is.

Cloudflare en Akamai verwerken deze drie factoren in een live score per verzoek. Daarom glijdt de ene scraper soepel door een kleine site, terwijl hij op een beveiligde site met dezelfde code tegen een muur botst.

Een proxypool opbouwen voor schaalbaarheid

Begin bij wie je bent, want één IP-adres kan geen grote klus aan. Verstuur honderdduizend verzoeken vanaf één adres en je trapt al snel in de reputatiecontrole. Een pool verdeelt die belasting over veel IP-adressen, zodat geen enkel adres opvalt; dit is de basislaag van elke opzet voor grootschalige gegevensverzameling. De webscraping-proxys die je hier kiest, bepalen het plafond voor alles wat daarna komt.

Op sites met zwakke of geen beveiliging doen datacenter-IP’s het zware werk: goedkoop, snel en in grote hoeveelheden beschikbaar. Voor grootschalige taken wil je datacenter-IP’s die zijn gebouwd voor het verzamelen van grote hoeveelheden data, in plaats van een paar gedeelde adressen die binnen een dag overbelast raken. Het nadeel is dat ze gemakkelijk te herkennen zijn. Datacenter-proxies behalen een succespercentage van 60 tot 90 procent bij onbeschermde doelen, maar dalen vervolgens naar 20 tot 40 procent achter Cloudflare- of Akamai-botbeheer, volgens TorchProxies (2026).

De benodigde capaciteit is een rekenkundige kwestie: als een site ongeveer 10 verzoeken per IP per minuut tolereert en je er 6.000 nodig hebt, zijn dat minimaal 600 schone IP’s, plus een buffer voor gemarkeerde adressen.

Logica achter verzoekpacing en rotatie

Vervolgens gaat het om de snelheid waarmee je te werk gaat. Rotatie bepaalt welk IP-adres elk verzoek verwerkt; de verzoekspacing bepaalt de tussenpoos tussen de verzoeken.

Rotatie per verzoek wijst aan elke aanvraag een nieuw IP-adres toe, wat geschikt is voor stateless verwerking zoals afzonderlijke productpagina’s. Sticky-sessies behouden één IP-adres gedurende een reeks gerelateerde verzoeken; dit is nodig wanneer een site een sessie bijhoudt, zoals bij het afrekenen.

Pacing bepaalt of mensen blokkades bij het scrapen vermijden of er juist recht in lopen. Maak de vertraging tussen verzoeken willekeurig, aangezien een vaste tussenruimte van 200 ms op zichzelf al een bot-signaal is. Beperk de frequentie per IP-adres en voeg exponentiële back-off toe, zodat fouten ervoor zorgen dat je vaart mindert in plaats van door te gaan. De bovenstaande grafiek laat zien waarom: het blokkeringspercentage blijft dicht bij nul totdat je de tolerantie van het doel overschrijdt, waarna het piekt. De gids van Ranktracker over webscraping voor SEO-tools laat zien hoe dezelfde pacing een ranktracker nauwkeurig houdt.

Headers en vingerafdrukken

Ten slotte is er je ‘uiterlijk’. Schone IP-adressen met een verstandig tempo worden nog steeds gedetecteerd als de verzoeken zelf schreeuwen dat ze door een script worden gegenereerd. Elk verzoek bevat headers en een TLS-vingerafdruk, en bij detectie worden beide vergeleken met die van een echte browser.

Begin met de User-Agent, maar laat het daar niet bij. Een echte browser verstuurt een bij elkaar passende set van Accept-, Accept-Language- en Accept-Encoding-headers in een consistente volgorde, en een verzoek dat deze overslaat of de volgorde door elkaar haalt, valt op. Daaronder zit de TLS-handshake, teruggebracht tot een JA3-vingerafdruk. Een Python-client en Chrome voeren de handshake anders uit, zelfs als hun zichtbare headers overeenkomen, dus sterke anti-botsystemen analyseren de handshake om scrapers te onderscheppen die alleen aan de oppervlakte iets hebben nagebootst. Zorg ervoor dat elk verzoek van begin tot eind op een browser lijkt.

Omgaan met CAPTCHA’s en zachte blokkades

Niet elke blokkering geeft een signaal af. Een harde blokkering is duidelijk: een CAPTCHA-scherm of een 403-fout. Een zachte blokkering verbergt zich. De site retourneert een 200-status, maar de body wordt afgeremd, uitgedund of vervuild met verkeerde gegevens die bedoeld zijn om je dataset te verpesten zonder dat je het merkt.

Detectie is de eerste prioriteit. Markeer reacties die verdacht klein zijn, of identiek op pagina’s die zouden moeten verschillen, en behandel ze als mislukkingen, zelfs als de status ‘succes’ aangeeft. Slechte invoer verpest alles wat erop is gebouwd, dus controles op datakwaliteit zijn net zo belangrijk als toegang. De gids van Ranktracker voor nauwkeurige rangschikkingvolging laat zien hoe ruis in de invoer de cijfers die je rapporteert verpest.

Als er CAPTCHA’s verschijnen, zijn er diensten om deze op te lossen, maar de goedkopere oplossing ligt stroomopwaarts: vertraag de frequentie, wissel vaker af, zuiver de vingerafdruk, en je krijgt de uitdaging niet meer voorgeschoteld.

Wanneer moet je overstappen naar residentieel?

Soms vormt het IP-niveau zelf de limiet. Wanneer botbeheer je datacenterpool blijft blokkeren, hoe goed je het verkeer ook doseert en maskeert, is dat je teken om een stapje hoger te gaan.

Residentiële IP-adressen zijn afkomstig van echte thuisapparaten, waardoor ze een vertrouwen genieten dat datacenter-IP-reeksen nooit zullen krijgen. Voor hardnekkige doelen zorgt de overstap naar roterende residentiële IP-adressen ervoor dat je verkeer eruitziet als dat van gewone thuisgebruikers, waardoor je filters omzeilt die datacenter-adressen direct afwijzen.

De prijs is snelheid en geld. Datacenter-proxies werken 3 tot 10 keer sneller: volgens ProxyWing ongeveer minder dan 200 ms, tegenover 500 ms tot 2 seconden voor residentiële adressen. Bij miljoenen verzoeken loopt dat aardig op, dus pas een gelaagde aanpak toe: houd datacenter als standaard en leid alleen de geblokkeerde verzoeken door naar residentiële adressen.

Zoekresultaten zijn een klassiek voorbeeld. Als je SERP’s scrapt om een tool zoals de SERP Checker van Ranktracker te voeden, sturen de moeilijkste pagina’s je vaak naar residentiële proxys.

Test eerst op één doelwit voordat je opschaalt

Voordat je een scraper op je volledige doellijst richt, test je deze eerst op één beveiligde site en houd je de responscodes in de gaten. Begin met een kleine datacenterpool, hanteer een conservatief tempo, verhoog vervolgens de snelheid totdat er blokkades optreden en ga dan terug naar het laatste niveau waarop alles nog goed ging. Dat getal is je maximum per IP-adres en bepaalt de omvang van de pool voor de hele klus. Zorg dat je webscraping-proxies en het tempo op één site goed zijn ingesteld, dan kun je dezelfde opzet schaalbaar toepassen op de rest.

Veelgestelde vragen

Hoeveel proxys heb ik nodig om op grote schaal te scrapen?

Dat hangt af van de tolerantie van het doelwit en je doorvoersnelheid. Bereken hoeveel verzoeken per minuut één IP aankan voordat deze wordt gemarkeerd, deel je streefsnelheid door dat aantal en voeg vervolgens een buffer toe. Heb je 6.000 per minuut nodig voor een site die 10 per IP tolereert? Dat zijn meer dan 600 schone IP's, niet een handvol die tot het uiterste worden gedreven.

Zijn datacenter- of residentiële proxies beter voor webscraping?

Geen van beide wint zonder meer. Datacenterproxies zijn sneller en goedkoper en kunnen onbeveiligde sites prima aan. Residentiële proxies zijn langzamer en duurder, maar doorstaan strenge botbeperkingen. De meeste pijplijnen gebruiken beide, vallen standaard terug op datacenterproxies en schakelen alleen over wanneer blokkades dat noodzakelijk maken.

Waarom word ik nog steeds geblokkeerd, zelfs met proxy’s?

Meestal door pacing of vingerafdrukken, niet door de IP-adressen. Wissel een grote pool af, maar vuur deze af op machinesnelheid met standaardheaders en het patroon is nog steeds zichtbaar. Vertraag, randomiseer en zorg dat je er eerst uitziet als een browser.

Is het scrapen van openbare gegevens toegestaan?

Het is een juridisch grijs gebied dat varieert naargelang je rechtsgebied en de servicevoorwaarden van de site. Blijf bij openbaar zichtbare gegevens, respecteer robots.txt waar mogelijk, laat persoonlijke gegevens met rust en vraag juridisch advies voordat je grote commerciële gegevens ophaalt.