Hvordan samle inn nettdata i stor skala uten å bli blokkert

Innledning

Skraperen din fungerer fint på noen hundre sider. Rett den mot noen hundre tusen, og halvparten av forespørslene dine kommer tilbake som 403-feil, CAPTCHA-er eller tomme sider. Parseren sviktet ikke. Målet la merke til at trafikken din ikke oppfører seg som en person, og begynte å slå tilbake.

Skraping i stor skala handler for det meste om å ikke skille seg ut. Ethvert nettsted som er verdt å skrape, kjører en eller annen form for botdeteksjon, og hver ekstra forespørsel er en ny sjanse til å bli flagget. Du overvinner dette ved å ha grunnleggende elementer på plass: de riktige proxyene for webscraping, en naturlig fordeling av forespørsler, forespørsler som ser ut som de kommer fra en ekte nettleser, og en plan for når et nettsted slår tilbake. Denne artikkelen beskriver hvordan blokkeringer faktisk skjer, og hvordan du bygger en pipeline som fortsetter å hente data uten å utløse alle alarmer.

Hvorfor nettsteder blokkerer automatisert innsamling

Nettsteder blokkerer ikke skrapere for å være vanskelige. De blokkerer fordi trafikken din koster dem penger og røper data de helst vil beholde. En aggressiv skraper kan sende tusenvis av forespørsler i minuttet, noe som belaster serverne og forvrenger analysene. Priser, produktlister og anmeldelser er akkurat det en konkurrent er ute etter, så nettstedene som sitter på disse dataene, forsvarer dem hardest. Gå ut fra at målet ditt allerede har planlagt for folk som deg.

Hvordan blokkeringssystemer tar avgjørelser

Blokkering er sjelden en enkelt regel. De fleste forsvarssystemer fører en løpende poengsum for hver besøkende, og hvis du krysser en grense, får du en CAPTCHA eller en lukket dør. Denne poengsummen svarer på tre spørsmål: hvem du er, hvor raskt du beveger deg og hvordan du ser ut på nært hold.

Hvem du er, er IP-omdømmet: et kjent datasenterområde eller en adresse som tidligere har oppført seg upassende, starter med minuspoeng. Hvor raskt du beveger deg, er forespørselsfrekvensen. Hvordan du ser ut, er fingeravtrykket ditt – overskriftene du sender samt TLS-håndtrykket ditt – som avslører om det er en ekte nettleser eller et rent skript som sender forespørselen.

Cloudflare og Akamai slår alle tre sammen til en sanntidsscore per forespørsel. Det er grunnen til at en scraper glir gjennom et lite nettsted, men støter på en mur på et beskyttet nettsted som kjører den samme koden.

Å bygge en proxy-pool for skalerbarhet

Begynn med hvem du er, for én IP-adresse kan ikke håndtere en stor oppgave. Sender du hundretusen forespørsler fra én adresse, vil du raskt utløse omdømmekontrollen. En pool fordeler belastningen på mange IP-adresser, slik at ingen skiller seg ut – dette er grunnlaget for ethvert oppsett for datainnsamling i stor skala. Webscraping-proxyene du velger her, setter taket for alt nedstrøms.

På nettsteder med svak eller ingen beskyttelse gjør datasenter-IP-adresser grovarbeidet: de er billige, raske og tilgjengelige i store mengder. For arbeid med store datamengder bør du bruke datasenter-IP-adresser som er laget for datainnsamling i stor skala, i stedet for noen få delte adresser som blir utbrukt på en dag. Haken er at de er lette å oppdage. Datasenterproxyer oppnår 60 til 90 prosent suksess på ubeskyttede mål, men faller deretter til 20 til 40 prosent bak Cloudflare eller Akamais bot-håndtering, ifølge TorchProxies (2026).

Dimensjonering er ren matematikk: hvis et nettsted tåler rundt 10 forespørsler per IP i minuttet og du trenger 6 000, betyr det minst 600 rene IP-adresser, pluss reserve for de som blir flagget.

Logikk for forespørselshastighet og rotasjon

Neste punkt er hvor raskt du beveger deg. Rotasjon avgjør hvilken IP-adresse som tar hver forespørsel; fordelingen avgjør avstanden mellom dem.

Rotasjon per forespørsel gir hver forespørsel en ny IP-adresse, noe som er bra for stateløst arbeid som uavhengige produktsider. Sticky sessions beholder én IP-adresse gjennom en serie relaterte forespørsler, noe som er nødvendig når et nettsted sporer en sesjon, for eksempel ved kassen.

Fordelingen av forespørsler avgjør om man unngår blokkeringer ved skraping eller går rett inn i dem. Tilfeldiggjør forsinkelsen mellom forespørsler, siden et fast intervall på 200 ms i seg selv er et tegn på at det er en bot. Sett en øvre grense for frekvensen per IP-adresse og legg til eksponentiell tilbaketrekning, slik at feil får deg til å senke farten i stedet for å presse deg gjennom. Diagrammet ovenfor viser hvorfor: blokkeringsraten holder seg nær null inntil du overskrider målets toleranse, og stiger deretter kraftig. Ranktrackers guide til webscraping for SEO-verktøy viser hvordan den samme pacing-strategien holder en rangsporingsverktøy nøyaktig.

Hodetekster og fingeravtrykk

Til slutt er det hvordan du fremstår. Rene IP-adresser med fornuftig tempo blir fortsatt oppdaget hvis forespørslene i seg selv skriker «skript». Hver forespørsel inneholder overskrifter og et TLS-fingeravtrykk, og deteksjonen sammenligner begge deler med en ekte nettleser.

Begynn med User-Agent, men ikke stopp der. En ekte nettleser sender et samsvarende sett med Accept-, Accept-Language- og Accept-Encoding-overskrifter i en konsistent rekkefølge, og en forespørsel som utelater dem eller forvrenger rekkefølgen, skiller seg ut. Under ligger TLS-håndtrykket, kokt ned til et JA3-fingeravtrykk. En Python-klient og Chrome håndhilser på forskjellig måte selv når de synlige overskriftene stemmer overens, så sterke anti-bot-systemer leser håndtrykket for å fange skrapere som bare har forfalsket overflaten. Få hver forespørsel til å se ut som en nettleser fra start til slutt.

Håndtering av CAPTCHA-er og myke blokkeringer

Ikke alle blokkeringer viser et tydelig tegn. En hard blokkering er åpenbar: et CAPTCHA-vindu eller en 403-feil. En myk blokkering skjuler seg. Nettstedet returnerer en 200-status, men innholdet er begrenset, tynnet ut eller fylt med feil data som er ment å ødelegge datasettet ditt uten at du får vite det.

Deteksjon er det viktigste. Merk svar som kommer tilbake mistenkelig små, eller identiske på tvers av sider som burde være forskjellige, og behandle dem som feil selv når statusen sier suksess. Dårlige inndata ødelegger alt som er bygget på dem, så datakvalitetskontroller er like viktige som tilgang. Ranktrackers guide til nøyaktig rangeringsovervåking viser hvordan støyende inndata ødelegger tallene du rapporterer.

Når CAPTCHA-er dukker opp, finnes det tjenester for å løse dem, men den billigere løsningen ligger oppstrøms: senk frekvensen, roter oftere, rydd opp i fingeravtrykket, og du slipper å få utfordringen.

Når skal du oppgradere til privat

Noen ganger er selve IP-nivået taket. Når bot-håndteringen fortsetter å blokkere datasenterpoolen din uansett hvor godt du doserer og kamuflerer trafikken, er det et tegn på at du må oppgradere.

Privat-IP-adresser kommer fra ekte hjemmeenheter, så de har en tillit som datasenter-IP-adresser aldri oppnår. For de vanskelige målene gir bytte til roterende privat-IP-adresser deg trafikk som ser ut som vanlige hjemmebrukere, noe som omgår filtre som avviser datasenteradresser umiddelbart.

Prisen er hastighet og penger. Datasenterproxyer kjører 3 til 10 ganger raskere, omtrent under 200 ms mot 500 ms til 2 sekunder for privat, ifølge ProxyWing. Over millioner av forespørsler blir dette betydelig, så bruk flere nivåer: behold datasenteret som standard og rut kun de blokkerte forespørslene til privat.

Søkeresultater er et klassisk eksempel. Hvis du skraper SERP-er for å mate et verktøy som Ranktrackers SERP Checker, er det ofte de vanskeligste sidene som tvinger deg over på boligproxyer.

Test på ett mål før du skalerer

Før du retter en skraper mot hele mållisten din, bør du kjøre den mot et enkelt beskyttet nettsted og følge med på svarkodene. Start med en liten datacentersamling, hold et konservativt tempo, øk deretter frekvensen til blokkeringer oppstår, og gå tilbake til det siste nivået uten problemer. Dette tallet er taket per IP-adresse, og det bestemmer størrelsen på samlingen for hele oppdraget. Få web-scraping-proxyene og tempoet riktig på ett nettsted, så kan det samme oppsettet skaleres til resten.

Ofte stilte spørsmål

Hvor mange proxyer trenger jeg for å skrape i stor skala?

Det avhenger av målets toleranse og din gjennomstrømning. Finn ut hvor mange forespørsler per minutt en IP tåler før den blir flagget, del målhastigheten din med det, og legg deretter til en buffer. Trenger du 6 000 per minutt mot et nettsted som tåler 10 per IP? Da trenger du over 600 rene IP-adresser, ikke en håndfull som blir overbelastet.

Er proxyer fra datasentre eller private nettverk bedre for webscraping?

Ingen av dem vinner helt klart. Datasenterproxyer er raskere og billigere og takler ubeskyttede nettsteder uten problemer. Boligproxyer er tregere og dyrere, men tåler streng bot-kontroll. De fleste pipeliner bruker begge deler, bruker datasenterproxyer som standard og eskalerer bare der blokkeringer tvinger det.

Hvorfor blir jeg fortsatt blokkert selv med proxyer?

Vanligvis på grunn av pacing eller fingeravtrykk, ikke IP-adressene. Roter en stor pool, men kjør den i maskinhastighet med standardheadere, og mønsteret vil fortsatt vises. Senk hastigheten, randomiser og se ut som en nettleser først.

Er det tillatt å skrape offentlige data?

Det er et juridisk gråområde som varierer avhengig av jurisdiksjonen din og nettstedets vilkår for bruk. Hold deg til offentlig tilgjengelige data, respekter robots.txt der det er mulig, hold deg unna personopplysninger, og innhent juridisk rådgivning før du foretar noen større kommersiell innsamling.