Kā vākt tīmekļa datus lielā apjomā, netiekot bloķētam

Ievads

Jūsu skrāpers darbojas labi, apstrādājot dažus simtus lappušu. Taču, ja to vēršat uz dažiem simtiem tūkstošu lappušu, puse no jūsu pieprasījumiem atgriežas kā 403 kļūdas, CAPTCHA vai tukšas lapas. Analizators nav kļūdījies. Mērķa vietne ir pamanījusi, ka jūsu datplūsma neuzvedas kā cilvēkam, un sākusi pretoties.

Skrapēšana lielā apjomā galvenokārt ir spēle, kurā nedrīkst izcelties. Jebkura vietne, kas ir vērta skrapēšanai, izmanto kādu no bota atklāšanas veidiem, un katrs papildu pieprasījums ir vēl viena iespēja tikt atzīmētam. To var pārvarēt, labi izpildot pamata prasības: izmantojot pareizos tīmekļa datu ieguves starpniekserverus, godīgu pieprasījumu tempu, pieprasījumus, kas izskatās kā no īsta pārlūka, un plānu gadījumam, ja vietne sāk pretoties. Šajā rakstā ir aprakstīts, kā faktiski notiek bloķēšana un kā izveidot sistēmu, kas turpina ievākt datus, neizraisot visus trauksmes signālus.

Kāpēc vietnes bloķē automatizētu datu vākšanu

Vietnes neblokē datu ieguves rīkus, lai radītu grūtības. Tās bloķē, jo jūsu datu plūsma tām rada izmaksas un atklāj datus, kurus tās labprātāk paturētu pie sevis. Viens agresīvs datu ieguves rīks minūtē var nosūtīt tūkstošiem pieprasījumu, pārslodzot serverus un izkropļojot analītiku. Cenas, produktu saraksti un atsauksmes ir tieši tas, ko vēlas konkurenti, tāpēc vietnes, kurās atrodas šie dati, tos aizsargā visstingrāk. Pieņemsim, ka jūsu mērķis jau ir rēķinājies ar tādiem cilvēkiem kā jūs.

Kā bloķēšanas sistēmas pieņem lēmumus

Bloķēšana reti balstās uz vienu noteikumu. Lielākā daļa aizsardzības sistēmu katram apmeklētājam uzkrāj punktu skaitu, un, pārsniedzot noteiktu robežu, jums tiek parādīts CAPTCHA vai slēgtas durvis. Šis punktu skaits atbild uz trim jautājumiem: kas jūs esat, cik ātri jūs rīkojaties un kā jūs izskatāties no tuvas distances.

Kas jūs esat, nosaka IP reputācija: zināms datu centra diapazons vai adrese, kas iepriekš ir rīkojusies nepiemēroti, jau sākotnēji tiek uzskatīta par aizdomīgu. Cik ātri jūs rīkojaties, nosaka pieprasījumu biežums. Kā jūs izskatāties, nosaka jūsu „pirkstu nospiedums” — jūsu nosūtītie galvenes un TLS sākotnējā savienošanās, kas atklāj, vai pieprasījumu veic īsta pārlūkprogramma vai vienkāršs skripts.

Cloudflare un Akamai apvieno visus trīs faktorus vienā reāllaika rādītājā katram pieprasījumam. Tāpēc viens skrāpers viegli iziet cauri nelielai vietnei, bet saskaras ar šķērsli aizsargātā vietnē, kurā tiek izmantots tas pats kods.

Proksiju pūla izveide mēroga nodrošināšanai

Sāciet ar to, kas jūs esat, jo viena IP adrese nevar veikt lielu darbu. Nosūtiet simt tūkstoš pieprasījumu no vienas adreses, un jūs ātri izraisīsiet reputācijas pārbaudi. Pūls sadala šo slodzi starp daudzām IP adresēm, lai neviena neizceltos, un tas ir jebkuras liela mēroga datu vākšanas konfigurācijas pamatslānis. Web scraping starpniekserveri, kurus jūs šeit izvēlaties, nosaka ierobežojumus visam turpmākajam procesam.

Vietnēs ar vāju aizsardzību vai bez tās smagāko darbu veic datu centru IP adreses: tās ir lētas, ātras un pieejamas lielā apjomā. Liela apjoma darbam jums vajadzīgas datu centru IP adreses, kas paredzētas liela apjoma datu vākšanai, nevis dažas koplietošanas adreses, kuras izsmeljas vienas dienas laikā. Problēma ir tā, ka tos ir viegli atklāt. Saskaņā ar TorchProxies (2026) datiem datu centru starpniekserveri sasniedz 60–90 % panākumu neaizsargātos mērķos, bet pēc tam, saskaroties ar Cloudflare vai Akamai botu pārvaldību, šis rādītājs samazinās līdz 20–40 %.

Apjoma aprēķināšana ir vienkārša: ja vietne pieņem apmēram 10 pieprasījumus no vienas IP adreses minūtē un jums ir nepieciešami 6 000 pieprasījumi, tad minimāli ir nepieciešamas 600 tīras IP adreses, kā arī rezerves, lai segtu atzīmētās adreses.

Pieprasījumu tempa un rotācijas loģika

Nākamais jautājums ir, cik ātri jūs rīkojaties. Rotācija nosaka, kura IP adrese apstrādā katru pieprasījumu; tempa regulēšana nosaka intervālu starp tiem.

Rotācija katram pieprasījumam piešķir jaunu IP adresi, kas ir piemērota bezstāvokļa darbībām, piemēram, neatkarīgām produktu lapām. Pastāvīgās sesijas saglabā vienu IP adresi visiem saistītajiem pieprasījumiem, kas ir nepieciešams, ja vietne izseko sesiju, piemēram, norēķinu procesā.

Pacing ir tas, kas nosaka, vai lietotāji izvairās no bloķēšanas, veicot datu ieguvi, vai arī nonāk tieši tajā. Padariet kavējumu starp pieprasījumiem nejaušu, jo nemainīgs 200 ms intervāls pats par sevi ir bota signāls. Ierobežojiet pieprasījumu ātrumu uz vienu IP un pievienojiet eksponenciālu atkāpšanos, lai kļūdas liktu jums palēnināt ātrumu, nevis turpināt iespiesties. Augšējā diagramma parāda, kāpēc: bloķēšanas rādītājs ir tuvu nullei, līdz jūs pārsniedzat mērķa tolerances robežu, pēc tam tas strauji pieaug. Ranktracker rokasgrāmata par tīmekļa datu ieguvi SEO rīkiem parāda, kā tas pats pieprasījumu sadalījums nodrošina precīzu reitinga izsekošanu.

Galvenes un pirkstu nospiedumi

Pēdējais faktors ir tas, kā jūs izskatāties. Tīras IP adreses ar saprātīgu pieprasījumu tempu joprojām tiek atklātas, ja paši pieprasījumi skaidri liecina par skriptu izmantošanu. Katram pieprasījumam ir galvenes un TLS pirkstu nospiedums, un atklāšanas sistēma salīdzina abus ar reālu pārlūku.

Sāciet ar User-Agent, bet neapstājieties pie tā. Reāla pārlūka nosūta saskaņotu Accept, Accept-Language un Accept-Encoding galvenes kopumu konsekventā secībā, un pieprasījums, kas tās izlaiž vai sajauc šo secību, izceļas. Pamata līmenī notiek TLS handshake, kas tiek reducēts līdz JA3 pirksta nospiedumam. Python klients un Chrome veic savstarpējo saziņu atšķirīgi, pat ja to redzamās galvenes sakrīt, tāpēc spēcīgas pretbota sistēmas analizē šo saziņu, lai atklātu datu vācējus, kas tikai izliekas par pārlūku. Padariet katru pieprasījumu no sākuma līdz beigām līdzīgu pārlūkam.

CAPTCHA un „soft” bloķējumu apstrāde

Ne katrs bloķējums ir acīmredzams. Cietais bloķējums ir skaidri pamanāms: CAPTCHA ekrāns vai 403 kļūda. Mīkstais bloķējums ir slēpts. Vietne atgriež 200 statusu, bet pieprasījuma ķermenis ir ierobežots, izretināts vai piepildīts ar nepareiziem datiem, kuru mērķis ir sabojāt jūsu datu kopu, par to jums neziņojot.

Atklāšana ir galvenais uzdevums. Atzīmējiet atbildes, kas ir aizdomīgi mazas vai identiskas lapās, kurām vajadzētu atšķirties, un uzskatiet tās par kļūdām, pat ja statuss norāda uz panākumiem. Kļūdaini ievadi sabojā visu, kas uz tiem balstās, tāpēc datu kvalitātes pārbaudes ir tikpat svarīgas kā piekļuve. Ranktracker rokasgrāmata precīzai pozīciju izsekošanai parāda, kā kļūdaini ievadi sabojā jūsu ziņojamos rādītājus.

Kad parādās CAPTCHA, ir pieejami risinājumi to atrisināšanai, taču lētākais risinājums ir augšupējs: samaziniet pieprasījumu ātrumu, biežāk mainiet pieejas datus, attīriet pirkstu nospiedumu, un jūs vairs nesaņemsiet šo pārbaudi.

Kad pāriet uz privāto tīklu

Dažreiz pats IP līmenis ir ierobežojums. Ja botu pārvaldības sistēmas turpina bloķēt jūsu datu centra resursu kopu neatkarīgi no tā, cik labi jūs regulējat un maskējat datplūsmu, tas ir signāls pāriet uz augstāku līmeni.

Mājsaimniecību IP adreses nāk no reālām mājas ierīcēm, tāpēc tām piemīt uzticamība, ko datu centru diapazoni nekad neiegūst. Attiecībā uz grūti sasniedzamiem mērķiem pāreja uz rotējošām mājsaimniecību IP adresēm nodrošina datplūsmu, kas izskatās kā parasti mājas lietotāji, tādējādi apvedot filtrus, kuri datu centru adreses noraida jau pēc pirmā acu uzmetiena.

Cena ir ātrums un nauda. Saskaņā ar ProxyWing datiem datu centra proksi darbojas 3 līdz 10 reizes ātrāk — aptuveni mazāk nekā 200 ms, salīdzinot ar 500 ms līdz 2 sekundēm privātajiem IP. Miljoniem pieprasījumu gadījumā tas summējas, tāpēc izmantojiet pakāpju sistēmu: saglabājiet datu centru kā noklusējumu un novirziet uz privātajiem IP tikai bloķētos pieprasījumus.

Meklēšanas rezultāti ir klasisks piemērs. Ja jūs izgūstat datus no SERP, lai apgādātu tādu rīku kā Ranktracker SERP Checker, visgrūtākās lapas bieži vien novirza jūs uz mājas proxy.

Pirms paplašināšanās veiciet testu ar vienu mērķi

Pirms vēršat datu ieguves rīku pret pilnu mērķu sarakstu, izmēģiniet to uz vienu aizsargātu vietni un novērojiet atbildes kodus. Sāciet ar nelielu datu centra resursu kopu, strādājiet piesardzīgi, tad palieliniet pieprasījumu ātrumu, līdz parādās bloķējumi, un atgriezieties pie pēdējā līmeņa, kurā nebija problēmu. Šis skaitlis ir jūsu maksimālais pieprasījumu skaits uz vienu IP adresi, un tas nosaka resursu kopas lielumu visam darbam. Noregulējiet savus tīmekļa datu ieguves starpniekserverus un pieprasījumu ātrumu vienā vietnē, un tā pati konfigurācija tiks piemērota arī pārējām vietnēm.

Bieži uzdotie jautājumi

Cik daudz starpniekserveru man ir nepieciešams, lai veiktu skrapingu lielā apjomā?

Tas ir atkarīgs no mērķa vietnes tolerances un jūsu caurlaidspējas. Aprēķiniet, cik daudz pieprasījumu minūtē viena IP adrese var izturēt, pirms tā tiek atzīmēta, sadaliet savu mērķa ātrumu ar šo skaitli, tad pievienojiet rezervi. Vai jums ir nepieciešami 6 000 pieprasījumu minūtē vietnei, kas pieļauj 10 pieprasījumus uz vienu IP adresi? Tas nozīmē vairāk nekā 600 tīras IP adreses, nevis pāris, kuras tiek pārstrādātas līdz nāvei.

Kuri proksi ir labāki tīmekļa datu ieguvei — datu centru vai privātie?

Neviens no tiem nav nepārspējams. Datu centra proksi ir ātrāki un lētāki, un labi darbojas ar neaizsargātām vietnēm. Privātie proksi ir lēnāki un dārgāki, bet iztur stingru botu pārvaldību. Lielākā daļa datu apstrādes sistēmu izmanto abus, par noklusējumu izvēloties datu centra proksi, un pāriet uz privātajiem tikai tad, ja bloķēšana to liek darīt.

Kāpēc mani joprojām bloķē, pat izmantojot proksijus?

Parasti iemesls ir ātruma ierobežojumi vai pirkstu nospiedumu atpazīšana, nevis IP adreses. Izmantojiet lielu proxy pūlu, bet darbojieties ar mašīnas ātrumu, izmantojot noklusējuma galvenes, un modelis joprojām būs pamanāms. Samaziniet ātrumu, izmantojiet nejaušību un vispirms izskatieties kā pārlūks.

Vai publisko datu ieguve ir atļauta?

Tā ir juridiska pelēkā zona, kas mainās atkarībā no jūsu jurisdikcijas un vietnes lietošanas noteikumiem. Ierobežojieties ar publiski pieejamiem datiem, ievērojiet robots.txt, ja iespējams, neaiztiekiet personas datus un pirms jebkādas liela apjoma komerciālas datu ieguves saņemiet juridisku konsultāciju.