Sissejuhatus
Et laiendada veebikogumist ilma botite blokeerimissüsteeme käivitamata, peavad rühmad lõpetama samade andmekeskuse IP-aadresside kasutamise. Selle asemel peavad nad kasutama rakenduse tasandil prokside planeerimist koos tuumakonfiguratsiooniga. Seejärel tuleb see ühendada 4G- ja 5G-mobiilsideoperaatorite sõlmede kogumitega.
Paljud vanad andmete kogumise tööriistad ei tööta hästi, kui veebisait kasutab käitumuslikku tehisintellekti või TLS-sõrmejälgede tuvastamist. Suurandmete kogumisel kasutatakse nüüd selliseid tööriistu nagu proxytool.app. Need tööriistad võimaldavad määrata igale töötaja sõlme erinevad liiklusreeglid. Need kaitsevad WebRTC, QUIC ja DNS-i kaudu toimuva andmelekke eest.
Paljud valdkonna asjatundjad arvavad, et mida rohkem IP-aadresse on, seda paremaid andmeid saab. Nad leiavad, et probleemi lahendamiseks piisab lihtsalt rohkematest IP-aadressidest. Kuid faktid näitavad midagi muud. Parimad tulemused saadakse kvaliteetsetest IP-aadressidest, mitte lihtsalt nende suurest hulgast. Oluline on ka see, kuidas IP-aadressid võrgus liiguvad ja toimivad. Suur IP-aadresside kogum ei pruugi alati anda paremaid andmeid, kui muud asjad ei ole korras.
| Andmete väljavõtmise infrastruktuuri strateegia | Tuvastamismäär | CAPTCHA esinemissagedus | Kulu 10 000 edukate SERP-ide kohta |
| Andmekeskuse alamvõrgu vahetus | 68% | Kõrge | 14,20 $ |
| Elamupiirkonna roteeruvad IP-aadressid | 22% | Mõõdukas | 8,50 |
| Mobiilne 4G/5G operaatori marsruutimine | 1,8 | Peaaegu null | 3,10 |
Otsingumootorite andmete kogumisel tuvastamismehhanismide ületamine
Tänapäeval, kui soovite otsingumootoritest andmeid hankida, peate vältima süsteeme, mis püüavad teid tuvastada ja blokeerida. Need süsteemid jälgivad näiteks TLS- või JA3-allkirju, HTTP/2-pealkirjade järjekorda, seda, kas te kasutate JavaScripti teste, ning seda, kui kiiresti te oma päringuid saadate.
Kui otsingumootorid märkavad seotud IP-rühmadega seotud veidraid linkide stiile, kuvavad nad kohalikke CAPTCHA-sid või saadavad pehme blokeerimise päringuid. See võib muuta seda, mida inimesed otsingumootori tulemustes näevad. Paljud andmekeskuste proksiserverid käivitavad need blokeeringud kiiresti. Seda seetõttu, et nende ASN-id pärinevad suurtest pilveserveritest, mitte tavalistelt kodustelt internetiteenuse pakkujatelt.
Uuringud näitavad, et üle 74% automaatsest andmekogumisest ebaõnnestub, kuna TCP/IP-pinu töötab erinevalt ja esineb probleeme DNS-lahendamisega. Seda veebikogumise püsivust käsitlevat uuringut jagas Association for Computing Machinery (ACM). Enamik probleeme ei teki selle tõttu, kui tihti te päringuid saadate, vaid just nimetatud põhjustel.
Rakendamisprotokoll
- Määrake interneti jaoks rakendusepõhised reeglid: seostage iga oma andmekogumistööriist omaenda proksiteega. See aitab tagada, et andmed ei liiguks teie erinevate rakenduste vahel.
- Blokeerige ühenduse kaudu tekkivad andmelekked: veenduge, et kogu DNS töötab proksi kaudu. Lülitage välja WebRTC ja QUIC. Need võivad luua ühendusi, mis ei kasuta proksit.
- Muutke päiseid, et ajaga kaasas püsida: viige oma kasutajaagendi stringi päised vastavusse kliendi TLS-käepigistuse väljadega. Kasutage näiteks õiget Chrome 124 JA3 märki ja seadistage ka HTTP/2 päiste järjekord vastavaks.
SERP-tulemuste täpsuse maksimeerimine mobiilsideoperaatori IP-marsruutimise abil
Hüperkohaliku SEO positsioonide jälgimine nõuab tipptasemel geotargetingut. Tavalise proksi seadistuse puhul võib sellega tekkida raskusi. Mobiilproksid omavad IP-aadresse, mis on saadud mobiilsidevõrgu pakkujatelt, nagu AT&T, Verizon ja Vodafone. IP-aadressid saadetakse seejärel telefonidele ja seadmetele, mis kasutavad 4G- ja 5G-võrke.
Otsingumootorid ei blokeeri mobiil-IP-aadresse korraga. Paljud reaalsed inimesed kasutavad telefone ja ühenduvad ühe peamise värava IP-aadressi kaudu. Selle põhjuseks on niinimetatud Carrier-Grade NAT (CGNAT).
| Funktsioon | Standardandmekeskuse proksid | Mobiilsideoperaatorite proksid |
| ASN-tüüp | Äri- / hostingukeskus | Mobiilsideoperaator (MNO) |
| IP-jagamise tüüp | Pühendatud või staatiline jagatud | CGNAT (tuhanded tegelikud kasutajad ühe IP-aadressi kohta) |
| Kohalik täpsus | Linna/piirkonna tasand | Mast / metroo / postikoodi tase |
| Blokeerimiskindlus | Madal (võrgualade blokeerimine on tavaline) | Kõrge (IP-aadressid on staatiliste blokeeringute suhtes praktiliselt immuunsed) |
Kui automatiseeritud SERP-andmete kogumine kasutab mobiilsideoperaatorite sõlmi, näevad analüüsiplatvormid seda, mida näevad selles piirkonnas tegelikud mobiilikasutajad. See võimaldab inimestel teada saada, kuidas otsingutulemused nende asukohas telefonis välja näevad.
Suuremahulise veebikogumise arhitektuuri tehniline seadistus
Selleks, et luua andmete väljavõtmise mootor, mis suudab kasvada, peate seadistama süsteemi, millel on selged osad. Peaksite jagama ülesanded, nagu päringute ajastamine, pistikute haldamine ja soovitud lehekülje lugemine.
Protsessi samm-sammult
- Ülesannete planeerimine: saatke otsisõnad. Need võivad olla sõnad, seadmed, kohad või keeled. Salvestage need süsteemi nagu Redis või RabbitMQ.
- Töötajate jaotamine: jaotage tööd veebibrauseri tööriistadele või lihtsatele HTTP-klientidele. Neid tööriistu saab luua Go või Rust keeles. Seadistage need vajalike brauseriandmetega.
- Sokli sidumine: suunage iga töötaja oma sokli kaudu, mida haldab operatsioonisüsteem. See tagab, et DNS või WebRTC ei leki.
- Andmete normaliseerimine: Hankige JSON-andmed. Need võivad olla otsingutulemused, erivastused või kaardiloendid. Salvestage andmed andmehoidlasse, nagu ClickHouse või PostgreSQL.
Korduma kippuvad küsimused
Miks ei toimi tavalised andmekeskuse proksid kaasaegsete otsingumootorite tulemuste kogumisel?
Andmekeskuse proksid pärinevad pilvehostingufirmadelt, mida tuntakse ka ASN-idena. Otsingumootorid tuvastavad need kiiresti. See tuleneb asjaolust, et enamik kasutajaid ei kasuta veebipäringute tegemiseks andmekeskusi. Seega, kui päringud pärinevad nendest allikatest, satuvad need paratamatult kokku kas CAPTCHA-ga või blokeeritud IP-aadressidega.
Kuidas takistab Carrier-Grade NAT (CGNAT) mobiiliprokside musta nimekirja sattumist?
See tehnoloogia võimaldab mitmel mobiilikasutajal samaaegselt kasutada ühte ja sama avalikku IP-aadressi. Otsingumootorid ei lisaks CGNAT-IP-aadresse musta nimekirja, sest sel juhul lisataks sinna ka palju reaalselt eksisteerivaid inimesi. See on põhjus, miks mobiil-IP-aadressid suudavad edukalt toime tulla püsivate blokeeringutega.
Mis on erinevus TCP- ja UDP-liikluse lekkimise vahel proksi töötamise ajal?
Enamik veebikogumisrakendusi edastab proksi-sokli kaudu ainult TCP-liiklust, kuid laseb UDP-liiklusel, nagu QUIC või WebRTC, väljuda. Seetõttu võib teie arvuti IP-aadress paljastuda. Süsteemi tasandil toimiv lahendus hoiab seda ära. Rakendus filtreerib kõiki liiklusliike.
Kuidas tagada mikrokohade puhul SERP-i täpne jälgimine?
Heade tulemuste saamiseks peate seansid siduma mõne mobiilimasti asukoha või mobiilivärava sõlme kanssa soovitud postikoodi piirkonnas. Peate kasutama õigeid kaardipunkte. Lisage need emuleerimiseks brauseri päisesse.
Otsingumootorite analüütika infrastruktuuri moderniseerimine
Otsingumootori andmete kogumise laiendamine ei piirdu lihtsalt täiendavate päringute tegemisega. Lisaks sellele tuleb tegeleda veebiidentiteedi ja pistikupesade haldamisega. Peate tegelema iga rakenduse jaoks eraldi prokside haldamisega. Tuleb vältida WebRTC-st ja DNS-ist tulenevaid andmelekkeid. Üks võimalus on kasutada mobiilsideoperaatorite võrke. See võimaldab suuremahulistel suurandmete mootoritel koguda kohalikke SERP-andmeid ilma blokeerimiseta.
