Johdanto
Jotta verkkosivujen tiedonkeruuta voidaan laajentaa ilman, että botinestojärjestelmät aktivoituvat, ryhmien on lopetettava samojen datakeskuksen IP-osoitteiden käyttö. Sen sijaan niiden on käytettävä sovellustason välityspalvelinsuunnittelua ydinmääritysten avulla. Tämän jälkeen se yhdistetään 4G- ja 5G-matkapuhelinoperaattoreiden solmupoolien kanssa.
Monet vanhat scraping-työkalut eivät toimi hyvin, kun verkkosivusto käyttää käyttäytymiseen perustuvaa tekoälyä tai TLS-sormenjälkitunnistusta. Big datan keräämisessä käytetään nykyään työkaluja kuten proxytool.app. Näiden työkalujen avulla voit asettaa eri liikennesäännöt jokaiselle työntekijäsolmulle. Ne suojaavat WebRTC-, QUIC- ja DNS-vuodoilta.
Monet alan toimijat ajattelevat, että mitä enemmän IP-osoitteita on, sitä parempaa dataa saadaan. He kokevat, että pelkkä IP-osoitteiden määrän lisääminen riittää ongelman ratkaisemiseen. Tosiasiat kertovat kuitenkin toista tarinaa. Parhaat tulokset saadaan laadukkaista IP-osoitteista, ei pelkästään niiden suuresta määrästä. Myös se, miten IP-osoitteet liikkuvat ja toimivat verkossa, on tärkeää. Suuri IP-osoitepooli ei aina tuota parempaa dataa, jos muut tekijät eivät ole kunnossa.
| Tietojen poimintainfrastruktuurin strategia | Havaitsemisaste | CAPTCHA-tiheys | Kustannus 10 000 onnistunutta SERP:tä kohti |
| Tietokeskuksen aliverkon kierrätys | 68 % | Korkea | 14,20 $ |
| Kotikäyttöön tarkoitetut vaihtuvat IP-osoitteet | 22 % | Kohtalainen | 8,50 |
| Mobiili 4G/5G-operaattorireititys | 1,8 % | Lähes nolla | 3,10 |
Hakukoneiden kaappausmenetelmien tunnistusmekanismien kiertäminen
Nykyään, jos haluat kerätä dataa hakukoneista, sinun on vältettävä järjestelmiä, jotka yrittävät tunnistaa ja estää sinua. Nämä järjestelmät tarkastelevat esimerkiksi TLS- tai JA3-allekirjoituksia, HTTP/2-otsikoiden järjestystä, sitä, suoritatko JavaScript-testejä, sekä pyyntöjesi lähetysnopeutta.
Kun hakukoneet havaitsevat epätavallisia linkitystapoja, joihin liittyy tiettyjä IP-ryhmiä, ne näyttävät paikallisia CAPTCHA-tarkistuksia tai lähettävät pehmeitä estopyyntöjä. Tämä voi muuttaa sitä, mitä käyttäjät näkevät hakukoneiden tuloksissa. Monet datakeskusten välityspalvelimet laukaisevat nämä estot nopeasti. Tämä johtuu siitä, että niiden ASN-tunnukset ovat peräisin suurista pilvipalvelimista eivätkä tavallisilta kotikäyttäjien internetpalveluntarjoajilta.
Tutkimusten mukaan yli 74 % automaattisesta tiedonkeruusta epäonnistuu, koska TCP/IP-pino toimii eri tavoin ja DNS-tunnistuksessa on ongelmia. Tämän verkkokraapauksen kestävyyttä koskevan tutkimuksen julkaisi Association for Computing Machinery (ACM). Useimmat ongelmat eivät johdu siitä, kuinka usein lähetät pyyntöjä, vaan näistä syistä.
Toteutusprotokolla
- Määritä sovelluskohtaiset säännöt internetin käytölle: Määritä jokaiselle käyttämällesi tiedonkeruutyökalulle oma välityspalvelinreitti. Näin varmistat, että dataa ei siirretä eri sovellusten välillä.
- Estä yhteysvuodot: Varmista, että kaikki DNS-liikenne kulkee välityspalvelimen kautta. Poista WebRTC ja QUIC käytöstä. Ne voivat muodostaa yhteyksiä, jotka eivät käytä välityspalvelinta.
- Muuta otsikoita pysyäksesi ajan tasalla: Varmista, että user-agent-merkkijonon otsikot vastaavat asiakkaan TLS-kättelykenttiä. Käytä esimerkiksi oikeaa Chrome 124 JA3 -merkintää ja aseta myös HTTP/2-otsikoiden järjestys vastaavaksi.
SERP-tulosten tarkkuuden maksimointi matkapuhelinoperaattorien IP-reitityksen avulla
Hyperpaikallinen SEO-sijoitusten seuranta vaatii huippuluokan maantieteellistä kohdentamista. Tavallisessa välityspalvelimen asetuksessa voi olla ongelmia tämän suhteen. Mobiiliproxyt käyttävät IP-osoitteita, jotka on hankittu matkapuhelinverkkopalveluntarjoajilta, kuten AT&T:ltä, Verizonilta ja Vodafonelta. IP-osoitteet lähetetään sitten puhelimiin ja laitteisiin, jotka käyttävät 4G- ja 5G-verkkoja.
Hakukoneet eivät estä matkapuhelin-IP-osoitteita kerralla. Monet oikeat ihmiset käyttävät puhelimia ja muodostavat yhteyden yhden pääyhdyskäytävän IP-osoitteen kautta. Tämä johtuu niin sanotusta Carrier-Grade NAT:sta (CGNAT).
| Ominaisuus | Vakio-datakeskuksen välityspalvelimet | Matkapuhelinoperaattorien välityspalvelimet |
| ASN-tyyppi | Kaupallinen / isännöintilaitos | Matkapuhelinoperaattori (MNO) |
| IP-jakaminen | Omistettu tai staattisesti jaettu | CGNAT (tuhansia todellisia käyttäjiä yhtä IP-osoitetta kohti) |
| Paikallinen tarkkuus | Kaupunki-/aluekohtainen | Tornin / metron / postinumeron taso |
| Estojen kestävyys | Matala (aliverkon estot yleisiä) | Korkea (IP-osoitteet ovat käytännössä immuuneja staattisille estojen) |
Kun automatisoitu SERP-tietojen keruu käyttää matkapuhelinoperaattoreiden solmuja, analytiikka-alustat näkevät sen, mitä alueen todelliset mobiilikäyttäjät näkevät. Näin käyttäjät saavat tietää, miltä hakutulokset näyttävät heidän puhelimellaan siellä, missä he ovat.
Suurten tietomäärien verkkokorjuuarkkitehtuurin tekninen kokoonpano
Jotta voit luoda laajennettavan tiedonkeruumoottorin, sinun on rakennettava järjestelmä, jonka osat ovat selkeästi erillisiä. Sinun tulisi jakaa tehtävät, kuten pyyntöjen ajoittaminen, socketien hallinta ja halutun sivun lukeminen.
Prosessi vaihe vaiheelta
- Tehtävien ajoitus: Lähetä hakusanoja. Nämä voivat olla sanoja, laitteita, paikkoja tai kieliä. Tallenna ne Redis- tai RabbitMQ-kaltaiseen järjestelmään.
- Työntekijöiden allokointi: Anna tehtäviä verkkoselaimen työkaluille tai yksinkertaisille HTTP-asiakkaille. Nämä työkalut voidaan toteuttaa Go- tai Rust-kielellä. Määritä niille tarvittavat selaintiedot.
- Socket-liitäntä: Siirrä kukin työprosessi oman socketin kautta, jota käyttöjärjestelmä käsittelee. Tämä varmistaa, ettei DNS- tai WebRTC-tietoja vuoda.
- Tietojen normalisointi: Hanki JSON-tietoja. Nämä voivat olla hakutuloksia, erityisiä vastauksia tai karttaluetteloita. Tallenna tiedot tietovarastoon, kuten ClickHouseen tai PostgreSQL:ään.
Usein kysytyt kysymykset
Miksi tavalliset datakeskuksen välityspalvelimet eivät toimi nykyaikaisten hakukoneiden tulosten keräämisessä?
Tietokeskusproxyt ovat peräisin pilvipalveluyrityksiltä, joita kutsutaan myös ASN-verkkoiksi. Hakukoneet tunnistavat nämä nopeasti. Tämä johtuu siitä, että useimmat käyttäjät eivät käytä tietokeskuksia verkkohauissa. Siksi, jos pyynnöt tulevat näistä lähteistä, ne kohtaavat väistämättä joko CAPTCHA-tarkistuksen tai IP-osoitteiden eston.
Miten Carrier-Grade NAT (CGNAT) estää mobiiliproxien joutumisen mustalle listalle?
Teknologia mahdollistaa sen, että useat mobiilikäyttäjät voivat käyttää samaa julkista IP-osoitetta samanaikaisesti. Hakukoneet eivät lisää CGNAT-IP-osoitteita mustalle listalle, koska näin tehdessään ne lisäisivät listalle myös monia oikeita ihmisiä. Tästä syystä mobiili-IP-osoitteet pystyvät selviytymään pysyvistä käyttökieltoista menestyksekkäästi.
Mikä on ero TCP- ja UDP-liikenteen vuotamisen välillä välityspalvelimen käytön aikana?
Suurin osa dataa keräävistä sovelluksista siirtää välityspalvelimen liitännän kautta vain TCP-liikennettä, mutta sallii UDP-liikenteen, kuten QUIC:n tai WebRTC:n, vuotamisen. Tällöin tietokoneesi IP-osoite saattaa paljastua. Järjestelmätasolla toimiva ratkaisu estää tämän tapahtumasta. Sovellus suodattaa kaikki liikennetyypit.
Kuinka varmistan tarkan paikallisen SERP-seurannan tarkkuuden mikrosijainneille?
Hyvien tulosten saamiseksi sinun on linkitettävä istunnot tiettyihin matkapuhelinmastoihin tai mobiiliverkon solmukohtiin haluamassasi postinumeroalueella. Sinun on käytettävä oikeita karttapisteitä. Lisää nämä selaimen otsikoihin emulointia varten.
Hakukoneanalytiikan infrastruktuurin modernisointi
Hakukoneiden tiedonkeruun laajentaminen ei rajoitu pelkästään lisäkyselyjen tekemiseen. Sen lisäksi on huolehdittava verkkotunnuksesi hallinnasta ja yhteyspisteiden hallinnasta. Joudut hoitamaan välityspalvelinten hallinnan jokaiselle sovellukselle. WebRTC:stä ja DNS:stä johtuvat tietovuodot on estettävä. Yksi vaihtoehto on hyödyntää matkapuhelinoperaattoreiden verkkoja. Se mahdollistaa laajamittaisten big data -moottoreiden paikallisten SERP-tietojen keräämisen ilman, että ne estetään.
