Introduzione
Per scalare il web scraping senza attivare i sistemi di blocco dei bot, i gruppi devono smettere di utilizzare gli stessi cambi di IP del data center. Devono invece ricorrere alla pianificazione dei proxy a livello di applicazione con una configurazione centrale. Successivamente, è necessario integrare questa strategia con pool di nodi di operatori di telefonia mobile 4G e 5G.
Molti vecchi strumenti di scraping non funzionano bene quando un sito web utilizza l’intelligenza artificiale comportamentale o il fingerprinting TLS. La raccolta di big data ora utilizza strumenti come proxytool.app. Questi strumenti consentono di impostare regole di traffico diverse per ciascun nodo di lavoro. Proteggono dalle fughe di dati tramite WebRTC, QUIC e DNS.
Molti operatori del settore ritengono che, aumentando il numero di indirizzi IP, si ottengano dati migliori. Ritengono che il semplice fatto di disporre di più IP sia sufficiente a risolvere il problema. Ma i fatti dimostrano il contrario. I risultati migliori derivano da IP di buona qualità, non solo dal fatto di averne molti. Anche il modo in cui gli IP si muovono e funzionano nella rete è importante. Un ampio pool di IP non garantisce sempre dati migliori se gli altri aspetti non sono corretti.
| Strategia per l’infrastruttura di estrazione | Tasso di rilevamento | Frequenza dei CAPTCHA | Costo per 10.000 SERP riuscite |
| Rotazione delle sottoreti del data center | 68% | Elevata | 14,20 $ |
| IP residenziali a rotazione | 22% | Moderato | 8,50 |
| Routing operatore mobile 4G/5G | 1,8% | Quasi zero | 3,10 |
Superare i meccanismi di rilevamento nello scraping dei motori di ricerca
Oggi, se si desidera ottenere dati dai motori di ricerca, è necessario eludere i sistemi che cercano di individuare e bloccare l’attività. Questi sistemi analizzano elementi quali le firme TLS o JA3, l’ordine delle intestazioni HTTP/2, l’esecuzione di test JavaScript e la velocità con cui vengono inviate le richieste.
Quando i motori di ricerca rilevano modelli di collegamento insoliti associati a gruppi di IP collegati, visualizzano CAPTCHA locali o inviano richieste di blocco soft. Ciò può alterare ciò che gli utenti vedono nei risultati dei motori di ricerca. Molti server proxy dei data center attivano rapidamente questi blocchi. Questo perché i loro ASN provengono da grandi server cloud e non da normali ISP domestici.
Gli studi indicano che oltre il 74% delle operazioni di raccolta automatica dei dati fallisce a causa delle differenze nel funzionamento degli stack TCP/IP e dei problemi legati alla risoluzione DNS. Questa ricerca sulla sostenibilità del web scraping è stata diffusa dall’Association for Computing Machinery (ACM). La maggior parte dei problemi non deriva dalla frequenza con cui si inviano le richieste, ma da queste cause.
Protocollo di implementazione
- Imposta regole per app per Internet: associa ogni strumento di scraping a un proprio percorso proxy. Questo aiuta a garantire che i dati non si spostino tra le diverse app.
- Bloccate le fughe di dati nelle modalità di connessione: assicuratevi che tutti i DNS funzionino tramite il proxy. Disattivate WebRTC e QUIC, poiché possono stabilire connessioni che non utilizzano il proxy.
- Modifica le intestazioni per stare al passo: fai in modo che le intestazioni della stringa user-agent corrispondano ai campi dell’handshake TLS del client. Ad esempio, usa il corretto marcatore Chrome 124 JA3 e imposta l’ordine delle intestazioni HTTP/2 in modo che corrisponda.
Ottimizzazione della precisione delle SERP con il routing IP degli operatori di telefonia mobile
Il monitoraggio del posizionamento SEO iper-locale richiede un geo-targeting di alto livello. Una normale configurazione proxy può avere difficoltà in questo senso. I proxy mobili dispongono di indirizzi IP acquisiti da operatori di rete cellulare quali AT&T, Verizon e Vodafone. Gli indirizzi IP vengono quindi inviati a telefoni e dispositivi che utilizzano le reti 4G e 5G.
I motori di ricerca non bloccano tutti gli indirizzi IP mobili contemporaneamente. Molte persone reali utilizzano i telefoni e si connettono tramite un unico indirizzo IP gateway principale. Ciò è dovuto a una tecnologia chiamata Carrier-Grade NAT (CGNAT).
| Funzionalità | Proxy standard per data center | Proxy degli operatori di telefonia mobile |
| Tipo di ASN | Struttura commerciale / di hosting | Operatore di rete mobile (MNO) |
| Condivisione IP | Dedicato o condiviso statico | CGNAT (migliaia di utenti reali per IP) |
| Precisione locale | A livello di città/regione | Livello di torre / area metropolitana / codice postale |
| Resistenza al ban | Bassa (i ban a livello di sottorete sono comuni) | Elevata (gli indirizzi IP sono praticamente immuni ai ban statici) |
Quando la raccolta automatizzata dei risultati SERP utilizza i nodi degli operatori di telefonia mobile, le piattaforme di analisi vedono ciò che vedono gli utenti mobili reali in quella zona. Questo permette alle persone di sapere come appariranno i risultati di ricerca sul proprio telefono, ovunque si trovino.
Configurazione tecnica per un’architettura di web scraping ad alto volume
Per realizzare un motore di estrazione dati in grado di crescere, è necessario configurare un sistema con componenti ben definiti. È opportuno suddividere aspetti quali la pianificazione delle richieste, la gestione dei socket e la lettura della pagina desiderata.
Procedura passo dopo passo
- Pianificazione dei lavori: inviate parole chiave di ricerca. Queste possono essere parole, dispositivi, luoghi o lingue. Inseritele in un sistema come Redis o RabbitMQ.
- Assegnazione dei worker: assegnate i lavori a strumenti basati su browser web o a semplici client HTTP. Questi strumenti possono essere realizzati con Go o Rust. Configurateli con i dettagli necessari relativi al browser.
- Collegamento socket: instradare ogni worker attraverso un proprio socket gestito dal sistema operativo. Ciò garantisce che non vi siano perdite di dati tramite DNS o WebRTC.
- Normalizzazione dei dati: acquisisci i dati JSON. Questi possono essere risultati di ricerca, risposte specifiche o elenchi di mappe. Archivia i dati in un data warehouse come ClickHouse o PostgreSQL.
Domande frequenti
Perché i proxy standard dei data center falliscono durante lo scraping dei risultati dei motori di ricerca moderni?
I proxy dei data center provengono da gruppi di hosting cloud, noti anche come ASN. I motori di ricerca li individuano rapidamente. Ciò è dovuto al fatto che la maggior parte degli utenti non utilizza i data center per le ricerche sul web. Pertanto, se le richieste provengono da queste fonti, si andrà inevitabilmente incontro a un CAPTCHA o al blocco degli indirizzi IP.
In che modo il Carrier-Grade NAT (CGNAT) impedisce che i proxy mobili vengano inseriti nella lista nera?
Questa tecnologia consente a più utenti mobili di utilizzare contemporaneamente lo stesso IP pubblico. I motori di ricerca non inserirebbero gli IP CGNAT nella lista nera poiché, così facendo, finirebbero per inserire nella lista nera anche molte persone reali. Questo è il motivo per cui gli IP mobili sono in grado di far fronte con successo ai ban permanenti.
Qual è la differenza tra la fuga di traffico TCP e quella di traffico UDP durante il funzionamento del proxy?
La maggior parte delle applicazioni di scraping trasferisce solo il traffico TCP tramite il socket del proxy, ma consente al traffico UDP, come QUIC o WebRTC, di fuoriuscire. Di conseguenza, l’indirizzo IP del tuo computer potrebbe essere esposto. Una soluzione che opera a livello di sistema impedisce che ciò accada. L’applicazione filtra tutti i tipi di traffico.
Come posso garantire una precisione accurata nel monitoraggio delle SERP locali per le micro-località?
Per ottenere buoni risultati, è necessario collegare le sessioni ad alcune postazioni di ripetitori di rete o nodi di gateway mobili nel codice postale desiderato. È necessario utilizzare i punti di mappa corretti. Inseriscili nelle intestazioni del browser per l’emulazione.
Modernizzazione dell’infrastruttura di analisi dei motori di ricerca
L’ampliamento della raccolta dei dati dei motori di ricerca non si limita semplicemente all’esecuzione di query aggiuntive. Oltre a ciò, occorre gestire la propria identità web e i socket. Dovrete occuparvi della gestione dei proxy per ciascuna applicazione. Sarà necessario prevenire le fughe di dati da WebRTC e DNS. L’utilizzo delle reti degli operatori telefonici è un’opzione. Consente ai motori di big data su larga scala di raccogliere dati SERP locali senza essere bloccati.
