Introducción
Para ampliar el alcance del web scraping sin activar los sistemas de bloqueo de bots, los grupos deben dejar de utilizar los mismos cambios de IP del centro de datos. En su lugar, deben recurrir a la planificación de proxies a nivel de aplicación con una configuración central. A continuación, deben combinar esto con grupos de nodos de operadores de telefonía móvil 4G y 5G.
Muchas herramientas antiguas de scraping no funcionan bien cuando un sitio web utiliza IA conductual o huellas digitales TLS. La recopilación de big data utiliza ahora herramientas como proxytool.app. Estas herramientas permiten establecer diferentes reglas de tráfico para cada nodo de trabajo. Protegen contra fugas de WebRTC, QUIC y DNS.
Muchas personas del sector piensan que, si se dispone de más direcciones IP, se obtendrán mejores datos. Creen que basta con tener más direcciones IP para resolver el problema. Pero los hechos demuestran lo contrario. Los mejores resultados provienen de direcciones IP de buena calidad, no solo de tener muchas. La forma en que las direcciones IP se mueven y funcionan en la red también es importante. Un gran conjunto de direcciones IP no siempre proporciona mejores datos si el resto de factores no están bien configurados.
| Estrategia de infraestructura de extracción | Tasa de detección | Frecuencia de CAPTCHA | Coste por cada 10 000 SERP correctas |
| Rotación de subredes del centro de datos | 68 % | Alta | 14,20 $ |
| IP residenciales rotativas | 22 % | Moderado | 8,50 |
| Enrutamiento de operadores móviles 4G/5G | 1,8 % | Casi cero | 3,10 |
Cómo sortear los mecanismos de detección en el scraping de motores de búsqueda
Hoy en día, si quieres obtener datos de los motores de búsqueda, debes evitar los sistemas que intentan detectarte y bloquearte. Estos sistemas analizan aspectos como las firmas TLS o JA3, el orden de los encabezados HTTP/2, si ejecutas pruebas de JavaScript y la velocidad a la que envías tus solicitudes.
Cuando los motores de búsqueda detectan patrones de enlaces inusuales asociados a grupos de direcciones IP, muestran CAPTCHAs locales o envían solicitudes de bloqueo suave. Esto puede alterar lo que los usuarios ven en los resultados de búsqueda. Muchos servidores proxy de centros de datos activan estos bloqueos rápidamente. Esto se debe a que sus ASN proceden de grandes servidores en la nube y no de proveedores de acceso a Internet domésticos habituales.
Los estudios indican que más del 74 % de la recopilación automática de datos falla debido a que las pilas TCP/IP funcionan de formas diferentes y a que existen problemas con la resolución de DNS. Esta investigación sobre la sostenibilidad del web scraping fue publicada por la Association for Computing Machinery (ACM). La mayoría de los problemas no se deben a la frecuencia con la que se envían las solicitudes, sino a estas razones.
Protocolo de implementación
- Configura reglas por aplicación para Internet: asigna a cada herramienta de scraping que tengas su propia ruta de proxy. Esto ayuda a garantizar que los datos no se transfieran entre tus diferentes aplicaciones.
- Bloquea las fugas en la forma de conectarte: asegúrate de que todo el DNS funcione a través del proxy. Desactiva WebRTC y QUIC, ya que pueden establecer conexiones que no utilicen el proxy.
- Modifica los encabezados para mantenerte al día: haz que los encabezados de tu cadena de agente de usuario coincidan con los campos del protocolo de enlace TLS del cliente. Por ejemplo, utiliza la marca correcta de Chrome 124 JA3 y configura el orden de los encabezados HTTP/2 para que también coincida.
Maximizar la precisión de los resultados de búsqueda (SERP) con el enrutamiento de IP de operadores móviles
El seguimiento hiperlocal del posicionamiento SEO requiere una segmentación geográfica óptima. Una configuración normal de proxy puede presentar dificultades en este sentido. Los proxies móviles cuentan con direcciones IP obtenidas de proveedores de redes móviles como AT&T, Verizon y Vodafone. A continuación, estas direcciones IP se envían a teléfonos y dispositivos que utilizan las redes 4G y 5G.
Los motores de búsqueda no bloquean todas las direcciones IP móviles a la vez. Muchas personas reales utilizan teléfonos y se conectan a través de una única IP de puerta de enlace principal. Esto se debe a un mecanismo denominado NAT de nivel de operador (CGNAT).
| Característica | Proxies estándar de centros de datos | Proxies de operadores móviles |
| Tipo de ASN | Instalaciones comerciales / de alojamiento | Operador de red móvil (MNO) |
| Compartición de IP | Dedicada o compartida estática | CGNAT (miles de usuarios reales por IP) |
| Precisión local | Nivel de ciudad/región | Nivel de torre / área metropolitana / código postal |
| Resistencia a los bloqueos | Baja (los bloqueos de subred son habituales) | Alta (las direcciones IP son prácticamente inmunes a las prohibiciones estáticas) |
Cuando la recopilación automatizada de SERP utiliza nodos de operadores móviles, las plataformas de análisis ven lo mismo que ven los usuarios móviles reales de esa zona. Esto permite saber cómo se verán los resultados de búsqueda en el teléfono de los usuarios, allí donde se encuentren.
Configuración técnica para una arquitectura de web scraping de gran volumen
Para crear un motor de extracción de datos capaz de crecer, es necesario configurar un sistema con componentes bien definidos. Debes dividir aspectos como la programación de las solicitudes, la gestión de sockets y la lectura de la página deseada.
Proceso paso a paso
- Programación de tareas: envía palabras de búsqueda. Pueden ser palabras, dispositivos, lugares o idiomas. Introdúcelas en un sistema como Redis o RabbitMQ.
- Asignación de trabajadores: Asigna tareas a herramientas de navegador web o a clientes HTTP sencillos. Estas herramientas pueden desarrollarse con Go o Rust. Configúralas con los datos necesarios del navegador.
- Enlace de sockets: Dirige cada trabajador de tareas a través de su propio socket, gestionado por el sistema operativo. Esto garantiza que no se produzcan fugas de DNS o WebRTC.
- Normalización de datos: Obtén datos JSON. Pueden ser resultados de búsqueda, respuestas específicas o listados de mapas. Almacena los datos en un almacén como ClickHouse o PostgreSQL.
Preguntas frecuentes
¿Por qué fallan los proxies de centros de datos estándar al extraer resultados de los motores de búsqueda modernos?
Los proxies de centros de datos proceden de grupos de alojamiento en la nube, también conocidos como ASN. Los motores de búsqueda los detectan rápidamente. Esto se debe a que la mayoría de los usuarios no utilizan centros de datos para realizar búsquedas en la web. Por lo tanto, si las solicitudes proceden de estas fuentes, se encontrarán inevitablemente con un CAPTCHA o con direcciones IP bloqueadas.
¿Cómo evita el NAT de grado de operador (CGNAT) que los proxies móviles sean incluidos en listas negras?
Esta tecnología permite que varios usuarios móviles utilicen la misma IP pública simultáneamente. Los motores de búsqueda no incluirían en la lista negra las IP de CGNAT, ya que, al hacerlo, también incluirían en la lista negra a muchas personas reales. Esta es la razón por la que las IP móviles son capaces de hacer frente con éxito a los bloqueos permanentes.
¿Cuál es la diferencia entre la fuga de tráfico TCP y UDP durante el funcionamiento de un proxy?
La mayoría de las aplicaciones de scraping transfieren únicamente tráfico TCP a través del socket del proxy, pero permiten que se escape el tráfico UDP, como QUIC o WebRTC. Por lo tanto, la dirección IP de tu ordenador podría quedar expuesta. Una solución que funcione a nivel del sistema evita que esto ocurra. La aplicación filtra todos los tipos de tráfico.
¿Cómo puedo garantizar una precisión exacta en el seguimiento de los SERP locales para microubicaciones?
Para obtener buenos resultados, debes vincular las sesiones a determinados puntos de torres de telefonía móvil o nodos de pasarela móvil dentro del código postal que desees. Debes utilizar los puntos de mapa correctos. Introdúcelos en los encabezados del navegador para la emulación.
Modernización de la infraestructura de análisis de motores de búsqueda
Ampliar la recopilación de datos de los motores de búsqueda no se limita simplemente a realizar consultas adicionales. Además de eso, hay que gestionar tu identidad web y la administración de sockets. Tendrás que ocuparte de la gestión de proxies para cada aplicación. Habrá que evitar las fugas de WebRTC y DNS. Una opción es utilizar las redes de los operadores de telefonía. Esto permite que los motores de big data a gran escala recopilen datos locales de SERP sin que se les bloquee el acceso.
