Cómo recopilar datos web a gran escala sin que te bloqueen el acceso

Introducción

Tu rastreador funciona bien con unos cientos de páginas. Pero si lo diriges a unos cientos de miles, la mitad de tus solicitudes devuelven errores 403, CAPTCHAs o páginas en blanco. El analizador no ha fallado. El sitio de destino ha detectado que tu tráfico no se comporta como el de una persona y ha empezado a oponerse.

El scraping a gran escala consiste, sobre todo, en pasar desapercibido. Cualquier sitio que merezca la pena rastrear cuenta con algún tipo de detección de bots, y cada solicitud adicional es otra oportunidad de que te marquen. Se supera esto con unos fundamentos bien aplicados: los proxies adecuados para el scraping web, un ritmo de solicitudes razonable, solicitudes que parezcan procedentes de un navegador real y un plan para cuando un sitio web contraataque. Este artículo describe cómo se producen realmente los bloqueos y cómo crear un proceso que siga extrayendo datos sin activar todas las alarmas.

Por qué los sitios web bloquean la recopilación automatizada

Los sitios web no bloquean a los rastreadores por puras ganas de complicar las cosas. Los bloquean porque tu tráfico les cuesta dinero y revela datos que preferirían mantener en secreto. Un rastreador agresivo puede lanzar miles de solicitudes por minuto, sobrecargando los servidores y sesgando las estadísticas. Los precios, los listados de productos y las reseñas son precisamente lo que busca la competencia, por lo que los sitios que albergan esos datos son los que más los defienden. Da por hecho que tu objetivo ya ha previsto la llegada de gente como tú.

Cómo deciden los sistemas de bloqueo

El bloqueo rara vez se basa en una única regla. La mayoría de las defensas llevan una puntuación acumulada para cada visitante, y traspasar un límite te acarrea un CAPTCHA o una puerta cerrada. Esa puntuación responde a tres preguntas: quién eres, a qué velocidad te mueves y cómo te ves de cerca.

Quién eres se mide por la reputación de tu IP: un rango de centro de datos conocido, o una dirección que se haya comportado mal anteriormente, ya parte con puntos en contra. La rapidez con la que te mueves es la tasa de solicitudes. Tu aspecto es tu huella digital: los encabezados que envías más tu protocolo de enlace TLS, que delatan si quien realiza la solicitud es un navegador real o un simple script.

Cloudflare y Akamai combinan estos tres factores en una puntuación en tiempo real por cada solicitud. Por eso un rastreador se desliza sin problemas por un sitio web pequeño y se da de bruces contra un muro en uno protegido que ejecuta el mismo código.

Crear un grupo de proxies para escalar

Empieza por quién eres, porque una sola IP no puede asumir un trabajo de gran envergadura. Envía cien mil solicitudes desde una sola dirección y activarás rápidamente el control de reputación. Un grupo distribuye esa carga entre muchas IP para que ninguna destaque, lo que constituye la base de cualquier configuración de recopilación de datos a gran escala. Los proxies de scraping web que elijas aquí marcan el límite máximo para todo lo que venga después.

En sitios con protección débil o inexistente, las IP de centros de datos hacen el trabajo pesado: son baratas, rápidas y están disponibles a gran escala. Para trabajos de gran volumen, lo ideal son las IP de centros de datos diseñadas para la recopilación de datos a gran escala, en lugar de unas pocas direcciones compartidas que se agotan en un día. El inconveniente es que son fáciles de detectar. Los proxies de centros de datos alcanzan una tasa de éxito del 60 al 90 % en objetivos desprotegidos, pero caen al 20-40 % cuando se enfrentan a los sistemas de gestión de bots de Cloudflare o Akamai, según TorchProxies (2026).

El cálculo es sencillo: si un sitio tolera unas 10 solicitudes por IP al minuto y necesitas 6.000, eso supone un mínimo de 600 IP limpias, más un margen para las que puedan ser marcadas.

Lógica de ritmo de solicitudes y rotación

Lo siguiente es la velocidad a la que te mueves. La rotación decide qué IP se encarga de cada solicitud; el ritmo determina el intervalo entre ellas.

La rotación por solicitud asigna una IP nueva a cada llamada, lo cual es adecuado para tareas sin estado, como las páginas de productos independientes. Las sesiones persistentes mantienen una misma IP durante una serie de solicitudes relacionadas, lo cual es necesario cuando un sitio web realiza un seguimiento de una sesión, como en el proceso de pago.

La distribución de las solicitudes es lo que determina si se evitan los bloqueos al realizar el scraping o si se tropieza directamente con ellos. Aleatoriza el retraso entre solicitudes, ya que un intervalo fijo de 200 ms es en sí mismo una señal de bot. Limita la tasa por IP y añade un retroceso exponencial, de modo que los errores te hagan reducir la velocidad en lugar de seguir adelante. El gráfico anterior muestra por qué: la tasa de bloqueo se mantiene cercana a cero hasta que se supera la tolerancia del objetivo, y luego se dispara. La guía de Ranktracker sobre el scraping web para herramientas de SEO muestra cómo el mismo ritmo mantiene la precisión de un rastreador de posiciones.

Encabezados y huellas digitales

Por último, está tu apariencia. Las IP limpias con un ritmo razonable siguen siendo detectadas si las propias solicitudes delatan que se trata de un script. Cada solicitud lleva encabezados y una huella digital TLS, y la detección compara ambos con los de un navegador real.

Empieza por el User-Agent, pero no te quedes ahí. Un navegador real envía un conjunto coherente de encabezados Accept, Accept-Language y Accept-Encoding en un orden constante, y una solicitud que los omite o altera ese orden llama la atención. Por debajo se encuentra el protocolo de enlace TLS, que se reduce a una huella digital JA3. Un cliente de Python y Chrome realizan el protocolo de enlace de forma diferente incluso cuando sus encabezados visibles coinciden, por lo que los sistemas antibots potentes analizan el protocolo de enlace para detectar los rastreadores que solo han falsificado la apariencia. Haz que cada solicitud parezca procedente de un navegador de principio a fin.

Cómo gestionar los CAPTCHA y los bloqueos suaves

No todos los bloqueos se hacen evidentes. Un bloqueo duro es obvio: una pantalla de CAPTCHA o un error 403. Un bloqueo suave se oculta. El sitio devuelve un 200, pero el cuerpo de la respuesta está limitado, diluido o salpicado de datos erróneos destinados a corromper tu conjunto de datos sin avisarte.

La detección es lo primero. Marca como sospechosas las respuestas que sean sospechosamente pequeñas o idénticas en páginas que deberían diferir, y trátalas como fallos incluso cuando el estado indique «éxito». Las entradas erróneas corrompen todo lo que se construye a partir de ellas, por lo que los controles de calidad de los datos son tan importantes como el acceso. La guía de Ranktracker para un seguimiento preciso de posiciones muestra cómo las entradas ruidosas arruinan las cifras que presentas.

Cuando aparecen CAPTCHAs, existen servicios para resolverlos, pero la solución más económica está en la fase previa: reduce la frecuencia, alterna más y limpia la huella digital, y dejarás de recibir el desafío.

Cuándo pasar a la categoría residencial

A veces, el propio nivel de IP es el límite. Cuando la gestión de bots sigue bloqueando tu grupo de direcciones del centro de datos, por mucho que regules el ritmo y camufles el tráfico, esa es la señal para dar un paso más.

Las IP residenciales proceden de dispositivos domésticos reales, por lo que gozan de una confianza que los rangos de centros de datos nunca alcanzan. Para los objetivos más rebeldes, cambiar a IP residenciales rotativas te proporciona un tráfico que se interpreta como el de usuarios domésticos normales, lo que permite sortear los filtros que rechazan las direcciones de centros de datos nada más detectarlas.

El precio es la velocidad y el dinero. Los proxies de centro de datos funcionan entre 3 y 10 veces más rápido, con tiempos de respuesta de menos de 200 ms frente a los 500 ms a 2 segundos de los residenciales, según ProxyWing. Con millones de solicitudes, eso suma, así que organiza por niveles: mantén el centro de datos como opción predeterminada y redirige solo las solicitudes bloqueadas a las residenciales.

Los resultados de búsqueda son el caso clásico. Si estás extrayendo datos de las SERP para alimentar una herramienta como el SERP Checker de Ranktracker, las páginas más difíciles suelen obligarte a utilizar proxies residenciales.

Prueba con un objetivo antes de ampliar la escala

Antes de dirigir un rastreador a toda tu lista de objetivos, pruébalo con un único sitio protegido y observa los códigos de respuesta. Empieza con un pequeño grupo de servidores de datos, mantén un ritmo conservador y, a continuación, aumenta la frecuencia hasta que aparezcan bloqueos y retrocede al último nivel sin problemas. Esa cifra es tu límite máximo por IP y determina el tamaño del grupo para todo el trabajo. Ajusta correctamente tus proxies de rastreo web y el ritmo en un sitio, y la misma configuración se aplicará al resto.

Preguntas frecuentes

¿Cuántos proxies necesito para realizar un scraping a gran escala?

Depende de la tolerancia del sitio de destino y de tu rendimiento. Calcula cuántas solicitudes por minuto puede soportar una IP antes de que sea marcada como sospechosa, divide tu tasa objetivo por esa cifra y añade un margen de seguridad. ¿Necesitas 6.000 al minuto para un sitio que tolera 10 por IP? Eso son más de 600 IP limpias, no un puñado de ellas sobrecargadas hasta el límite.

¿Qué son mejores para el scraping web: los proxies de centro de datos o los residenciales?

Ninguno de los dos gana por goleada. Los de centro de datos son más rápidos y baratos, y gestionan bien los sitios web desprotegidos. Los residenciales son más lentos y caros, pero resisten mejor las medidas estrictas contra los bots. La mayoría de los procesos utilizan ambos, por defecto los de centro de datos, y recurren a los residenciales solo cuando los bloqueos lo obligan.

¿Por qué sigo siendo bloqueado incluso con proxies?

Normalmente se debe a la limitación de velocidad o a las huellas digitales, no a las direcciones IP. Si utilizas un gran conjunto de direcciones pero las lanzas a velocidad de máquina con encabezados predeterminados, el patrón seguirá siendo detectable. Reduce la velocidad, aleatoriza y haz que parezca que eres un navegador en primer lugar.

¿Está permitido extraer datos públicos?

Es una zona gris legal que varía según tu jurisdicción y las condiciones de uso del sitio web. Limítate a los datos visibles públicamente, respeta el archivo robots.txt siempre que puedas, no toques los datos personales y busca asesoramiento legal antes de cualquier extracción comercial a gran escala.