Como coletar dados da web em grande escala sem ser bloqueado

Introdução

Seu scraper funciona bem em algumas centenas de páginas. Tente usá-lo em algumas centenas de milhares e metade das suas solicitações retornará como erros 403, CAPTCHAs ou páginas em branco. O analisador não falhou. O site detectou que seu tráfego não se comporta como o de uma pessoa e começou a reagir.

Fazer scraping em grande escala é, em grande parte, uma questão de não chamar atenção. Qualquer site que valha a pena ser rastreado utiliza algum tipo de detecção de bots, e cada solicitação a mais é mais uma chance de ser sinalizado. Você supera isso com os fundamentos bem executados: os proxies certos para web scraping, um ritmo de solicitações adequado, solicitações que passam por um navegador real e um plano para quando um site revidar. Este artigo mapeia como os bloqueios realmente acontecem e como construir um pipeline que continue extraindo dados sem disparar todos os alarmes.

Por que os sites bloqueiam a coleta automatizada

Os sites não bloqueiam scrapers por quererem dificultar as coisas. Eles bloqueiam porque seu tráfego lhes custa dinheiro e revela dados que prefeririam manter em sigilo. Um scraper agressivo pode disparar milhares de solicitações por minuto, sobrecarregando servidores e distorcendo análises. Preços, listas de produtos e avaliações são exatamente o que um concorrente deseja, por isso os sites que detêm esses dados os defendem com mais veemência. Presuma que seu alvo já tenha se preparado para lidar com pessoas como você.

Como os sistemas de bloqueio decidem

O bloqueio raramente se resume a uma única regra. A maioria das defesas mantém uma pontuação contínua para cada visitante, e ultrapassar um limite resulta em um CAPTCHA ou em uma porta fechada. Essa pontuação responde a três perguntas: quem você é, com que velocidade você age e como você se apresenta de perto.

Quem você é é a reputação do IP: um intervalo conhecido de data center ou um endereço que já apresentou comportamento inadequado anteriormente começa com pontos negativos. A velocidade com que você age é a taxa de solicitações. Sua aparência é sua “impressão digital”, os cabeçalhos que você envia somados ao seu handshake TLS, que revelam se é um navegador real ou um simples script que está acessando.

A Cloudflare e a Akamai combinam esses três fatores em uma pontuação em tempo real por solicitação. É por isso que um scraper passa facilmente por um site pequeno e esbarra em uma barreira em um site protegido que executa o mesmo código.

Criando um pool de proxies para escalabilidade

Comece por quem você é, pois um único IP não dá conta de um trabalho grande. Envie cem mil solicitações de um único endereço e você será rapidamente bloqueado na verificação de reputação. Um pool distribui essa carga por vários IPs para que nenhum se destaque — essa é a camada básica de qualquer configuração de coleta de dados em grande escala. Os proxies de web scraping que você escolher aqui definem o limite máximo para tudo o que vem a seguir.

Em sites com proteção fraca ou inexistente, os IPs de datacenter fazem o trabalho pesado: baratos, rápidos e disponíveis em grande quantidade. Para trabalhos de grande volume, você precisa de IPs de datacenter projetados para coleta de dados em grande escala, em vez de alguns endereços compartilhados que se esgotam em um dia. O problema é que eles são fáceis de identificar. Os proxies de data center atingem 60% a 90% de sucesso em alvos desprotegidos, mas caem para 20% a 40% quando enfrentam o gerenciamento de bots do Cloudflare ou da Akamai, de acordo com a TorchProxies (2026).

O dimensionamento é uma questão de aritmética: se um site tolera cerca de 10 solicitações por IP por minuto e você precisa de 6.000, são necessários no mínimo 600 IPs limpos, além de uma margem de segurança para os que forem sinalizados.

Lógica de cadência e rotação de solicitações

Em seguida, vem a velocidade com que você opera. A rotação decide qual IP atende a cada solicitação; o ritmo determina o intervalo entre elas.

A rotação por solicitação atribui um IP novo a cada chamada, o que é bom para tarefas sem estado, como páginas de produtos independentes. As sessões persistentes mantêm um único IP durante uma sequência de solicitações relacionadas, o que é necessário quando um site rastreia uma sessão, como no caso de um checkout.

O espaçamento é o que faz com que as pessoas evitem bloqueios ao fazer scraping ou acabem caindo diretamente neles. Randomize o atraso entre as solicitações, já que um intervalo fixo de 200 ms já é, por si só, um sinal de bot. Limite a taxa por IP e adicione recuo exponencial, para que os erros façam você desacelerar em vez de forçar a passagem. O gráfico acima mostra o motivo: a taxa de bloqueio fica próxima de zero até você ultrapassar a tolerância do alvo, e então dispara. O guia do Ranktracker sobre scraping na web para ferramentas de SEO mostra como o mesmo ritmo mantém um rastreador de classificação preciso.

Cabeçalhos e impressões digitais

Por último, está a sua aparência. IPs limpos com ritmo adequado ainda são detectados se as próprias solicitações indicarem claramente que se trata de um script. Cada solicitação carrega cabeçalhos e uma impressão digital TLS, e a detecção compara ambos com um navegador real.

Comece pelo User-Agent, mas não pare por aí. Um navegador real envia um conjunto correspondente de cabeçalhos Accept, Accept-Language e Accept-Encoding em uma ordem consistente, e uma solicitação que os omite ou altera essa ordem se destaca. Por trás disso está o handshake TLS, resumido a uma impressão digital JA3. Um cliente Python e o Chrome realizam o handshake de maneiras diferentes, mesmo quando seus cabeçalhos visíveis coincidem; por isso, sistemas anti-bot robustos analisam o handshake para detectar scrapers que apenas fingiram ser legítimos superficialmente. Faça com que cada solicitação pareça ter vindo de um navegador do início ao fim.

Lidando com CAPTCHAs e bloqueios suaves

Nem todo bloqueio aciona um alarme. Um bloqueio rígido é óbvio: uma tela de CAPTCHA ou um código 403. Um bloqueio suave fica oculto. O site retorna um código 200, mas o corpo da resposta é restrito, diluído ou preenchido com dados errados destinados a corromper seu conjunto de dados sem que você perceba.

A detecção é a prioridade número um. Sinalize respostas que pareçam suspeitamente pequenas ou idênticas em páginas que deveriam ser diferentes, e trate-as como falhas mesmo quando o status indicar sucesso. Entradas incorretas corrompem tudo o que é construído com base nelas; portanto, as verificações de qualidade dos dados são tão importantes quanto o acesso. O guia do Ranktracker para acompanhamento preciso de posições mostra como entradas ruidosas prejudicam os números que você reporta.

Quando CAPTCHAs aparecem, existem serviços para resolvê-los, mas a solução mais barata está na origem: diminua a taxa, alterne mais, limpe a assinatura digital e você deixará de receber o desafio.

Quando migrar para o plano residencial

Às vezes, o próprio nível de IP é o limite máximo. Quando o gerenciamento de bots continua bloqueando seu pool de datacenter, não importa o quanto você controle o ritmo e disfarce o tráfego, esse é o sinal de que você precisa mudar para um nível superior.

IPs residenciais provêm de dispositivos domésticos reais, por isso inspiram uma confiança que os intervalos de endereços de data centers nunca conseguem. Para alvos difíceis, mudar para IPs residenciais rotativos proporciona um tráfego que parece proveniente de usuários domésticos comuns, contornando filtros que rejeitam endereços de data centers assim que os detectam.

O preço a pagar é velocidade e dinheiro. Os proxies de datacenter funcionam de 3 a 10 vezes mais rápido, com tempos de resposta de aproximadamente menos de 200 ms contra 500 ms a 2 segundos para os residenciais, de acordo com a ProxyWing. Com milhões de solicitações, isso faz diferença, então organize por camadas: mantenha o datacenter como padrão e encaminhe apenas as solicitações bloqueadas para os endereços residenciais.

Resultados de busca são o caso clássico. Se você estiver coletando dados de SERPs para alimentar uma ferramenta como o SERP Checker do Ranktracker, as páginas mais difíceis geralmente o forçam a usar proxies residenciais.

Teste em um alvo antes de ampliar a escala

Antes de direcionar um scraper para toda a sua lista de alvos, execute-o em um único site protegido e observe os códigos de resposta. Comece com um pequeno conjunto de servidores de datacenter, defina um ritmo conservador e, em seguida, aumente a taxa até que apareçam bloqueios; depois, volte para o último nível em que não houve bloqueios. Esse número é o seu limite máximo por IP e determina o tamanho do conjunto de servidores para todo o trabalho. Defina corretamente seus proxies de web scraping e o ritmo em um site, e a mesma configuração será aplicada ao restante.

Perguntas frequentes

Quantos proxies preciso para fazer scraping em grande escala?

Depende da tolerância do alvo e da sua taxa de transferência. Calcule quantas solicitações por minuto um IP suporta antes de ser sinalizado, divida sua taxa-alvo por esse número e, em seguida, adicione uma margem de segurança. Precisa de 6.000 por minuto contra um site que tolera 10 por IP? São mais de 600 IPs limpos, e não apenas alguns poucos sobrecarregados.

Quais proxies são melhores para web scraping: os de datacenter ou os residenciais?

Nenhum dos dois ganha de forma absoluta. Os de datacenter são mais rápidos e baratos e lidam bem com sites desprotegidos. Os residenciais são mais lentos e caros, mas resistem a sistemas rigorosos de gerenciamento de bots. A maioria dos pipelines usa os dois, usando os de datacenter por padrão e recorrendo aos residenciais apenas quando os bloqueios forçam a situação.

Por que ainda sou bloqueado mesmo usando proxies?

Geralmente é por limitação de ritmo ou impressões digitais, não pelos IPs. Mesmo que você alterne um grande conjunto de proxies, mas os utilize na velocidade da máquina com cabeçalhos padrão, o padrão de comportamento ainda fica evidente. Diminua a velocidade, randomize e procure parecer um navegador primeiro.

É permitido coletar dados públicos?

É uma área cinzenta da lei que varia de acordo com a sua jurisdição e os termos de serviço do site. Limite-se a dados visíveis publicamente, respeite o robots.txt sempre que possível, não mexa em dados pessoais e procure orientação jurídica antes de qualquer extração comercial em grande escala.