소개
봇 차단 시스템을 유발하지 않으면서 웹 스크래핑을 대규모로 수행하려면, 그룹은 더 이상 동일한 데이터센터 IP 변경 방식을 사용해서는 안 됩니다. 대신, 핵심 설정을 기반으로 애플리케이션 수준에서 프록시 전략을 수립해야 합니다. 그런 다음 이를 4G 및 5G 이동통신사 노드 풀과 결합해야 합니다.
웹사이트가 행동 기반 AI나 TLS 지문 인식 기술을 사용할 경우, 많은 구형 스크래핑 도구는 제대로 작동하지 않습니다. 현재 빅데이터 수집에는 다음과 같은 도구가 사용됩니다. proxytool.app과 같은 도구를 사용합니다. 이러한 도구를 사용하면 각 워커 노드마다 서로 다른 트래픽 규칙을 설정할 수 있습니다. 또한 WebRTC, QUIC, DNS를 통한 정보 유출을 방지해 줍니다.
업계의 많은 사람들은 IP 주소를 더 많이 확보하면 더 나은 데이터를 얻을 수 있다고 생각합니다. 그들은 단순히 IP 주소를 더 많이 보유하는 것만으로도 문제가 해결될 것이라고 여깁니다. 하지만 사실은 다릅니다. 최상의 결과는 단순히 IP 주소를 많이 보유하는 것이 아니라, 양질의 IP 주소에서 나옵니다. IP 주소가 네트워크 내에서 어떻게 이동하고 작동하는지도 중요합니다. 다른 요소들이 제대로 갖춰지지 않았다면, 방대한 IP 풀이 항상 더 나은 데이터를 보장하는 것은 아닙니다.
| 추출 인프라 전략 | 탐지율 | CAPTCHA 발생 빈도 | 성공적인 SERP 1만 건당 비용 |
| 데이터센터 서브넷 순환 | 68% | 높음 | 14.20달러 |
| 주거용 순환 IP 주소 | 22% | 보통 | $8.50 |
| 모바일 4G/5G 통신사 라우팅 | 1.8% | 거의 0 | $3.10 |
검색 엔진 스크래핑에서 탐지 메커니즘 극복하기
오늘날 검색 엔진에서 데이터를 수집하려면, 사용자를 감지하고 차단하려는 시스템을 피해야 합니다. 이러한 시스템은 TLS 또는 JA3 서명, HTTP/2 헤더의 순서, 자바스크립트 테스트 실행 여부, 요청 전송 속도 등을 분석합니다.
검색 엔진이 특정 IP 그룹과 연관된 이상한 링크 패턴을 감지하면, 로컬 CAPTCHA를 표시하거나 소프트 차단 요청을 보냅니다. 이는 사용자가 검색 엔진 결과에서 보는 내용을 바꿀 수 있습니다. 많은 데이터센터 프록시 서버가 이러한 차단을 빠르게 유발합니다. 이는 해당 서버의 ASN이 일반 가정용 ISP가 아닌 대규모 클라우드 서버에서 비롯되기 때문입니다.
연구에 따르면, TCP/IP 스택의 작동 방식이 서로 다르고 DNS 확인에 문제가 있어 자동 데이터 수집의 74% 이상이 실패한다고 합니다. 웹 스크래핑의 지속성에 대한 이 연구 결과는 컴퓨터 학회(ACM)에서 공유되었습니다. 대부분의 문제는 요청을 보내는 빈도 때문이 아니라 이러한 이유들로 인해 발생합니다.
구현 프로토콜
- 인터넷에 대한 애플리케이션별 규칙 설정: 보유한 각 스크래핑 도구를 고유한 프록시 경로와 매칭하십시오. 이를 통해 서로 다른 애플리케이션 간에 데이터가 이동하지 않도록 할 수 있습니다.
- 연결 방식에서의 정보 유출 차단: 모든 DNS가 프록시를 통해 작동하도록 하십시오. WebRTC와 QUIC을 비활성화하십시오. 이 기능들은 프록시를 사용하지 않는 연결을 생성할 수 있습니다.
- 헤더를 변경하여 최신 상태를 유지하세요: 사용자 에이전트(User-Agent) 문자열 헤더가 클라이언트 TLS 핸드셰이크 필드와 일치하도록 만드세요. 예를 들어, 올바른 Chrome 124 JA3 마크를 사용하고, HTTP/2 헤더 순서도 일치하도록 설정하세요.
모바일 통신사 IP 라우팅을 통한 SERP 정확도 극대화
초지역적 SEO 순위 추적에는 최상의 지리적 타겟팅이 필요합니다. 일반적인 프록시 설정으로는 이에 어려움을 겪을 수 있습니다. 모바일 프록시 은 AT&T, Verizon, Vodafone과 같은 이동통신사로부터 할당받은 IP 주소를 사용합니다. 이 IP 주소들은 4G 및 5G 네트워크를 이용하는 휴대폰과 기기로 전송됩니다.
검색 엔진은 모바일 IP 주소를 일괄적으로 차단하지 않습니다. 많은 실제 사용자가 휴대폰을 사용하며 하나의 주요 게이트웨이 IP를 통해 연결되기 때문입니다. 이는 캐리어 등급 NAT(CGNAT)라고 불리는 기술 덕분입니다.
| 기능 | 표준 데이터센터 프록시 | 모바일 통신사 프록시 |
| ASN 유형 | 상업용 / 호스팅 시설 | 이동통신 사업자(MNO) |
| IP 공유 | 전용 또는 고정 공유 | CGNAT (IP당 실제 사용자 수: 천 명 단위) |
| 지역 정확도 | 도시/지역 수준 | 기지국/메트로/우편번호 수준 |
| 차단 저항성 | 낮음 (서브넷 차단이 흔함) | 높음 (IP 주소는 정적 차단에 사실상 면역) |
자동화된 SERP 수집이 이동통신사 노드를 사용할 때, 분석 플랫폼은 해당 지역의 실제 모바일 사용자가 보는 내용을 확인합니다. 이를 통해 사용자는 자신이 있는 위치에서 휴대폰으로 검색 결과가 어떻게 표시될지 알 수 있습니다.
대용량 웹 스크래핑 아키텍처를 위한 기술적 설정
확장 가능한 데이터 추출 엔진을 구축하려면 구성 요소가 명확하게 구분된 시 스템을 설정해야 합니다. 요청 스케줄링, 소켓 관리, 대상 페이지 읽기 등의 작업을 분리해야 합니다.
단계별 프로세스
- 작업 스케줄링: 검색어를 전송하세요. 여기에는 단어, 기기, 장소 또는 언어가 포함될 수 있습니다. 이를 Redis나 RabbitMQ와 같은 시스템에 저장하세요.
- 작업자 할당: 웹 브라우저 도구 또는 간단한 HTTP 클라이언트에 작업을 할당하세요. 이러한 도구는 Go나 Rust로 제작할 수 있습니다. 필요한 브라우저 세부 정보를 설정하여 구성하세요.
- 소켓 바인딩: 각 작업 워커를 운영 체제가 관리하는 고유한 소켓을 통해 전달합니다. 이를 통해 DNS나 WebRTC를 통한 정보 유출을 방지할 수 있습니다.
- 데이터 정규화: JSON 데이터를 가져옵니다. 여기에는 검색 결과, 특수한 답변 또는 지도 목록이 포함될 수 있습니다. 데이터를 ClickHouse나 PostgreSQL과 같은 데이터 웨어하우스에 저장합니다.
자주 묻는 질문
최신 검색 엔진 결과를 스크래핑할 때 표준 데이터센터 프록시가 실패하는 이유는 무엇인가요?
데이터센터 프록시는 ASN(Autonomous System Number)으로도 알려진 클라우드 호스팅 그룹에서 제공됩니다. 검색 엔진은 이러한 프록시를 빠르게 탐지합니다. 이는 대부분의 사용자가 웹 검색에 데이터센터를 사용하지 않기 때문입니다. 따라서 요청이 이러한 출처에서 발생하면 필연적으로 CAPTCHA가 표시되거나 IP 주소가 차단되는 상황에 직면하게 됩니다.
캐리어급 NAT(CGNAT)는 모바일 프록시가 블랙리스트에 등재되는 것을 어떻게 방지하나요?
이 기술은 여러 모바일 사용자가 동일 한 공용 IP를 동시에 사용할 수 있게 해줍니다. 검색 엔진은 CGNAT IP를 블랙리스트에 올리지 않습니다. 그렇게 할 경우 수많은 실제 사용자까지 함께 차단하게 되기 때문입니다. 이것이 바로 모바일 IP가 영구 차단 문제를 성공적으로 극복할 수 있는 이유입니다.
프록시 작동 중 TCP와 UDP 트래픽 유출의 차이점은 무엇인가요?
대부분의 스크래핑 애플리케이션은 프록시 소켓을 통해 TCP 트래픽만 전송하지만, QUIC이나 WebRTC와 같은 UDP 트래픽은 누출되도록 허용합니다. 따라서 사용자의 컴퓨터 IP 주소가 노출될 수 있습니다. 시스템 수준에서 작동하는 솔루션은 이러한 현상을 방지합니다. 해당 애플리케이션은 모든 유형의 트래픽을 필터링합니다.
미세 지역(micro-locations)에 대한 정확한 지역 검색 결과 페이지(SERP) 추적 정확도를 보장하려면 어떻게 해야 합니까?
양호한 결과를 얻으려면, 대상 우편번호 내의 특정 기지국 위치나 모바일 게이트웨이 노드에 세션을 연결해야 합니다. 정확한 지도 좌표를 사용해야 하며, 에뮬레이션을 위해 이를 브라우저 헤더에 포함시켜야 합니다.
검색 엔진 분석 인프라의 현대화
검색 엔진 데이터 수집을 확장하는 것은 단순히 쿼리를 추가하는 것에 그치지 않습니다. 그 외에도 웹 신원 관리 및 소켓 관리 문제가 있습니다. 각 애플리케이션에 대한 프록시 관리를 처리해야 합니다. WebRTC 및 DNS를 통한 정보 유출을 방지해야 합니다. 통신사 네트워크를 활용하는 것이 한 가지 방법입니다. 이를 통해 대규모 빅데이터 엔진이 차단당하지 않고 지역별 SERP 데이터를 수집할 수 있습니다.
