Wprowadzenie
Aby zwiększyć skalę scrapingu stron internetowych bez uruchamiania systemów blokujących boty, grupy muszą zaprzestać stosowania tych samych zmian adresów IP centrów danych. Zamiast tego muszą stosować planowanie proxy na poziomie aplikacji z podstawową konfiguracją. Następnie należy połączyć to z pulami węzłów operatorów komórkowych 4G i 5G.
Wiele starszych narzędzi do scrapingu nie działa dobrze, gdy strona internetowa wykorzystuje behawioralną sztuczną inteligencję lub identyfikację na podstawie sygnatur TLS. Do gromadzenia dużych zbiorów danych wykorzystuje się obecnie narzędzia takie jak proxytool.app. Narzędzia te pozwalają ustawić różne reguły ruchu dla każdego węzła roboczego. Chronią one przed wyciekami z WebRTC, QUIC i DNS.
Wiele osób z branży uważa, że im więcej adresów IP, tym lepsze dane. Wydaje im się, że samo posiadanie większej liczby adresów IP wystarczy, by rozwiązać problem. Jednak fakty pokazują coś zupełnie innego. Najlepsze wyniki zapewniają adresy IP dobrej jakości, a nie tylko ich duża liczba. Ważny jest również sposób, w jaki adresy IP poruszają się i działają w sieci. Duża pula adresów IP nie zawsze zapewnia lepsze dane, jeśli pozostałe elementy nie są odpowiednio skonfigurowane.
| Strategia infrastruktury ekstrakcji | Wskaźnik wykrywalności | Częstotliwość CAPTCHA | Koszt na 10 tys. pomyślnych wyników SERP |
| Rotacja podsieci centrum danych | 68% | Wysoka | 14,20 USD |
| Rotacyjne adresy IP sieci domowej | 22% | Umiarkowany | 8,50 |
| Routing mobilny 4G/5G przez operatorów | 1,8% | Prawie zero | 3,10 |
Omijanie mechanizmów wykrywania podczas zbierania danych z wyszukiwarek
Obecnie, jeśli chcesz pozyskać dane z wyszukiwarek, musisz unikać systemów, które próbują cię wykryć i zablokować. Systemy te analizują takie elementy, jak sygnatury TLS lub JA3, kolejność nagłówków HTTP/2, to, czy uruchamiasz testy JavaScript, oraz szybkość wysyłania żądań.
Gdy wyszukiwarki zauważają nietypowe wzorce linków powiązanych z grupami adresów IP, wyświetlają lokalne CAPTCHA lub wysyłają żądania miękkiej blokady. Może to wpływać na to, co użytkownicy widzą w wynikach wyszukiwania. Wiele serwerów proxy w centrach danych szybko uruchamia te blokady. Wynika to z faktu, że ich numery AS (ASN) pochodzą z dużych serwerów w chmurze, a nie od zwykłych domowych dostawców usług internetowych.
Badania wskazują, że ponad 74% automatycznego zbierania danych kończy się niepowodzeniem, ponieważ stosy TCP/IP działają w różny sposób i występują problemy z rozpoznawaniem nazw DNS. Wyniki tych badań dotyczących trwałości scrapingu internetowego zostały opublikowane przez Stowarzyszenie Maszyn Komputerowych (ACM). Większość problemów nie wynika z częstotliwości wysyłania żądań, ale z powyższych przyczyn.
Protokół wdrożeniowy
- Skonfiguruj reguły internetowe dla poszczególnych aplikacji: przypisz każde narzędzie do scrapingu do własnej ścieżki proxy. Pomaga to zapewnić, że dane nie będą przepływać między różnymi aplikacjami.
- Zablokuj wycieki w sposobie łączenia się: Upewnij się, że wszystkie zapytania DNS przechodzą przez serwer proxy. Wyłącz WebRTC i QUIC. Mogą one nawiązywać połączenia z pominięciem serwera proxy.
- Zmieniaj nagłówki, aby nadążać za zmianami: Dopasuj nagłówki ciągu user-agent do pól uzgadniania TLS po stronie klienta. Na przykład użyj właściwego oznaczenia Chrome 124 JA3 i ustaw odpowiednią kolejność nagłówków HTTP/2.
Maksymalizacja dokładności wyników wyszukiwania (SERP) dzięki routingu IP operatorów komórkowych
Śledzenie pozycji w hiperlokalnym SEO wymaga doskonałego targetowania geograficznego. Standardowa konfiguracja serwerów proxy może sprawiać z tym problemy. Proxy mobilne posiadają adresy IP pozyskiwane od operatorów sieci komórkowych, takich jak AT&T, Verizon i Vodafone. Adresy IP są następnie przekazywane do telefonów i urządzeń korzystających z sieci 4G i 5G.
Wyszukiwarki nie zablokują wszystkich mobilnych adresów IP naraz. Wiele prawdziwych osób korzysta z telefonów i łączy się za pośrednictwem jednego głównego adresu IP bramy. Wynika to z mechanizmu zwanego Carrier-Grade NAT (CGNAT).
| Funkcja | Standardowe serwery proxy w centrach danych | Proxy operatorów komórkowych |
| Typ ASN | Obiekt komercyjny / hostingowy | Operator sieci komórkowej (MNO) |
| Współdzielenie adresów IP | Dedykowany lub statyczny współdzielony | CGNAT (tysiące rzeczywistych użytkowników na jeden adres IP) |
| Dokładność lokalna | Poziom miasta/regionu | Poziom wieży / metra / kodu pocztowego |
| Odporność na blokady | Niska (często stosowane są blokady podsieci) | Wysoka (adresy IP są praktycznie odporne na blokady statyczne) |
Gdy zautomatyzowane zbieranie wyników wyszukiwania (SERP) wykorzystuje węzły operatorów komórkowych, platformy analityczne widzą to samo, co widzą prawdziwi użytkownicy mobilni w danym obszarze. Dzięki temu użytkownicy mogą sprawdzić, jak wyniki wyszukiwania będą wyglądały na ich telefonach w miejscu, w którym się znajdują.
Konfiguracja techniczna architektury do scrapingu stron internetowych o dużej objętości
Aby stworzyć silnik ekstrakcji danych, który może się rozwijać, należy skonfigurować system o jasno określonych elementach. Należy podzielić takie elementy, jak planowanie żądań, zarządzanie gniazdami oraz odczytywanie wybranej strony.
Proces krok po kroku
- Planowanie zadań: Wysyłaj słowa kluczowe. Mogą to być słowa, urządzenia, miejsca lub języki. Umieść je w systemie takim jak Redis lub RabbitMQ.
- Przydzielanie zadań: Przydzielaj zadania narzędziom przeglądarki internetowej lub prostym klientom HTTP. Narzędzia te można stworzyć w języku Go lub Rust. Skonfiguruj je z uwzględnieniem niezbędnych szczegółów dotyczących przeglądarki.
- Powiązanie gniazd: Przekieruj każdego pracownika wykonującego zadanie przez własne gniazdo obsługiwane przez system operacyjny. Zapewnia to, że nie dojdzie do wycieku danych przez DNS lub WebRTC.
- Normalizacja danych: Pobierz dane w formacie JSON. Mogą to być wyniki wyszukiwania, specjalne odpowiedzi lub wykazy map. Przechowuj dane w hurtowni danych, takiej jak ClickHouse lub PostgreSQL.
Często zadawane pytania
Dlaczego standardowe proxy z centrów danych zawodzą podczas zbierania danych z wyników nowoczesnych wyszukiwarek?
Proxy z centrów danych pochodzą z grup hostingowych w chmurze, znanych również jako ASN. Wyszukiwarki szybko je wykrywają. Wynika to z faktu, że większość użytkowników nie korzysta z centrów danych podczas wyszukiwania w sieci. W związku z tym, jeśli żądania pochodzą z tych źródeł, nieuchronnie napotkają one CAPTCHA lub zablokowane adresy IP.
W jaki sposób NAT klasy operatorskiej (CGNAT) zapobiega umieszczaniu serwerów proxy mobilnych na czarnej liście?
Technologia ta pozwala wielu użytkownikom mobilnym na jednoczesne korzystanie z tego samego publicznego adresu IP. Wyszukiwarki nie umieszczają adresów IP CGNAT na czarnej liście, ponieważ w ten sposób umieściłyby na niej również wiele prawdziwych osób. To właśnie dlatego adresy IP urządzeń mobilnych są w stanie skutecznie radzić sobie z trwałymi blokadami.
Jaka jest różnica między wyciekiem ruchu TCP a UDP podczas działania serwera proxy?
Większość aplikacji do scrapingu przesyła przez gniazdo proxy wyłącznie ruch TCP, ale pozwala na ucieczkę ruchu UDP, takiego jak QUIC czy WebRTC. W ten sposób adres IP Twojego komputera może zostać ujawniony. Rozwiązanie działające na poziomie systemu zapobiega takiej sytuacji. Aplikacja filtruje wszystkie rodzaje ruchu.
Jak zapewnić precyzyjne śledzenie lokalnych wyników wyszukiwania (SERP) dla mikrolokalizacji?
Aby uzyskać dobre wyniki, należy powiązać sesje z konkretnymi lokalizacjami wież komórkowych lub węzłami bram mobilnych w wybranym kodzie pocztowym. Należy używać właściwych punktów na mapie. Należy umieścić je w nagłówkach przeglądarki w celu emulacji.
Modernizacja infrastruktury analityki wyszukiwarek
Skalowanie gromadzenia danych z wyszukiwarek nie ogranicza się jedynie do wysyłania dodatkowych zapytań. Oprócz tego należy zadbać o zarządzanie tożsamością internetową oraz zarządzanie gniazdami sieciowymi. Konieczne będzie zarządzanie serwerami proxy dla każdej aplikacji. Należy zapobiegać wyciekom danych z WebRTC i DNS. Jedną z opcji jest wykorzystanie sieci operatorów komórkowych. Pozwala to silnikom przetwarzającym duże zbiory danych na gromadzenie lokalnych danych SERP na dużą skalę bez ryzyka zablokowania dostępu.
