Słowniczek SEO / X-Robots-Tag

X-Robots-Tag

Czym jest X-Robots-Tag?

Znacznik X-Robots-Tag jest opcjonalnym składnikiem nagłówka odpowiedzi HTTP, który informuje wyszukiwarki o sposobie indeksowania strony internetowej. W przeciwieństwie do znacznika meta robots, który jest zarezerwowany dla stron HTML, znacznik X-Robots-Tag może być używany dla plików innych niż HTML, takich jak obrazy, pliki tekstowe i pliki PDF.

Oto przykład odpowiedzi HTTP ze znacznikiem X-Robots-Tag:

HTTP/1.1 200 OK Date: Tue, 15 Nov 2022 11:38:17 GMT Content-encoding: gzip (...) X-Robots-Tag: noindex (...)

Dlaczego X-Robots-Tag jest ważny?

Znacznik X-Robots jest ważny, ponieważ pozwala kontrolować sposób indeksowania i indeksowania przez wyszukiwarki nie tylko stron HTML, ale także innych typów plików. Ta funkcja jest szczególnie przydatna w przypadku zarządzania dużymi witrynami internetowymi z różnymi typami treści. Kluczowe korzyści obejmują:

  • Elastyczność: Stosowanie dyrektyw do plików innych niż HTML, takich jak pliki PDF, obrazy i filmy.
  • Zastosowanie globalne: Użyj tagu, aby zastosować reguły w całej witrynie lub do określonych katalogów i typów plików.
  • Wyrażenia regularne: Wykorzystaj zaawansowane wzorce, aby skutecznie kierować reklamy na wiele adresów URL.

Wspólne dyrektywy dla X-Robots-Tag

Możesz użyć dowolnej dyrektywy, która jest ważna dla znacznika meta robots z tagiem X-Robots-Tag. Oto kilka często używanych dyrektyw:

  • noindex: Zapobiega indeksowaniu strony lub pliku przez wyszukiwarki.
  • nofollow: Zapobiega podążaniu wyszukiwarek za linkami na stronie.
  • none: Odpowiednik "noindex, nofollow".
  • noarchive: Zapobiega wyświetlaniu przez wyszukiwarki buforowanej wersji strony.
  • nosnippet: Zapobiega wyświetlaniu przez wyszukiwarki fragmentu strony w wynikach wyszukiwania.

Na przykład, aby poinstruować Googlebota, aby nie indeksował ani nie śledził żadnych linków w plikach PDF, możesz użyć:

<Files ~ "\.pdf$"> Header set X-Robots-Tag "noindex, nofollow" </Files>

Jak skonfigurować X-Robots-Tag

Na serwerze Apache

X-Robots-Tag można skonfigurować w pliku .htaccess lub httpd.conf. Oto jak zastosować dyrektywę noindex do wszystkich plików PDF:

<Files ~ "\.pdf$"> Header set X-Robots-Tag "noindex" </Files>

Na serwerze NGINX

W przypadku NGINX można dodać dyrektywę w pliku .conf witryny:

location ~* \.pdf$ { add_header X-Robots-Tag "noindex"; }

Ustawianie dyrektyw dla określonych robotów indeksujących

Można określić dyrektywy dla poszczególnych crawlerów, nadając im nazwy:

Header set X-Robots-Tag "googlebot: noindex, nofollow"

Wyświetlanie znacznika X-Robots

W przeciwieństwie do metatagu robots, X-Robots-Tag jest częścią nagłówka odpowiedzi HTTP i nie jest widoczny w kodzie HTML. Oto jak wyświetlić go w przeglądarce Google Chrome:

  1. Załaduj adres URL w przeglądarce Google Chrome.
  2. Kliknij stronę prawym przyciskiem myszy i wybierz "Inspect", aby otworzyć narzędzia deweloperskie.
  3. Wybierz zakładkę "Sieć".
  4. Przeładuj stronę.
  5. Wybierz odpowiedni plik w lewym panelu; nagłówki HTTP, w tym X-Robots-Tag, zostaną wyświetlone w prawym panelu.

Najczęściej zadawane pytania

Czy mogę używać X-Robots-Tag na stronach HTML?

Tak, ale jest on częściej używany w przypadku plików innych niż HTML. W przypadku stron HTML łatwiej jest użyć znacznika meta robots w kodzie HTML.

Jak sprawdzić, czy mój X-Robots-Tag działa?

Użyj narzędzia Inspect w narzędziach deweloperskich przeglądarki, aby sprawdzić nagłówki odpowiedzi HTTP. Możesz także skorzystać z narzędzi online, takich jak Google URL Inspection Tool.

Czy X-Robots-Tag może zastąpić robots.txt?

Nie, X-Robots-Tag nie może zastąpić dyrektyw robots.txt. Jeśli adres URL jest niedozwolony w pliku robots.txt, wyszukiwarki nie będą go indeksować, a co za tym idzie, nie zobaczą dyrektyw X-Robots-Tag.

Dzięki zrozumieniu i prawidłowej implementacji znacznika X-Robots-Tag można uzyskać lepszą kontrolę nad sposobem interakcji wyszukiwarek z różnymi typami plików w witrynie, poprawiając jej SEO i komfort użytkowania.