SEO речник / X-Robots-Tag

X-Robots-Tag

Какво представлява етикетът X-Robots?

X-Robots-Tag е незадължителен компонент на заглавието на HTTP отговора, който информира търсачките как да обхождат и индексират дадена уеб страница. За разлика от мета тага robots, който е запазен за HTML страници, X-Robots-Tag може да се използва за файлове, които не са HTML, като например изображения, текстови файлове и PDF файлове.

Ето един пример за HTTP отговор с X-Robots-Tag:

HTTP/1.1 200 OK Дата: Tue, 15 Nov 2022 11:38:17 GMT Content-encoding: gzip (...) X-Robots-Tag: noindex (...)

Защо е важен етикетът X-Robots?

Тагът X-Robots е важен, защото позволява да контролирате начина, по който търсачките индексират и обхождат не само HTML страници, но и други типове файлове. Тази възможност е особено полезна при управлението на големи уебсайтове с различни типове съдържание. Основните предимства включват:

  • Гъвкавост: Прилагайте директиви към файлове, които не са HTML, като например PDF файлове, изображения и видеоклипове.
  • Глобално приложение: Използвайте маркера, за да прилагате правила за целия сайт или за определени директории и типове файлове.
  • Редовни изрази: Използвайте усъвършенствани шаблони за ефективно насочване към множество URL адреси.

Общи директиви за X-Robots-Tag

Можете да използвате всяка директива, която е валидна за тага meta robots, с тага X-Robots-Tag. Ето някои често използвани директиви:

  • noindex: Предотвратява индексирането на страницата или файла от търсачките.
  • nofollow: Не позволява на търсачките да следват връзките на страницата.
  • няма: Еквивалентно на "noindex, nofollow".
  • noarchive: Предотвратява показването на кеширана версия на страницата от търсачките.
  • носни фрагменти: Предотвратява показването от търсачките на фрагмент от страницата в резултатите от търсенето.

Например, за да укажете на Googlebot да не индексира и да не следва никакви връзки в PDF файлове, можете да използвате:

<Files ~ "\.pdf$"> Header set X-Robots-Tag "noindex, nofollow" </Files>

Как да настроите X-Robots-Tag

В сървъра Apache

Можете да настроите X-Robots-Tag във файла .htaccess или httpd.conf. Ето как да приложите директива noindex към всички PDF файлове:

<Files ~ "\.pdf$"> Header set X-Robots-Tag "noindex" </Files>

На сървъра NGINX

За NGINX можете да добавите директивата в .conf файла на сайта:

местоположение ~* \.pdf$ { add_header X-Robots-Tag "noindex"; }

Задаване на директиви за конкретни обхождащи машини

Можете да зададете директиви за конкретни обхождащи устройства, като ги наименувате:

Задаване на хедър X-Robots-Tag "googlebot: noindex, nofollow"

Преглед на X-Robots-Tag

За разлика от мета тага robots, X-Robots-Tag е част от заглавието на HTTP отговора и не се вижда в HTML кода. Ето как да го видите в Google Chrome:

  1. Заредете URL адреса в Google Chrome.
  2. Кликнете с десния бутон на мишката върху страницата и изберете "Inspect", за да отворите инструментите за разработчици.
  3. Изберете раздела "Мрежа".
  4. Презаредете страницата.
  5. Изберете съответния файл в левия панел; HTTP заглавията, включително X-Robots-Tag, ще бъдат показани в десния панел.

Често задавани въпроси

Мога ли да използвам X-Robots-Tag в HTML страници?

Да, но тя се използва по-често за файлове, които не са HTML. За HTML страници е по-лесно да използвате тага meta robots в рамките на HTML кода.

Как мога да проверя дали моят X-Robots-Tag работи?

Използвайте инструмента Inspect (Проверка) в инструментите за разработчици на браузъра, за да проверите заглавията на HTTP отговора. Можете също така да използвате онлайн инструменти, като например инструмента за проверка на URL на Google.

Може ли X-Robots-Tag да замени robots.txt?

Не, X-Robots-Tag не може да замени директивите на robots.txt. Ако даден URL адрес е забранен в robots.txt, търсачките няма да го обхождат и съответно няма да видят директивите X-Robots-Tag.

Чрез разбирането и правилното прилагане на маркера X-Robots можете да постигнете по-добър контрол върху начина, по който търсачките взаимодействат с различните типове файлове на вашия уебсайт, като подобрите SEO оптимизацията на сайта си и потребителското изживяване.