Какво представлява етикетът X-Robots?
X-Robots-Tag е незадължителен компонент на заглавието на HTTP отговора, който информира търсачките как да обхождат и индексират дадена уеб страница. За разлика от мета тага robots, който е запазен за HTML страници, X-Robots-Tag може да се използва за файлове, които не са HTML, като например изображения, текстови файлове и PDF файлове.
Ето един пример за HTTP отговор с X-Robots-Tag:
HTTP/1.1 200 OK Дата: Tue, 15 Nov 2022 11:38:17 GMT Content-encoding: gzip (...) X-Robots-Tag: noindex (...)Защо е важен етикетът X-Robots?
Тагът X-Robots е важен, защото позволява да контролирате начина, по който търсачките индексират и обхождат не само HTML страници, но и други типове файлове. Тази възможност е особено полезна при управлението на големи уебсайтове с различни типове съдържание. Основните предимства включват:
- Гъвкавост: Прилагайте директиви към файлове, които не са HTML, като например PDF файлове, изображения и видеоклипове.
- Глобално приложение: Използвайте маркера, за да прилагате правила за целия сайт или за определени директории и типове файлове.
- Редовни изрази: Използвайте усъвършенствани шаблони за ефективно насочване към множество URL адреси.
Общи директиви за X-Robots-Tag
Можете да използвате всяка директива, която е валидна за тага meta robots, с тага X-Robots-Tag. Ето някои често използвани директиви:
- noindex: Предотвратява индексирането на страницата или файла от търсачките.
- nofollow: Не позволява на търсачките да следват връзките на страницата.
- няма: Еквивалентно на "noindex, nofollow".
- noarchive: Предотвратява показването на кеширана версия на страницата от търсачките.
- носни фрагменти: Предотвратява показването от търсачките на фрагмент от страницата в резултатите от търсенето.
Например, за да укажете на Googlebot да не индексира и да не следва никакви връзки в PDF файлове, можете да използвате:
<Files ~ "\.pdf$"> Header set X-Robots-Tag "noindex, nofollow" </Files>Как да настроите X-Robots-Tag
В сървъра Apache
Можете да настроите X-Robots-Tag във файла .htaccess или httpd.conf. Ето как да приложите директива noindex към всички PDF файлове:
<Files ~ "\.pdf$"> Header set X-Robots-Tag "noindex" </Files>На сървъра NGINX
За NGINX можете да добавите директивата в .conf файла на сайта:
местоположение ~* \.pdf$ { add_header X-Robots-Tag "noindex"; }Задаване на директиви за конкретни обхождащи машини
Можете да зададете директиви за конкретни обхождащи устройства, като ги наименувате:
Задаване на хедър X-Robots-Tag "googlebot: noindex, nofollow"Преглед на X-Robots-Tag
За разлика от мета тага robots, X-Robots-Tag е част от заглавието на HTTP отговора и не се вижда в HTML кода. Ето как да го видите в Google Chrome:
- Заредете URL адреса в Google Chrome.
- Кликнете с десния бутон на мишката върху страницата и изберете "Inspect", за да отворите инструментите за разработчици.
- Изберете раздела "Мрежа".
- Презаредете страницата.
- Изберете съответния файл в левия панел; HTTP заглавията, включително X-Robots-Tag, ще бъдат показани в десния панел.
Често задавани въпроси
Мога ли да използвам X-Robots-Tag в HTML страници?
Да, но тя се използва по-често за файлове, които не са HTML. За HTML страници е по-лесно да използвате тага meta robots в рамките на HTML кода.
Как мога да проверя дали моят X-Robots-Tag работи?
Използвайте инструмента Inspect (Проверка) в инструментите за разработчици на браузъра, за да проверите заглавията на HTTP отговора. Можете също така да използвате онлайн инструменти, като например инструмента за проверка на URL на Google.
Може ли X-Robots-Tag да замени robots.txt?
Не, X-Robots-Tag не може да замени директивите на robots.txt. Ако даден URL адрес е забранен в robots.txt, търсачките няма да го обхождат и съответно няма да видят директивите X-Robots-Tag.
Чрез разбирането и правилното прилагане на маркера X-Robots можете да постигнете по-добър контрол върху начина, по който търсачките взаимодействат с различните типове файлове на вашия уебсайт, като подобрите SEO оптимизацията на сайта си и потребителското изживяване.
