O que é a tag X-Robots?
A X-Robots-Tag é um componente opcional do cabeçalho de resposta HTTP que informa aos mecanismos de pesquisa como rastrear e indexar uma página da Web. Ao contrário da meta robots tag, que é reservada para páginas HTML, a X-Robots-Tag pode ser usada para arquivos não HTML, como imagens, arquivos de texto e PDFs.
Aqui está um exemplo de uma resposta HTTP com uma tag X-Robots:
HTTP/1.1 200 OK Date: Tue, 15 Nov 2022 11:38:17 GMT Content-encoding: gzip (...) X-Robots-Tag: noindex (...)Por que a tag X-Robots é importante?
A tag X-Robots é importante porque permite que você controle como os mecanismos de pesquisa indexam e rastreiam não apenas as páginas HTML, mas também outros tipos de arquivos. Esse recurso é particularmente útil para o gerenciamento de sites grandes com uma variedade de tipos de conteúdo. Os principais benefícios incluem:
- Flexibilidade: Aplique diretivas a arquivos não HTML, como PDFs, imagens e vídeos.
- Aplicação global: Use a tag para aplicar regras em todo o site ou a diretórios e tipos de arquivos específicos.
- Expressões regulares: Empregue padrões avançados para direcionar vários URLs com eficiência.
Diretivas comuns para X-Robots-Tag
Você pode usar qualquer diretiva que seja válida para a meta tag robots com a X-Robots-Tag. Aqui estão algumas diretivas comumente usadas:
- noindex: Impede que a página ou o arquivo seja indexado pelos mecanismos de pesquisa.
- nofollow: Impede que os mecanismos de pesquisa sigam os links na página.
- none: Equivalente a "noindex, nofollow".
- noarchive: Impede que os mecanismos de pesquisa mostrem uma versão em cache da página.
- nosnippet: Impede que os mecanismos de pesquisa mostrem um snippet da página nos resultados de pesquisa.
Por exemplo, para instruir o Googlebot a não indexar ou seguir nenhum link em arquivos PDF, você pode usar:
<Files ~ "\.pdf$"> Conjunto de cabeçalhos X-Robots-Tag "noindex, nofollow" </Files>Como configurar o X-Robots-Tag
No servidor Apache
Você pode configurar a X-Robots-Tag no arquivo .htaccess ou no arquivo httpd.conf. Veja como aplicar uma diretiva noindex a todos os arquivos PDF:
<Files ~ "\.pdf$"> Conjunto de cabeçalhos X-Robots-Tag "noindex" </Files>No servidor NGINX
Para o NGINX, você pode adicionar a diretiva no arquivo .conf do site:
location ~* \.pdf$ { add_header X-Robots-Tag "noindex"; }Definição de diretivas para rastreadores específicos
Você pode especificar diretivas para rastreadores específicos, nomeando-os:
Header set X-Robots-Tag "googlebot: noindex, nofollow"Exibindo a tag X-Robots
Ao contrário da meta tag robôs, a X-Robots-Tag faz parte do cabeçalho de resposta HTTP e não é visível no código HTML. Veja como visualizá-la no Google Chrome:
- Carregue o URL no Google Chrome.
- Clique com o botão direito do mouse na página e selecione "Inspecionar" para abrir as ferramentas do desenvolvedor.
- Selecione a guia "Network" (Rede).
- Recarregar a página.
- Selecione o arquivo relevante no painel esquerdo; os cabeçalhos HTTP, incluindo a X-Robots-Tag, serão exibidos no painel direito.
Perguntas frequentes
Posso usar a tag X-Robots com páginas HTML?
Sim, mas é mais comumente usado para arquivos não HTML. Para páginas HTML, é mais fácil usar a tag meta robots dentro do código HTML.
Como posso testar se minha X-Robots-Tag está funcionando?
Use a ferramenta Inspecionar nas ferramentas de desenvolvedor do seu navegador para verificar os cabeçalhos de resposta HTTP. Você também pode usar ferramentas on-line, como a Ferramenta de inspeção de URL do Google.
A tag X-Robots pode substituir o robots.txt?
Não, a X-Robots-Tag não pode substituir as diretivas do robots.txt. Se um URL não for permitido no robots.txt, os mecanismos de pesquisa não o rastrearão e, consequentemente, não verão as diretivas X-Robots-Tag.
Ao compreender e implementar adequadamente a X-Robots-Tag, é possível obter um controle mais preciso sobre como os mecanismos de pesquisa interagem com os vários tipos de arquivos do seu site, aprimorando o SEO do site e a experiência do usuário.
