什么是 Meta Robots 标签？
meta robots 标签是一种 HTML 标签，用于向搜索引擎爬虫提供如何索引、抓取网页并将其显示在搜索结果中的具体说明。它位于网页的<head>部分。元 robots 标签用于控制搜索引擎处理网页内容的各个方面。
下面是代码中的一个示例：
<meta name="robots" content="noindex, nofollow">在这个例子中
noindex则告诉搜索引擎不要索引该页面。nofollow告诉搜索引擎不要跟踪页面上的任何链接。
对于缺少 HTML 头部分的资源（如图片、PDF 文件），可以使用 X-Robots 标签。与 meta robots 标签不同，X-Robots 标签是随网页响应一起发送的 HTTP 标头。
验证元 Robots 标签
您可以使用各种工具和浏览器扩展来验证页面的元 robots 标签，例如 Ranktracker SEO 工具栏，它可以根据元标签和 HTTP 标头为爬虫提供指令。
元 Robots 标签的重要性
元机器人标签之所以重要，有几个原因：
- 控制索引：防止某些页面出现在搜索结果中（例如，内容较少的页面、管理页面、感谢页面）。
- 控制抓取：防止搜索引擎跟踪页面上的链接。
- 增强用户体验：控制搜索结果中片段和预览的显示方式。
Meta Robots 标签规则
以下是可与 meta robots 标签一起使用的规则或指令：
- noindex：指示搜索引擎不要索引该页面。
- nofollow：指示搜索引擎不跟踪页面上的任何链接。
- 无：等同于 noindex、nofollow。
- 全部：等同于索引、跟随（默认行为）。
- noarchive：防止搜索引擎显示页面的缓存版本。
- nositelinkssearchbox：防止 Google 在搜索结果中显示 sitelinks 搜索框。
- nosnippet：防止搜索引擎在搜索结果中显示页面的文本片段。
- indexifembedded：指示 Google 索引通过 iframe 或类似 HTML 标记嵌入到 noindex 页面上的内容。
- max-snippet：指定文本片段的最大字符数。
- max-image-preview：指定搜索结果中图片预览的大小。
- max-video-preview：设置视频片段的最大秒数。
- notranslate：指示 Google 不为网页提供翻译。
- noimageindex：告诉 Google 不要索引页面上的图片。
- unavailable_after：指示 Google 在指定日期/时间后不在搜索结果中显示页面。
有关这些规则的详细信息，请参阅Google 有关 robots 元标记的文档。
实施 Meta Robots 标签
使用流行的搜索引擎优化插件（如 Yoast 和 RankMath），在 WordPress 中实施 meta robots 标签非常简单。
使用 Yoast SEO 插件：
- 转到帖子或页面编辑块下方的高级部分。
- 允许搜索引擎在搜索结果中显示此帖吗？"下拉菜单控制页面上的 "noindex "属性。
使用 RankMath 插件
- 在编辑帖子或页面时打开 "高级 "选项卡。
- 选择 "无索引 "选项。
结论
Meta robots 标签是网站管理员控制搜索引擎如何与其网站互动的有力工具。通过正确使用这些标签，您可以改善网站的搜索引擎优化，提高用户体验，并确保只有最相关的页面才会被索引并显示在搜索结果中。