• 学习SEO

什么是HTTP状态代码

  • Felix Rose-Collins
  • 1 min read

介绍

Robots Exclusion Protocol(REP)是一个用于指示机器人的网站管理员文件。这些指示有助于机器人抓取网页,并为各种网站建立索引。这个REP有时被称为Robots.txt。它们被放置在网站服务器目录的最顶层,以发挥最大作用。例如:https://www.123abc.com/robots.txt REP组被用作网络标准,规范机器人的行动和搜索引擎的索引行为。在1994年和1997年之间,最初的REP定义了机器人行为的robots.txt。在1996年,搜索引擎支持额外的REP X-robot标签。搜索引擎使用微格式rel-no follow来处理价值中包含 "follow "的链接。

机器人小抄

要完全阻止网络爬行者

用户代理。* 
不允许。/ 

要阻止特定的网络爬虫进入目标文件夹

User-agent:Googlebot   
不允许。/no-google/   

要阻止特定的网络爬虫进入目标网页

用户-代理。Googlebot   
不允许。/no-google/blocked-page.html
用户-代理。
不允许。   
网站地图: https://www.123abc.com/none-standard-location/sitemap.xml   

排除特定的机器人协议标签

URI,REP标签适用于某些索引器任务,在某些情况下,nosnippet,noarchive和noodpquery引擎或一个搜索查询。用排除标签标记的资源,搜索引擎,如Bing SERP列表显示这些外部链接为禁止的URL。除了爬虫指令,特定的搜索引擎会以不同的方式解释REP标签。这方面的一个例子可以看出,Bing有时会在他们的SERP上将外部参考资料列为禁区。谷歌采取相同的列表,并在他们的SERP上抹去了URL和ODP参考。我们的想法是,X-Robots会推翻与META元素冲突的指令。

###微格式化

特定的HTML因素会在微格式化的索引指令中推翻页面设置。这种编程方法需要技巧和对网络服务器和HTTP协议有非常敏锐的把握。这种协议的一个例子是,一个有特定元素链接的X-Robot标签的页面,说是follow然后rel-nofollow。Robots.txt索引器通常缺乏指令,但有可能设置组索引器的URI,这些URI在网站层面上有一个带侧边脚本的服务器。

###模式匹配

网站管理员仍然可以利用两个独立的表达式来表示页面的排除。这两个字符是星号和美元符号。星号表示可以代表任何字符的组合。美元符号是表示URL的结束。

###不受限制的信息

机器人文件总是公开的,所以要注意,任何人都可以查看附在网页上的机器人文件。它也是网站管理员在服务器上阻止引擎的可访问信息。这些公共文件留下了对用户私人数据的访问,可能包括个人隐私数据。可以添加密码保护,以防止访问者和其他人查看不应该被索引的分类网页。

额外规则

  • 简单的元机器人参数,如index和follow命令,应该只用于防止页面索引和抓取。
  • 危险的机器人肯定会忽略这些命令,因此是一个无用的安全计划。
  • 每个URL只允许一个 "禁止 "行。
  • 每个子域都需要单独的robots文件
  • 机器人的文件名是区分大小写的
  • 空格不分开搜索参数

顶级SEO战术。Robot.txt

封锁页面 - 有几种方法可以防止搜索引擎索引和访问一个网页或域名。

###使用机器人来阻止网页

这种排除法告诉搜索引擎不要抓取该网页,但它仍可能对该网页进行索引,以在SERP列表中显示它。

没有索引的页面屏蔽

这种排除方法告诉搜索引擎,它们可以访问该网页,但不允许显示该URL或将该网页保存为其索引。这是首选的排除方法。

无跟随链接屏蔽页面

这不是一种被支持的策略。搜索引擎仍然可以通过这个命令访问网页。即使搜索引擎不能直接跟踪页面,它也可以通过浏览器分析或其他链接页面来访问内容。

Meta Robots vs. Robots.txt

一个网站的robots.txt文件的例子可以帮助澄清该程序的过程。在这个例子中,机器人文件是封锁目录的。当在谷歌搜索特定的URL时,它显示有2760个页面被禁止进入该目录。在这个例子中,引擎没有抓取这些URL,所以它们不会像传统的列表那样出现。这些页面一旦有了链接,就会积累链接汁。除了它们的排名能力外,它们也将开始从出现在搜索中获得人气和信任。由于这些页面不能成为网站的好处,因为它们没有被抓取。解决这个问题的最好方法是,不要在一个页面上浪费排名权力,谨慎的做法是使用另一种排除法来删除个别页面。编码将显示为:元标签这种方法将表现出比前一种方法更好的性能。

免费试用Ranktracker