Google 添加新的 Googlebot 抓取程序：GoogleOther-Image 和 GoogleOther-Video

介绍

谷歌为 Googlebot 家族引入了两个新的网络爬虫：

• 谷歌其他图片

• 谷歌其他视频

这些新的爬虫旨在加强二进制数据的抓取，谷歌表示这将为研发提供支持。

了解人工智能对搜索引擎优化和数字营销的影响。

新履带简介

GoogleOther-Image和GoogleOther-Video 这两个新爬虫是 GoogleOther 的优化版本，分别用于获取图片和视频字节。GoogleOther 最初于 2023 年 4 月添加，供谷歌团队内部用于抓取公共网络，从而为主要的 Googlebot 爬虫释放资源。

了解整合用户生成内容的好处。

谷歌其他图片

GoogleOther-Image是专为获取可公开访问的图片 URL 而定制的 GoogleOther 版本。根据文档，它将在GoogleOther-Image和GoogleOther 的用户代理令牌下运行。完整的用户代理字符串为GoogleOther-Image/1.0。

探索提高内容准确性的策略。

谷歌其他视频

GoogleOther-Video是 GoogleOther 的一个版本，用于获取可公开访问的视频 URL。与 GoogleOther-Image 类似，它将使用GoogleOther-Video和GoogleOther 的用户代理标记。完整的用户代理字符串为GoogleOther-Video/1.0。

了解人工智能在数字广告领域的未来。

新履带的目的

谷歌推出这些新的爬虫是为了更好地支持二进制数据的抓取，这些数据可用于研究和开发。这一举措旨在提高谷歌高效处理图像和视频数据的能力。

了解指导方针在人工智能驱动的营销中的作用。

谷歌爬虫概述

谷歌使用各种类型的爬虫，包括

• 谷歌机器人：谷歌搜索产品的主要爬虫，始终遵守robots.txt规则。

• 特例爬虫：这些爬虫执行特定功能（如 AdsBot），可能遵守也可能不遵守robots.txt规则。

• 用户触发取件器：由最终用户触发获取的工具和产品功能。例如，Google Site Verifier 或一些 Google Search Console 工具会根据用户操作发送 Google 抓取页面。

了解如何利用人工智能创建高质量内容。

Google IP 地址范围和 DNS 掩码

谷歌列出了每种爬虫的 IP 地址范围和反向 DNS 屏蔽：

• Googlebot: googlebot.json(crawl----.googlebot.com or geo-crawl----.geo.googlebot.com)

• 特例爬虫：special-crawlers.json(rate-limited-proxy----.google.com)

• 用户触发式获取器：user-triggered-fetchers.json(---.gae.googleusercontent.com)

探索广告中的人工智能伦理。

为什么这很重要

对于那些监控其网站上的爬行活动和机器人活动的人来说，将这些新的 GoogleOther 爬虫识别为合法的 Googlelebots 至关重要。当您在日志文件中看到这些爬虫的活动时，您可以放心，它们是真实的，是 Google 为提高搜索和数据处理能力所做努力的一部分。

了解人工智能工具中内容限制的重要性。