クロールバジェットとは？
クロールバジェットとは、検索エンジンが特定のウェブサイトをクロールするために割り当てる時間とリソースの量である。言い換えれば、検索エンジンが特定の時間枠内であなたのサイトをクロールできる最大ページ数です。クロールバジェットは検索エンジン（またはクローラー）によって異なります。
グーグルは、クロールの予算について心配する必要はないとしている：
- あなたのサイトには100万以上のユニークページがあり、コンテンツは週に1回程度変更されます。
- 中規模のウェブサイト（1万ページ前後）をお持ちで、頻繁に（毎日）コンテンツを変更されています。
- あなたはニュースサイトを運営している。
- Search Consoleは、あなたのサイトのURLの大部分を "発見 - 現在インデックスされていない "と分類します。
各ウェブサイトは、主に2つの要因に基づいて異なるクロール予算を取得します：
- クロール需要：ページ数、投稿/更新頻度、ページの人気度によって定義される。
- クロールレート制限：サーバーの能力、サイトオーナーがSearch Consoleで設定したクロール制限、検索エンジンのクロール制限、サーバーの応答時間に基づくGoogleの自動調整によって影響を受ける。
なぜクロール予算が重要なのか？
クロールバジェットは、Googlebotがあなたのサイトをクロールできるページ数や、インデックスを更新するためにGooglebotがあなたのウェブページを再クロールできる頻度に影響するため、重要です。Googleは莫大なリソースを持っていますが、インターネット上のすべてのページをクロール（および定期的な再クロール）することはできません。そのため、Googleはウェブサイトにクロールバジェットを割り当てています。
クロールの予算を重要でないページで無駄にしないためにも、ウェブサイトのクロール効率の最適化に注力しましょう。
クロール予算を増やすには？
1.サーバーの高速化とページの読み込み時間の短縮
サーバーの応答時間とページの読み込み速度は、クロールに直接影響します。Googlebotがあなたのサイトをクロールする際、まずリソースをダウンロードし、次にそれらを処理します。サーバーのレスポンスが速ければ、Googlebotはより多くのページをクロールすることができます。
- サーバーの初期応答時間を改善するために、高速で信頼性の高いウェブホスティングサービスとコンテンツデリバリーネットワーク（CDN）を使用します。
- robots.txtを使用して、クリティカルではないが大きなリソースのクロールを防止し、長いリダイレクトチェーンを避け、重くコード化されていないテーマやプラグインを削除することで、ページの読み込み時間を短縮します。
2.リンクを増やす
ページへのリンク数は、Googleにとっての重要度を示している。Googlebotはバックリンクや内部リンクの多いページを優先的にクロールします。ページに外部リンクや内部リンクを増やすことで、クロールの予算を増やしましょう。
- 内部リンクの提案については、RanktrackerのSite Auditのようなツールでウェブサイトを監査してください。
3.リンク切れを修正し、リダイレクトを減らす
リンク切れ（404または410レスポンスコード）やリダイレクトURL（3xx）が多すぎると、サイトのクロール予算が無駄になります。リンク切れや不要なリダイレクトを修正し、クロール予算を最適化しましょう。
- RanktrackerのSite Auditのようなツールを使って、あなたのサイトの壊れたURLやリダイレクトしているURLを見つけましょう。
4.可能であればインデックスAPIを使う
Indexing APIを使用すると、サイトのページを追加、削除、更新したときにGoogleに直接通知することができます。これにより、ページをより速くクロールさせることができます。
- 注：Indexing APIは現在、ライブビデオや求人情報のような特定のユースケースで利用可能です。
よくあるご質問
GooglebotはRobots.txtのクロール遅延を尊重するか？
いいえ、Googlebotはrobots.txtフ ァイルで適用されたクロール遅延設定を尊重しません。
クロール予算はいつ気にするべきか？
クロール予算を気にする必要があるのは、非常に大規模なサイト（100万ページ以上）や、コンテンツの変更が非常に頻繁（毎日）な中規模のウェブサイトを運営している場合です。ほとんどのサイトでは、クロール予算を気にする必要はありません。
ウェブサイトのクロールバジェットを確認するには？
クロール予算の正確な数値はどこにも記載されていません。しかし、Google Search Consoleのクロール統計レポートで、Googleのクロール活動の概要を確認することができます。
ウェブサイトのSEOとクロール効率の改善に関するより詳しい洞察については、Ranktrackerブログをご覧ください。さらに、当社のSEO用語集で主要なSEO用語や概念に精通してください。
