クロールバジェットとは？Googleのクロールの仕組みを解説

ウェブは広すぎて、Googleでもすべては巡回できない

Google検索にページが表示されるには、まずGoogleのプログラムがそのページを読みに来る必要があります。この巡回をクロールと呼び、巡回するプログラムをクローラーと呼びます。

ウェブにあるページはあまりに多く、Googleでもすべてはクロールできません。Googleのクロールバジェット管理ガイドは、次のように説明しています。

The web is a nearly infinite space, exceeding Google’s ability to explore every publicly accessible URL. As a result, there are limits to how much time and resources Google can spend crawling any single site. The allocation of these resources is commonly called a site’s crawl budget.

ウェブはほぼ無限に近い空間であるため、一般公開されているURLをすべて調査するとなれば、Googleの能力を超えることになります。そのため、Googleが1つのサイトのクロールに費やすことができる時間とリソースには限界があります。これらのリソースの割り当ては、通常、サイトのクロールバジェットと呼ばれます。

サーバーの余裕と、Googleがクロールしたい度合いで決まる

ガイドによると、クロールバジェットは「クロール能力の上限」と「クロールの必要性」で決まります。

クロールの際に、サイトのサーバーに負担をかけすぎないよう、Googleがクロールする量に設ける上限があります。通常サーバーでは、リクエストに応じてデータを送信する度に負荷が発生します。この際に、サーバーが安定して速く応答しているかどうかや負荷を掛けすぎていないかをGoogleは計測し上限を設定します。エラーを返すことが続いたり、応答が遅くなったりするとアクセスする回数や同時接続数を減らすことで調整しようとします。

また、クロールの必要性があるかどうかも重要な指標です。

これは、Googleが次のような視点から判断するようです。

• Googleがすでに知っているURL
• インターネット上での人気
• 前回のクロールからの古さ

Googleは、特に指示がなければ、サイトについて知っているURLのすべてか、ほとんどをクロールしようとします。人気の高いURLほど、頻繁にクロールされる傾向があります。また、内容の変化を取りこぼさないよう、一度クロールしたページも読み直しに来ます。サイトの移転でURLが一度に変わった場合もクロールの必要性は高まります。

同じ内容のURLが大量にできると、クロールが無駄になる

ページ数が多いサイトで気をつけたいのは、クロールする必要のないURLにクロールバジェットを使ってしまうことです。

その原因として多いのが、ネットショップの絞り込み検索です。商品を色やサイズで絞り込むたびに、URLの末尾に「?color=red」のような文字が付いた、内容がほぼ同じページができます。Googleの公式ブログによると、サイト所有者から報告される過剰クロールの原因としてもっとも多いのが、この絞り込みの仕組みです。絞り込みのURLについてのガイドには「無用なURLのクロールに時間が費やされると、クローラーが新しく有用なURLにかける時間が少なくなります」とあります。

クロールバジェット管理ガイドは、こうした無駄を減らす方法として、次のようなものを挙げています。

• 同じ内容のページを1つにまとめる
• 重要でないページは、robots.txt（クローラーに巡回してほしくないページを伝えるファイル）で指定する
• 削除したページには、ページが存在しないことを示すステータスコード（サーバーが返す応答の番号）の404か410を返す
• サイトマップ（サイト内のページの一覧をGoogleに伝えるファイル）を最新に保つ
• ページの読み込みを速くする

ページ数が多いサイトや、絞り込み検索のあるネットショップを運営しているなら、同じ内容のURLが生成される仕組みになっていないか、制作会社に一度確認してもらうとよいでしょう。