何やら「クロールバジェット」という言葉が最近お客様の一般的に使われているのを聞くということで先週くらいに社内でちょいちょい話題になっていました。
クロールバジェット（Crawl Budget）って何ですか
簡単に言うと、「このサイトは1日あたりこれくらいクロールしますよ」という上限値（Budget）をPageRankなどの指標を元にGoogleが割り当てており、このバジェットが低いとサイトが十分にクロールされません、みたいな雰囲気で使われる言葉です。
耳慣れない方には耳慣れないと思います。かくいう自分も業務上使ったことはないですしそんなに話題になることもありません。たまに海外のフォーラムなどで話題になっていることはありますね。
で、そもそもGoogleの公式で出ている言葉でしたっけと思って英語圏の公式サイト巡ってみましたが現時点ではGoogleの公式情報では確認できていません。Googleの技術的な用語というよりも便利な造語という捉え方をした方が良いかもしれません。
諸情報によると以前行われたWeb系のイベントでGoogleの方が「（クロールバジェットという概念は）Googleには存在しない」と発言もされていたようでして。ということで、まあ言葉としてはなかなか曖昧なものとして捉えておいて良いのかなと考えています。
で、言葉の説明についてはそれくらいにしまして、ここから本題。
あろうがなかろうが、考え方としては重要
仮にクロールバジェットなるものが存在するとした場合、単純に考慮すべきポイントは以下です。
・より多くのクロールバジェットを確保するためには多くのリンク（＝高いPageRankやAuthority）を得ていることが重要
・クロールリソースは無限ではないので、無駄遣いさせない工夫が必要
そしてこれはクロールバジェットなるものがあろうとなかろうと、とても大きなサイトを運営している方にとっては非常に重要なSEOの要素だと認識しています。
クロール絶対量を増やしてサイトを十分にクロールさせる
ページがクロールされるのはクローラーがリンクを辿る中でURLを発見できるからであり、ほとんどリンクを得られていないページと多くのサイトからリンクをされているページでは後者の方がクロール対象になる確率は高くなります。
全体のクロールリソースが一定だとすれば、クロール対象になる確率が高い（＝クロール中にリンクURLが発見される機会が多い）ということはクロールされる絶対量が増えるということです。
つまりクロールの絶対量を増やすのであれば、より多くのリンクを獲得することがそれに直結すると考えて良いでしょう。これはクロールバジェットの考え方と相反することはありませんね。
注意：SEOにおいてリンクを軽視する傾向はダメ
話題がそれるので別途まとめようと思いますが、コンテンツ重視の流れになってきているなか、逆にリンクが軽視されつつあるように思います。これは全くもってダメな流れと思います。
誤解を恐れずに言いますと、今のGoogleはまだまだ“Link is King”を否定できない検索結果です。すなわち今のSEOにおける最重要業務の一つは以前と変わらずリンクを獲得することと断言して良いと思っています。
変わってきているのは、そのプロセスとして人工的な簡易サイトからリンクをもらって順位を上げるような旧来の施策がGoogleには淘汰されつつあり、その分なおさらコンテンツやプロモーションによってリンクを構築していくことが重要になっている、という話です。
リソースを無駄遣いさせないための工夫
仮にクロールリソースが有限だとした場合、全てのURLが確実にクロールされる保証はありません。従って、不要なページにリソースが割かれないよう、重要なページのクロールに集中させる工夫が必要です。
それは例えば無駄な重複コンテンツを発生させない仕組み、理論上URLが無限に生成される仕組みが存在するのであれば運営側でのコントロール、（本当に）クロール不要なコンテンツへのrobots.txtなどの制御、などです。
少なくとも、例えば全くリンクも得られていなくてクロールされる絶対量が十分でないのに、本来クロール不要なコンテンツばかりクローラーがたどっているといった状態は避けるべきでしょう。
注意：不適切なクロール制御は単なる逆効果
クロールを制御することはコンテンツの認識に大きく影響する施策です。テクニカルな意図でrobots.txtを乱用するとかnofollow埋め込みまくるなどは基本的にはほとんどのサイトで考えなくて良いはずです。
あくまでも「クロール不要なURL」とか「制御しきれないほどの大量の重複コンテンツや空ページ量産」などへの制御を場合によっては検討する、レベルで十分と思います。
単純な絶対量（Budget）の割り当て、というよりもクロールされる確率と優先度の問題かなと思いますがどうなんでしょうか
見出しの通りなのですが。絶対量ではなくて「URLが見つけられてクロールされる機会の多さ」「クロールされる優先度」なのかなと。優先度は、「重要な情報どうか」だけではなく「クロールに支障がないか」などによっても決められるんではないかと感じています。
- 獲得しているリンクが多ければ、その分クロールされやすくなります。
- どちらにせよサイトが無限にクロールされることはありませんのでリソースは有限です。
- 有限なリソースなら、より効率よく重要なページがクロールされる工夫をしましょう
ということに加えて、例えばサーバーサイドでエラーが頻発するとか待機時間が鬼のように長い、みたいなことがあればそれは有限なリソースを食いつぶすことにも繋がりますので、そうしたサイトは必然的にクロールの優先度を下げられると考えて良いと思っています（これは体感でめっちゃ感じるところ）。
個人的にはこの（特にサーバサイドの）速度改善もクロール優先度を上げるために必要な施策と思っております。特に新規のサイトでコンテンツ量は多いけどリンクは集まってないし速度も遅い、みたいなサイトだと本当にSEOは全く機能しないなという印象です。
なんだかとりとめないですがここまでまとめますと、
- 多くのリンクを集める
- クロール負荷をかけないよう速度改善する
- クロールを制御する（その必要があれば）
大きなサイトで重要なページのクロール絶対量を増やすために特に重要なポイントはこの3点でしょうか、と思っています。なんだか当たり前な感じになりましたけども。
以上です。ちょっとライトな話題ですが社内用メモとして書いておきました。（この辺り実務レベルでしっかり語れる方で補足頂けるようでしたら是非ご遠慮なくお願いします）