「Webサイトのクローラビリティを測るために重要な10のチェックポイント」に続き、今回もクロール関連の記事となります。前回の記事は、クロール・インデックスの健全性を測るための指標をまとめていました。
今回の記事は、「そもそもクロールバジェットとは何か」という説明に加え、クロールバジェットに影響しうる技術的な修正などをメインにまとめられています。
どちらかと言えば初心者の方向けの記事ですが、改めて確認しておきたい方にも有益な内容となっております。
しばしば見落とされてしまうものだが、クロールバジェットはSEOの主要なコンセプトの1つである。
SEOの専門家にとっては、解決すべき課題が常にあり、クロールバジェットの最適化は後回しにされてしまうことがあるのだ。
結論から言うと、クロールバジェットは最適化の対象となりうるし、なるべきだ。
この記事を読むことで、あなたは下記の項目を学ぶことができるだろう。
- クロールバジェットを改善する方法
- ここ数年間で変化したクロールバジェットにおける変化
クロールバジェットとは何か
クロールバジェットがそもそも何を意味するのか忘れてしまった方々のために、ここではその内容を簡単に振り返ってみよう。
クロールバジェットは、検索エンジンのクローラー（スパイダー、もしくは、ボットとも呼ばれる）があなたのドメイン内のページに訪れる頻度である。
この頻度は非常に絶妙なバランスが取られている。Googleがあなたのサーバーに大きな負荷をかけることなく、かつ、あなたのドメイン内のすべてのページを理解する、といったバランスだ。
クロールバジェットの最適化とは、検索エンジンのボットがあなたのページに訪れる頻度を高めることを目的とした、一連の作業の総称と言える。
検索エンジンがサイトにより多く訪れてくれれば、ページが更新されてからすばやくインデックスされるようになる。
結果として、クロールバジェットの最適化は、「検索結果の順位に反映されるまでの期間が短くなる」という効果をもたらしてくれる。
クロールバジェットの最適化の意味を理解することができれば、それがどれほど大事な施策であることが理解できるだろう。
それでは、詳細を説明していこう。
なぜ、クロールバジェットの最適化は見落とされてしまうのか
この質問に答えるために、Googleの公式ブログの記事を読んでみよう。
Googleも説明している通り、クロールそれ自体はランキング要素ではない。
この事実だけで、クロールバジェットについて考えをやめてしまうSEO担当者もいるだろう。
多くのSEO担当者にとって、「ランキング要素ではない」は「私の問題ではない」と同義であるからだ。
しかし、私はそういった意見に対し、心から反対する。
Googleのゲイリー氏のコメントも見てみよう。彼は、「何百万ページ以上の巨大なWebサイトにとっては、クロールバジェットの管理は意味のあるものだ」と述べているのである。
中規模サイトのSEO担当者の場合、クロールバジェットについてそれほど神経質になる必要はないだろう。
一方、巨大なWebサイトのSEO担当者においては、サイト内のコンテンツを削除することで、ドメイン全体としてはプラスとなる場合もある。
しかし、ご存知の通り、SEOとは1つの大きな要素を変更すれば結果が得られるといったものではない。
SEOは、小さい要素の変化を積み重ねていくものであり、非常に多くの指標に気を配らなければならないのである。
概して、ウェブマスター（SEO担当者）の仕事とは、数千もの細かい項目が可能な限り最適化されている状態を作ることなのだ。
さらに、それ自体はクロールの主な要素ではないが、Googleのジョン・ミューラー氏も、「Webサイト全体を最適化することは、結果としてコンバージョンの増加に寄与する可能性がある」と述べている。
こうした背景から、私は、「何らかの施策を打たなければ、あなたのサイトのクロールバジェットに悪影響を及ぼすであろう」と確信している。
クロールバジェットの最適化の方法
これから紹介する方法の中には、非常に重要となる項目もあれば、ほぼ関連性の無いほどに、その常用性が変化した項目もある。
それでも、Webサイトの健全性を脅かす「常に疑うべき項目」には気を配る必要がある。
1.robots.txtで重要なページへのクロールを許可する
これについては疑いの余地もないし、また、最初に取り掛かるべき最も重要な項目であることは確かだろう。
robots.txtの管理は手動、もしくは、ツールで行うことができる。
可能であれば、ツールを使用することを勧めたい。ツールを使用すれば、シンプルかつ効率的に管理することが可能であるからだ。
あなたが選択したツールにrobots.txtを登録すれば、クロールの許可とブロックをすぐに設定することができる。そして、アウトプットされたrobots.txtをアップロードすればいいのだ。
手動でrobots.txtの管理を行う方も多いだろう。しかし、非常に巨大なWebサイトのSEOを担当してきた私の意見としては、細かい調整が必要となるため、ツールを使用した方が確実に良いと考えている。
2.リダイレクトチェーンを監視する
Webサイトの健全性を高めるためには、王道の方法である。
理想を言えば、ドメイン全体で1つのリダイレクトチェーンも発生させるべきではない。
ただし、巨大なWebサイトではほぼ不可能だろう。301や302リダイレクトはどうしても発生してしまう。
しかしながら、リダイレクトチェーンはクロールの上限に悪影響を与える。最悪の場合、インデックスされるべきページに到達する前に、検索エンジンがクロールをストップしてしまうことも考えられる。
1つや2つのリダイレクトは大きな問題ではない。しかし、リダイレクトチェーンは、あらゆるSEO担当者が気を配るべき項目だ。
3.可能な場合はすべて、HTMLを使用する
Googleに限って言えば、検索エンジンによるJavaScriptのクロール精度は向上している。しかし、FlashとXMLのクロールとインデックスには、まだ改善の余地がある。
一方で、他の検索エンジンは、まだそのレベルに達していない。
そのため、個人的には、可能な限りHTMLを使用すべきだと考えている。
こうすれば、あらゆるクローラーにおける弊害を防ぐことができるだろう。
4.HTTPのエラーでクロールバジェットを消費させない
404と410を返すページは、クロールバジェットを消費してしまう。
クロールバジェットに大きな影響を与えずとも、ユーザー体験を損なうだろう。
そのため、4XXと5XXのエラーを修正することは、常によい結果を生むと言える。
この場合も、私はSEO監査用のツールを使用することを勧めたい。SE RankingとScreaming Frogは、非常に優れたツールだ。
5.URLパラメーターに気を配る
分離したページは、別々のページとしてカウントされ、無価値なクロールを発生させてしまうことを覚えておこう。
GoogleにURLパラメーターの存在を知らせることは、GoogleとWebサイトの両方にとって良い結果を生む。クロールバジェットの消費を防ぎ、重複コンテンツが発生する懸念を無くすことができるのだ。
Google Search Consoleを活用し、Googleにその状況を伝えよう。
6.サイトマップを更新する
XMLサイトマップの改善も、GoogleとWebサイトの両方にとって良い結果を生む。
サイトマップを送信することで、ボットによる内部リンクの理解をより良く、簡単にすることができる。
サイトマップには、正規URLのみを記載するようにしよう。また、robots.txtの最新版と一貫性があることを確認しておこう。
7.hreflangタグを設定する
ローカライズ版のページを分析するために、クローラーはhreflangタグを参照する。可能な限り、あなたのページのローカライズ版のページをGoogleに伝えるべきである。
※参考：ページのローカライズ版について Google に知らせる（Search Consoleヘルプ）
まずは、ページのヘッダーに、
<link rel="alternate" hreflang="lang_code" href="url_of_page" />
を記載しよう。”lang_code”には、サポートされている言語が記載される。
※参照：https://support.google.com/webmasters/answer/189077?hl=ja#language-codes
対象のページ全てに要素を使用しよう。こうすることで、ローカライズ版のページの存在を伝えることができる。
まとめ
もし、あなたがクロールバジェットの最適化が重要であるかどうか迷っている場合、その答えは、明らかにYesである。
クロールバジェットの最適化は、あらゆるSEO担当者が常に気を配るべき、重要な項目なのだ。
今回の記事がクロールバジェットの最適化の手助けとなり、SEOのパフォーマンスの改善に役立つことを祈っている。
幸運を！
クロールバジェットの概念のわかりやすい説明から、確実に気を配るべきポイントをまとめた記事でした。
冒頭にもある通り、クロールバジェットの最適化はしばしば見落とされてしまう項目です。
しかし、検索エンジンのクロールについての知識は、SEOのキホンのキということもできます。どのような規模のサイトであれ、最低限の知識と対策はしておきたいものですね。
メールマガジン購読のご案内
SEO Japanでは、SEOやCRO(コンバージョン率最適化)を中心としたメールマガジンを２週に一度、木曜日に配信しています。
担当者のコラム(読み物)や、質の高い記事をピックアップして配信していますので、ぜひご購読ください。
なお、noteにてバックナンバーも公開していますので、ぜひ試し読みしていただければと思います。
