タグ: website crawler

Google検索のランクが、企業の浮沈を決める。検索結果の上の方に出ないと、あなたのサイトは訪れる人も途絶え、閑古鳥が鳴く。

では、Googleはどうやって、検索結果の登場順位を決めているのだろう？　それを決めているのは、インターネット上のあらゆるサイトを這いまわって、検索結果の元となるインデックスを作っている、GooglebotというGoogle独自の自動運転ソフト、というかスクリプトだ。このスクリプトは仕様等が公開されていないので、Webサイトの作者が検索エンジンのクローラー(crawler, 這いまわり屋)の特性に合わせたSEOをやるのは、ほぼ不可能だ。

そこで、クラウドサービスとして提供されるBotifyは、あなたのWebサイトを調べて詳細なSEO分析を行い、何をすべきかを指南する。今日のDisrupt NYでデビューしたこのフランスの企業は、すでに720万ドルを調達しており、顧客の中にはeBay, BlaBlaCar, Expediaなどの大物の名も見える。

Botifyは、いくつかの点でこれまでのSEO屋さんとは違っている。

第一に、あなたのサイトのどのページをGoogleがクロールしたかを検出できる。GoogleがWebサイトをクロールすると、そのサイトのサーバーのログに痕跡が残る。Botifyがそのログを見ることができれば、Googleのクローラーがどのページを訪れたかが分かる。

ユーザーはBotifyをクローラーとして利用することもできるが、そのクローラーの能力、一つのWebサイトから訪れる他のWebサイトの数１億5000万は、同社に言わせると世界記録だそうだ。なおユーザーは、自分のサイトのサーバーの能力に合わせって、このクローラーの速度（毎秒10〜200サイト）を指定できる。

CEOのAdrien Menardによると、“Googleがクロールしないページは検索からのトラフィックが生じないので、サイトの売上に貢献しない。Googleのクローラーがそのページを訪れるようにすることが、そのWebサイトの必須の経営課題だ”。

そのためにBotifyが勧める策は、多くのSEOコンサルタントが言うように、そのページのコンテンツを増やすことではなく、“サイト全体の構成を改善して、効率を高める”ことだ。

たとえばそれは、内部的リンクの構造を、Googleのクローラが各ページを訪れやすいように組み替えること。また、各ページをロード時間の短い軽いページにすることも、重要だ。

こういう、密度の濃いSEOは、大きなWebサイトに合っているだろう。Botifyの料金体系もそのことを示唆していて、最低料金が対象URL数500万、月額500ドルだ。エンタープライズプランでは月額1万ドル以上になる。

[原文へ]
（翻訳：iwatani(a.k.a. hiwa））