タグ: 技術論

何やら「クロールバジェット」という言葉が最近お客様の一般的に使われているのを聞くということで先週くらいに社内でちょいちょい話題になっていました。

クロールバジェット（Crawl Budget）って何ですか

簡単に言うと、「このサイトは1日あたりこれくらいクロールしますよ」という上限値（Budget）をPageRankなどの指標を元にGoogleが割り当てており、このバジェットが低いとサイトが十分にクロールされません、みたいな雰囲気で使われる言葉です。

耳慣れない方には耳慣れないと思います。かくいう自分も業務上使ったことはないですしそんなに話題になることもありません。たまに海外のフォーラムなどで話題になっていることはありますね。

で、そもそもGoogleの公式で出ている言葉でしたっけと思って英語圏の公式サイト巡ってみましたが現時点ではGoogleの公式情報では確認できていません。Googleの技術的な用語というよりも便利な造語という捉え方をした方が良いかもしれません。

諸情報によると以前行われたWeb系のイベントでGoogleの方が「（クロールバジェットという概念は）Googleには存在しない」と発言もされていたようでして。ということで、まあ言葉としてはなかなか曖昧なものとして捉えておいて良いのかなと考えています。

で、言葉の説明についてはそれくらいにしまして、ここから本題。

あろうがなかろうが、考え方としては重要

仮にクロールバジェットなるものが存在するとした場合、単純に考慮すべきポイントは以下です。

・より多くのクロールバジェットを確保するためには多くのリンク（＝高いPageRankやAuthority）を得ていることが重要
・クロールリソースは無限ではないので、無駄遣いさせない工夫が必要

そしてこれはクロールバジェットなるものがあろうとなかろうと、とても大きなサイトを運営している方にとっては非常に重要なSEOの要素だと認識しています。

クロール絶対量を増やしてサイトを十分にクロールさせる

ページがクロールされるのはクローラーがリンクを辿る中でURLを発見できるからであり、ほとんどリンクを得られていないページと多くのサイトからリンクをされているページでは後者の方がクロール対象になる確率は高くなります。

全体のクロールリソースが一定だとすれば、クロール対象になる確率が高い（＝クロール中にリンクURLが発見される機会が多い）ということはクロールされる絶対量が増えるということです。

つまりクロールの絶対量を増やすのであれば、より多くのリンクを獲得することがそれに直結すると考えて良いでしょう。これはクロールバジェットの考え方と相反することはありませんね。

注意：SEOにおいてリンクを軽視する傾向はダメ

話題がそれるので別途まとめようと思いますが、コンテンツ重視の流れになってきているなか、逆にリンクが軽視されつつあるように思います。これは全くもってダメな流れと思います。

誤解を恐れずに言いますと、今のGoogleはまだまだ“Link is King”を否定できない検索結果です。すなわち今のSEOにおける最重要業務の一つは以前と変わらずリンクを獲得することと断言して良いと思っています。

変わってきているのは、そのプロセスとして人工的な簡易サイトからリンクをもらって順位を上げるような旧来の施策がGoogleには淘汰されつつあり、その分なおさらコンテンツやプロモーションによってリンクを構築していくことが重要になっている、という話です。

リソースを無駄遣いさせないための工夫

仮にクロールリソースが有限だとした場合、全てのURLが確実にクロールされる保証はありません。従って、不要なページにリソースが割かれないよう、重要なページのクロールに集中させる工夫が必要です。

それは例えば無駄な重複コンテンツを発生させない仕組み、理論上URLが無限に生成される仕組みが存在するのであれば運営側でのコントロール、（本当に）クロール不要なコンテンツへのrobots.txtなどの制御、などです。

少なくとも、例えば全くリンクも得られていなくてクロールされる絶対量が十分でないのに、本来クロール不要なコンテンツばかりクローラーがたどっているといった状態は避けるべきでしょう。

注意：不適切なクロール制御は単なる逆効果

クロールを制御することはコンテンツの認識に大きく影響する施策です。テクニカルな意図でrobots.txtを乱用するとかnofollow埋め込みまくるなどは基本的にはほとんどのサイトで考えなくて良いはずです。

あくまでも「クロール不要なURL」とか「制御しきれないほどの大量の重複コンテンツや空ページ量産」などへの制御を場合によっては検討する、レベルで十分と思います。

単純な絶対量（Budget）の割り当て、というよりもクロールされる確率と優先度の問題かなと思いますがどうなんでしょうか

見出しの通りなのですが。絶対量ではなくて「URLが見つけられてクロールされる機会の多さ」「クロールされる優先度」なのかなと。優先度は、「重要な情報どうか」だけではなく「クロールに支障がないか」などによっても決められるんではないかと感じています。

• 獲得しているリンクが多ければ、その分クロールされやすくなります。
• どちらにせよサイトが無限にクロールされることはありませんのでリソースは有限です。
• 有限なリソースなら、より効率よく重要なページがクロールされる工夫をしましょう

ということに加えて、例えばサーバーサイドでエラーが頻発するとか待機時間が鬼のように長い、みたいなことがあればそれは有限なリソースを食いつぶすことにも繋がりますので、そうしたサイトは必然的にクロールの優先度を下げられると考えて良いと思っています（これは体感でめっちゃ感じるところ）。

個人的にはこの（特にサーバサイドの）速度改善もクロール優先度を上げるために必要な施策と思っております。特に新規のサイトでコンテンツ量は多いけどリンクは集まってないし速度も遅い、みたいなサイトだと本当にSEOは全く機能しないなという印象です。

なんだかとりとめないですがここまでまとめますと、

• 多くのリンクを集める
• クロール負荷をかけないよう速度改善する
• クロールを制御する（その必要があれば）

大きなサイトで重要なページのクロール絶対量を増やすために特に重要なポイントはこの3点でしょうか、と思っています。なんだか当たり前な感じになりましたけども。

以上です。ちょっとライトな話題ですが社内用メモとして書いておきました。（この辺り実務レベルでしっかり語れる方で補足頂けるようでしたら是非ご遠慮なくお願いします）

同じ”ランキング”に関わるテーマでも、今回はiPhoneやiPadを代表とするiOSアプリを主題とした話題です。つまりGoogleでの検索ではなく、「App Store」の中の話です。とりわけ新情報というわけではありませんが、「本格的な動きが見られた」という意味では新しいかなと。

App Storeのランキング操作に関わる仕組みを持つiOSアプリがゴッソリとストアから排除されるように規制強化

ランキングの人為的な操作を排除することでユーザーの利便性の向上を図りたいのは、なにもGoogleだけではありません。ランキングの品質改善は、ユーザーにランキングを提示する仕組みを持つ多くのプラットフォームにとって、避けては通れない課題の一つなのです。

Appleのアプリストア「App Store」でも、ランキングの公正化のための取り組みとして、人為的にランクの操作をする目的のプロモーションを排除する動きが厳しくなっているということがつい先日、話題になりました。まとまっている記事としてはこのようなところをご覧頂ければと思います。

• ビデオを見たりソーシャルな共有で“ごほうび”をくれるアプリはApp Storeから締め出しへ…iOS 8の大改革
• Apple、アプリDLを推奨する目的でゲーム内アイテムの提供を禁止する規約を厳密に運用し始める。広告を使用する多くのアプリに影響する模様（訂正あり）
• Appleのアプリ内広告などに関する規約厳格化の続報。すでにリワード付き広告のリジェクトを実施中。

※2つ目、3つ目のURLについては、訂正も入れられていますが「規約がずいぶん厳しくなった」ではなくて「もともと言われてたことが本格的に実行されてきているようです」という意図ですね。タイトル内の「規約厳格化」の表記で誤解する人も中にはいそうでしたので、念のため補足。

“記事の公開時、「規約を発表」とありましたが、「すでにある規約を厳密に運用し始めた」の誤りでした。”

“以前からAppleはリワード付きの広告を禁止していた。しかし、実際には規約は厳格に運用されず、「厳密には違反しているようだが、何も言われない」という状況になっていた。”

 
さて、挙がっている話題をまとめますが、

“規制の対象となるのは、報奨で誘ってビデオの視聴をすすめるツール、ソーシャルに共有するとおまけがもらえるもの、プレイしているゲームの中でほかのアプリを見つけさせるもの、などだ。この規制はアプリ業界全体に影響を及ぼし、アプリの成長や市場拡大のためにこれまで一般的に使われていた方法を“リセットする”効果を持つだろう。”
ビデオを見たりソーシャルな共有で“ごほうび”をくれるアプリはApp Storeから締め出しへ…iOS 8の大改革

ということで、何かしらのインセンティブ（報酬）と引き換えにユーザーに何らかのかアクション（広告の閲覧、アプリのインストール、Facebookでのシェアなど）を求める仕組みを持つアプリは、アプリストアからリジェクトされる、つまりストアに掲載されなくなるということですので、その間は一切新規のインストールを獲得出来ません。重めです。

そういう規制がここにきて本格的に運用され始めたようです、というのが今回の話題の主旨となります。ここからは、この話題を背景から掘り下げて行きましょう。

App Storeの人気ランキングってどうやって決まるの

Appleのアプリストア「App Store」は、利用したことがある方は分かると思いますが、アプリの人気ランキングには、「総合」「有料アプリ」「無料アプリ」のような全体的なランキングと、「仕事効率化」「ビジネス」のようなカテゴリ毎のランキングが存在します。

こうしたランキング決定ルールについてはGoogleと同様公表されてはおりませんが、やはり「一定期間内にどれだけ多くの人がインストールしたか」という要素は大きいようです。

そして、iOSでアプリをインストールするユーザーのうち、App Storeの人気ランキングを参考にインストールするアプリを選ぶユーザーはやはり多く存在します。

従って、「一定期間のうちにどれだけインストールされるか」でランキングが上がるか上がらないかが決まり、ランキングが上がればその後のインストールの促進にもなるわけです。

つまり、iOSアプリにおいて継続的にインストールを増やすために、

• 短期間でのインストールを増やし、人気ランキング上位に食い込む
• App Storeユーザーへのリーチが増え、オーガニックなインストールも増える
• その後も継続的に一定量のインストールを獲得し続け、ランキングを維持する

大きくこのような施策が一般的に行われています。

従って、まずは「短期間でのインストール促進」というのはこの流れの起点となることですので、ここが上手くいくかどうかがアプリマーケティングの鍵を握る、と言っても過言ではない状態でした。

何かしらの報酬を対価としてアプリのインストールを促進するプロモーションが普及

「何かしらの報酬を対価としてアプリのインストールを促進するプロモーション」て何やねん、ということですが、砕けて言えば「ここからこのアプリをインストールしてくれたら、コイン○枚プレゼント！」みたいなやつです。

逆に、「コイン○枚あげるから、その代わりこのアプリインストールしてよ」とも言えますね。

そしてこういう形式でインストールを増やしまくったアプリが人気ランキング上位にいるというのは、何か本質的な「人気ランキング」と言うには違和感ありますよね、というのはWeb検索に関わる仕事をされている方であれば慣れ親しんだ文脈だと思います。

また直接的なインストール促進以外にも、同じような意図で、ポジティブなレビューの投稿やソーシャルメディアでのシェアを報酬付きで促すようなプロモーションも広く行われています。

とにかく、このようなランキングの人為的な操作につながるような行為を何かしらの報酬を対価としてユーザーに促すような仕組みについては、実はもとから規制するとされていました。

しかし、Googleのかつてのガイドラインと同じく、「そんなこと言ったっていくらでもやれちゃうし、やってるやつたくさんいるし、現にランキング上がりまくりじゃん」状態であった、ということですね。

Google検索とApp Storeの違い

Google検索ランキングとの大きな違いとして、掲載されているコンテンツ（アプリ）は全てAppleの規定に基づく人的な審査を通過したものですので、Web検索よりも掲載時点でのコンテンツ品質をある程度は担保しやすい、という点が挙げられるかなと（App Storeの場合は審査時に体裁整えて通してしまえば、、という抜け道はあるのでしょうけど、さすがにいずれはその辺も対応されるかと思いますし）。

また、それに付随し、コンテンツ量はGoogleのように”兆”とかの規模にはなり得ませんので、あくまでアナログな規制であっても機能しやすいという点も今回の話題には直結します。（ちなみにApp Storeの場合は特定の仕組みを自動検出する精度とかはどうなんでしょうかね？）

したがって、Googleのようなアルゴリズム依存ではなく、プラットフォーム側の運用ルールをどのように引くか、どのように運用するか、という改善のみで大きく規制を加速することが可能ということです。

その前提で、Google検索のリンク売買のアレと比較すると

若干こじつけだったりしますが概ねこんな対比は分かりやすいかなと思います。

という感じですね。Googleに慣れている方であれば特に違和感なく飲み込める話題だと思います。

今回のケースはGoogleのリンク売買の例に例えれば「リンクを売っているサイトは問答無用でインデックス削除ね（＝検索結果に表示されなくなるよ）」ということになりますので、Googleで言えば最も重度のペナルティを、割とバシバシ行っているということです。

現実には、Googleのインデックス削除は、本当に低品質なサイト（アフィリエイトリンクばっかりとかリンク提供以外の目的がないとか）を除いては、よほどのことがない限りは一般的なサイトでそう起こりうるものではないのですが、Appleの場合はその辺は容赦ないみたいですね。

しかもGoogle検索で言えば、大事に作ってきたメインのサイトがそうなる、とかそういうレベルのことですので、アプリ関係者としてはそれなりに大きい変更と言えそうです。

ちなみに：実際この規制運用の強化によりどうなったか

ちょっと又聞きの情報なので不確かではありますが（関係者の方、もしも不適切でしたら訂正追記しますのでご指摘頂けますと幸いです）、結構色々話は聞きます。

結論から言えば、とりあえず、Appleは割と本気出してきているようです。

少なくとも上記の規制の対象と言われている

• インセンティブ付きで他アプリのインストールを促進する仕組みを持つアプリ
• インセンティブ付きでソーシャル拡散等を促す仕組みを持つアプリ

のような代表的な規制対象の仕組みを持つアプリは割とガシガシリジェクトされているみたいです。

また、ユーザーにインセンティブ付与が有りだろうと無しだろうと、アプリの中で他のアプリインストールを推奨するようなものも含めてアウトになっている的な噂もあります(これはあくまで噂)。

インセンティブの有無に関わらず、アプリの中で他所のアプリをプロモーションするのはヤメレ、という意図がそもそもあるのかもしれません。ぶっちゃけそれくらいはええやんとか思ってしまいますが。普通に広告してるだけだし。。（※もちろんそれ以外でアプリ内に表示される通常の広告ネットワークなどは特に規制の対象ではありません）

ちなみに、Webを通じたインセンティブ付与の広告とかについては特に規制とかないんですけどね。アプリの中にそういう仕組みを持ってたらダメよ、ということなので。

まとめ

アプリの関係者の方々にとっては何だかんだ言ってもそれなりにはインパクトのある規制強化なのではないかなと。少なくともGoogleがここ何年もかけて取り組んできた規制レベルを、それに比べれば結構な短期間でズバンと進めてきたのが今のAppleということですので。

実際には、監視をかいくぐってうまいことやることが出来ないわけではないと思いますので、どこまで厳密にこの規制をAppleが運用していけるか分かりませんが、Googleのそれに比べれば現実的に運営側の努力と工夫である程度対応できるコンテンツ量ではないかな、などと考えますと、

アプリマーケティングの世界では、定められたルールの中でちゃんとプロモーションするにはどうしたらよいか、というのを考えていかなきゃ行けないよね、がキレイ事ではない時代はそんなに遠くないかもしれないですね。

ともかく、GoogleにしてもAppleにしても、特定のプラットフォームに依存したビジネスを行うにあたっては、プラットフォームが許容する中でどうやって勝っていくか、を考えるのは普通です。

その中で、現時点での勝ちパターンを追求することで勝てている勝負も多くあると思いますが、一方で、プラットフォーム自体のルールや仕様の変更によりその勝ちパターンが一気に破綻する、といった可能性は常に考慮しておかないといけませんよね。

ということで、普段と違った話題をお伝えしました。別事業でアプリ紹介サービスを運営しておりますのでたまにはアプリ界隈の話題も良いかなと。（長い割に薄い内容ですみません）

最後に：SEOセミナーのお知らせ

すみませんただの告知でしかないのですが6月24日(火)に僕とグループマネージャーの實川の2人でセミナーやります。Googleのこれまでとこれから、SEOのこれまでとこれから、実際に業務としては何をしていくべきか、事例を交えてポイントに分けてお話します。ご興味ある方は是非。
セミナー詳細：“リンクを買わないSEO”を成功させるための、Web担当者向け実践SEOセミナー

「外部サイトへのリンクには、PageRankが外に流出するのを防ぐために”nofollow”を入れるように、とSEOの人からアドバイスをもらったことがあり、実践している」という方が今でも多いように思います。というか多いです。

無意味です

ほとんどの場合、大切なPageRankの流れを意味もなく断ち切っているにすぎず、プラスになることはなくマイナスでしかありません。この記事で紹介するような事情が無い限りは外すことをおすすめします。

まず前提として、ユーザー投稿型のサイトなどではない一般的な企業サイトを運営していて、nofollowをテクニカルに駆使する必要のあるシーンというのはごく限られたケースだという認識です。正直ほとんど使いドコロはないと思っています。

普通はほとんど使わなくて良いものですし、個人的にもここ数年でnofollow付与を提案したケースは自社で運営するメディアも含めて数えるほどしかありません。（某氏のように大規模なサイトのSEOばかりをガッツリ見ている人はそうではないと思いますがそんな人、何人もいないと思います。）

ということで記事タイトルについての話はもう完了したので、ここからはrel=”nofollow”について解説します。

rel=”nofollow”の意味

nofollowって何よ、という方に簡単に解説しておくと、「nofollow指定されたリンク先にPageRankを渡さない」「nofollow指定されたリンクをクロールの対象リストから除外する」というものです。簡単にいえばSEO上そのリンクの価値がなくなるということですね。

nofollowが作られた目的は、検索エンジンのランキング評価対象としたくないページへのリンクにPageRankをを受け渡さないようにする、といったことを簡便に実現するためです。

もしnofollowがなければ、例えばリンクをクロールさせたくない場合、robots.txtでブロックされた中間ページにリンクし、中間ページから本来リンクしたいページのURLにリダイレクトをする、など何かしらの面倒な作業が必要となります。

なぜnofollowが必要になったか

その当時に検索業界にいたわけではありませんでしたので、その時代を生きていた方から何か補足がありましたら是非お願いしたいのですが、考えられる点としては主に以下のものかなと。

SEOを目的とした有料リンク掲載への対策

ユーザーが（何かの対価としてではなく）自発的に掲載したリンクに限定して評価対象としないと本来のPageRankの概念それ自体が意図した通りに機能しなくなります。

そこで、Googleとしては「金銭などを対価として掲載するリンクにはnofollowを付与する」というルールを設けることで、有料リンク等による順位操作を規制しようとしたことが背景としてあげられると思います。

ユーザー生成型コンテンツ(UGC)の普及に伴う、”リンク先ページの信頼度をサイト運営者が保証できないリンク”のクロール制御

1つ前の項目とほとんど同じじゃないかと思うフシもありますが。

Wikipediaを代表として、Yahoo!知恵袋や無料ブログサービスなどでは外部サイトへのリンクに自動的にnofollowが付与されるようになっています。身近なところではtwitterの投稿のリンクも同様です。nofollowが付与されているので、これらのサイトにリンクが掲載されたとしても直接的なSEOの価値はありません。

もともと、大半のリンクはサイト運営者の意思の元で掲載されていたはずです。しかしUGCが普及し、サイト内にユーザーが自由にコンテンツを投稿したりリンクを掲載できたりするようになると、サイトへの誘導目的や、SEO目的のリンクの掲載も一定割合発生します。

それがまともなサイトならまだしも、アダルトサイトやウィルスを拡散させるためのサイトでないとも言い切れません。そうしたサイトへのリンクを検索エンジンが評価対象＆クロール対象としない、とすることで、少なくともSEO目的のリンクの投稿の価値をなくすことが出来ます。

まとめてしまえば、SEOを目的としたリンクへの対処法として、と言えそうですが。

PageRankスカルプティング

僕がこの業界に関わりだした2009年には、ギリギリそういうテクニックがありました。最近SEOの勉強を始めた人だとあまり聞き慣れないかもしれません。

イメージだけ説明すると、”100″のPageRankを持ったページがあったとして、そのページから10本のリンクが均等に掲載されていた場合、各ページに10ずつのPageRankが流れます（あくまでもイメージです）。

そのうち2本のリンクにnofollowを付与することで、PageRankを受け渡す対象が8本になりますね。すると、各ページには12.5ずつのPageRankが受け渡されることになります。つまり8本に渡るPageRankが増えるのです。

このように、nofollowを活用して重要なページにPageRankを集中させようとするテクニックを、PageRankスカルプティングと呼びました。

でもこれは既に2009年時点で機能していません。あるリンクにnofollowを掲載した場合、PageRankを破棄することになり、そのほかのリンクに充当されるわけではない、という仕様変更が行われたためです。

変更の意図としては、もともとサイトのPageRankを調整するためのテクニックとしてnofollowが作られたわけではなく、ユーザーにとっては無関係な施策でしたので、そういう使われ方をされることは本来の目的と異なる、という判断のもとの変更という話だったのかもしれません。

どちらにせよ現時点では、nofollowを付与すればPageRankが重要なページに集中します、ではなくなっているのです。

nofollowはいつどんな時に使うか？

一部曖昧なところもありますがこのようなイメージで問題ありません。

ユーザーがリンクを自由に掲載できる場合の不正リンクへの対策

先述の通り、ユーザーが投稿できるタイプのコンテンツで、誰でもリンクを掲載することが許可されている場合、信頼できないサイトへリンクが向けられる可能性があるため（出会い系やアダルトサイトなどのスパムコメントなどが良い例）、それをGoogleに辿らせない＆評価の対象としないために使います。

昔はUGCがここまで普及していたのでほぼ全てのリンクはサイト管理者の制御のもとで掲載されていましたが、UGCが普及したことで誰でも簡単にリンクを貼ることが出来るようになり、その中で自作自演やスパムなどが増えてくると、外部サイトへのリンクには一律でnofollowなどの対応を取らざるを得ません。

※事実、近年では不正リンク対策として、有料ディレクトリ登録サービスや無料ブログサービスの外部サイトへのリンクの多くもnofollowを付与するように変更されてきています。

検索エンジンがデータ収集する価値のないページへのクロールの制御

よく言われているのはログインページなど、Googlebotがそのコンテンツの中身を収集出来ない場合です。砕けて言えば「そこクロールしても何も見れないから他のとこ見に行ってちょうだい」という意味ですね。

それであれば使う意味は確かにあるような気がしますが、いちいちそんな細かいこと考える必要もないんじゃないでしょうかとも思っています。大きな効果があるとは思えませんし。

あとこの意図で使うとすると、ほとんどのサイトは意識する必要はないと思うのですが、大規模なサイトを運営していて、本来クロール不要なURLへのリンクが不可避に大量に生成されるがrobots.txtでブロックする必要がない、或いはrobots.txtでリアルタイムに弾いていくのが運用上現実的ではない、などの場合でしょうか。

※ただし不要なはずのURLが大量に生成されるというのは、それはnoindexとかnofollowでどうこうじゃなくてその仕様を適切な形に変更すれば良い、というケースも割合多そうですが。。

よほどのことが無ければ、ほとんどの場合はウェブマスターツールのパラメータ制御機能で上手く調整すれば良いレベルだと感じています。（すみません、ここは正直言いきる自信がないです。）

Google的には”真っ黒”な完全アウトサイダーなサイトへリンクをせざるを得ない場合

これは正直ちょっと自分でも確信はなくて、賛否両論あると思うのですが。

仮に自社の関連サイトだったとしても、リンク先のページが大規模な不正リンクプログラムなどの中心にいる場合、或いは重度のペナルティを受けている場合など、リンクを掲載することでそのサイトとの（リンクの繋がりとしての）距離が近くなってしまいます。

でも関連サイトですし、Google的に真っ黒であることとユーザーに見せたくないことは全く違いますので、リンクを外す理由にはなりません。放置でも良いのかもしれませんが、個人的にはこういうリンクの繋がりの全体像を想像するとこれはちょっと気持ち悪いし嫌なのですね。

それを避けるためにnofollowを掲載するよう提案したことはあります。

どのケースも多少の効果はあったように見えましたが、正直言えば因果関係は曖昧ですのでここは参考程度にして下さい。冒頭でも書きましたが、ほとんどの場合は有効なPageRankを破棄することでもありますのでこんなことしない方が良いのは間違いありません。

とまあ、いくつか挙げてみましたが、少なくとも一般的な中小規模の商用サイトでnofollowを当然のように使う、どこでnofollowを付与するかをじっくり考える、などということはほとんど無いなあとは思っています。

なぜ、テクニカルなことをしたがるのか

ドラクエで新しい呪文を覚えると、誰もが”絶対に必要ないけど使わざるを得ない”みたいな精神状態に追い込まれます。

例えば敵グループが複数に分かれていて、どう考えても賢者としてはヒャダインかイオラあたりで対応するようなシーンなのに、1ターン目でなぜか敵単体に向かって新しく覚えたベギラゴンを唱えてしまうなどの事例が挙げられます。

特に画面演出のないドラクエ4以前であっても、同様の現象が必ずと言っていいほど起きますね。

それと全く同じです。少し勉強して知識がつくと、絶対に必要ないのにcanonicalとかnoindexとかnofollowとかrobots.txtを駆使してクローラーの色々制御してみようなどと思ってしまったり。しかしほとんどの場合が「しかしなにもおこらなかった」です（逆に大ダメージを受けることはありえます）。

例えば、昨年にrobots.txtについて詳細に記事にまとめられていたブログがありましたが、（おそらく記事執筆時に調べながら追記したであろう）robots.txtの記述が誤っていて、全てのページがクロール拒否になっていたということは記憶にあたらしいです。ちなみにその後きちんと修正されていました。

まとめ

普通にサイトを運営していれば「ほとんどのページはクロールされ、インデックスさせるべきコンテンツ」なはずです。外部サイトであっても、nofollowを付与する必要のあるようなサイトにリンクすることは滅多にないはずです。

少なくとも、敵グループが多数に分散していたら、多くの場合は素直にイオ系呪文で対応しておくのが良いかと思います。

ヴォラーレ株式会社　土居

以前に検索エンジンとSEOの歴史について書いてくれた大学生の佐々木くんに、次のテーマで「Googleの検索に関する特許」についてまとめてもらいました。

Googleの特許は「何がしたいの？」を理解する手がかりに

Googleの特許を知る事はSEOを考える上でとても重要な事です。何故ならSEOを実施するにあたって、検索エンジンとしてのGoogleの考えや方針は必ず理解しておく必要があり、Googleが持っている特許の内容は、その考えや背景を読み取るための材料になるからです。

この記事ではGoogleの特許の中から検索エンジンに関する特許を一部ピックアップし、紹介します。

※年代は申請日で記載しています。
※発明者もしくは譲受人がGoogle Inc.になっている特許を記載しています。
※ここに挙げられていないものも含め、特許を取得していることと、それがランキングに反映されていることは別問題です（特許はとったが使っていない、があり得るということ）。

PatFT：認定された特許

※PatFTとは公式に認定されている特許を指します。
 

リンクされたデータベース内におけるノードのランキングに関する方法

(1998年1月　特許番号：6285999)
検索技術に関わる特許の中で最も有名かもしれません。いわゆる”PageRank”のアルゴリズムに関する特許です。特許権の所有者はスタンフォード大学ですが、Googleが独占で使用する権利を持っています。

※参考1：ページランク(wikipedia)
※参考2：SEOの最重要特許ベスト10 その1 ページランクとは？

検索エンジンの音声インターフェース

(2001年2月　特許番号：7027987)
音声による検索システムに関する特許です。以下の参考URLをご覧いただくとわかりますが、現在少しずつ普及してきている音声検索について、今から10年以上も前から、それが使われるシーンを想像されていたわけですね。

ちなみに「特許の一部は製品化・サービス化するが、そうでないものもある」というのはこの記事の最後にも書かれています。

※参考：米Google、検索エンジンの音声インターフェースに関する米国特許を取得

曖昧な検索クエリに対して検索結果を提供する為に修飾されたインデックスを使用する方法及び装置

(2003年3月　特許番号：6529903)
ユーザーが検索する時にサイトの管理者が想定した具体的なキーワードを打ちこまず”曖昧な言葉”での検索をしてしまった場合を想定した施策に関する特許です。

※参考：「Google」の知的財産戦略

ユーザーの行動や特徴のデータに基づいた文章のランキング

(2004年7月　特許番号：7716225)
いわゆる”リーズナブルサーファーモデル”の特許です。全てのリンクを均等に扱うのではなく、データや特徴に基づきリンクに妥当な重み付けをして扱う、という考え方です。

※参考：GOOGLE’S REASONABLE SURFER: HOW THE VALUE OF A LINK MAY DIFFER BASED UPON LINK AND DOCUMENT FEATURES AND USER DATA

ソーシャルネットワーク内の関連メンバーを評価する為の方法とシステム

(2004年8月　特許番号：8010459)
SNSでの友人のクールさ、セクシーさ、信頼度などによって評価が出来るシステム、といった少し変わった特許です。

参考：知人の「セクシーさ」を評価：Googleが特許出願

カメラ付き携帯電話用の画像ベースの検索エンジン

(2005年5月　特許番号：7565139)
“画像での検索”に関するシステムの特許で、内蔵カメラ付きケータイの普及が背景にあります。携帯電話で撮影した画像そのものを検索に利用するための技術です。
 

フレーズベースの情報検索システム内のスパムドキュメントを検出する

(2006年6月　特許番号：7603345)
文書内の関連フレーズの数に基づいてスパム文書を特定するシステムに関する、とする特許。スパム文書にありがちな「キーワードの集合体」のような文書のパターンを検出し、スパム文書と非スパム文書を識別します。

参考：http://www.seobythesea.com/2006/12/phrase-based-information-retrieval-and-spam-detection/

コンテンツに基づいた広告サービスの提供

(2006年7月　特許番号：7734624)
サイトの内容に近いジャンルの広告を表示する技術の特許です。コンテンツを閲覧しているユーザーに関連性の高い広告を表示することで、より高い広告効果を実現することができます。
 

強化された検索結果

(2006年1月　特許番号：7624101)
電話番号または住所を含んだクエリ検索に応じる事と、クエリに関連のある住所のリンクを示す事が出来るといった検索機能の強化に関する特許です。この特許にはWebの膨大な情報量に対して、ユーザー(特に新規でWeb検索に不慣れなユーザー)が求めている情報を探す為に労力を使ってしまう可能性が高いという背景があります。
 

電子メール環境内でのメッセージランキング

(2008年9月　特許番号：8095612)
自分の受信メールの内容を検索結果にランク付けして反映する方法に関する特許です。以下の記事で詳細に紹介されていますが、ウェブページとは異なり、メールならではのシグナルにもとづいてランク付けされます。

※参考：Googleの新特許「メールランク」であなたのメールが格付けされる？

AppFT：出願した特許

※公式に認定されていないが、公開されている特許を指します。

MapReduce内のフレームワークデータの処理

(2011年4月　特許番号：20120254193)
MapRuduceというGoogleのサーバー処理に用いられている分散処理アルゴリズムで、「処理速度の向上→検索結果反映までの時間短縮」の技術に関する特許です。

※参考：GoogleのMapReduceアルゴリズムをJavaで理解する

ポリシーに違反してるかをチェックするシステム

(2012年8月　特許番号：20130110748)
過去の”問題あり”なデータと比較して、ポリシーや法律に抵触するような悪意のある書き込みを事前に防止出来るようにする技術ですが、以下の記事にもあるように「道徳的な判断をGoogleが行う」というところに賛否が分かれそうな技術とも言えます。こちらも製品化されるとは限らないとのこと。

※参考：Google、「検閲システム」の特許を導入

ソーシャルネットワークオブジェクトランキング

(2013年10月　特許番号：20140108428)
ブログやコミュニティなどのソーシャルネットワーク内のコンテンツのランク付けには、一般的なウェブページとは異なるシグナルも利用するべきだ、といった主旨の特許です。例えば友達やファンの数、プロフィールの閲覧数、投稿へのコメント数、最新の話題かどうか、などです。

※参考：HINTS OF HOW GOOGLE MAY RANK SOCIAL NETWORKS?

補足：特許の探し方

Googleの特許は登録までしている特許(PatFT)も公開までしかしていない特許(AppFT)もすべて米国特許庁データベースで検索する事が出来ます。
特許番号や譲受人、発明者など様々な条件で検索する事が出来ます。

しかし、こちらの検索ページはそんなに見やすい訳ではないので私はGoogleの特許検索エンジンをオススメします。

一番の違いは、実際に特許の概要が説明してあるページにアクセスして自動翻訳をした時です。米国のデータベースだと活字がひたすら並んでいて見づらいですが、Googleの方だと項目が分かれていて見やすいです。

▲米国データベースの説明内容を翻訳したらこうなる

▲Googleだとこんなに見やすい

出典

• アメリカ合衆国特許商標庁(uspto)
• 世界知的所有権機関(wipo)
• 米国特許庁データベース
• Google 特許検索
• Google patents updated(SEO by the sea)

まとめ

検索技術に関する様々なテーマからピックアップして、ごく一部を紹介させて頂きました。これらの特許内容はGoogleがこれからの検索エンジンをどうしていきたいのかを知る材料になり、ひいてはSEOをどのように考えていけばいいのかを知る材料になります。

こうした技術を読むにあたり、「どういう技術なのか」はもちろん大切ですが、「こび技術が開発された背景はなにか」「何が実現できるのか」「利用者にどういう利点があるのか」などを考えてみると、テクニカルな解釈ではなく、Googleが本質的に目指す方向性などを理解するのに役立つと思います。

しかし、前述の通りGoogleが特許を取得していてもその特許内容を検索エンジンに全て反映させているという訳ではないので注意して下さい。

参考：特許取得＝Googleの検索アルゴリズムに組み込まれている訳ではない

ヴォラーレ株式会社　佐々木