今回の記事は、
seoClarity社のブログ記事の紹介となります。seoClarity社はアメリカに本拠を構える大手SEOツールベンダーであり、弊社のパートナー会社である、
クロスフィニティ株式会社と業務提携を結んでおります。ネガティブSEOについての記事となりますが、リンクによるペナルティを狙った手法ではなく、ネットワークやサーバーサイドからのアプローチの内容を解説しています。アメリカではどの程度の影響があるのかは不明ですが、日本でも非常に限定的なことであるかもしれません。この記事の目的はあくまで注意喚起であることをご了承の上、お読みいただければと思います。– SEO Japan
本インタビュー記事は、ログファイルやGoogleサーチコンソール、リファラデータで注視すべき点を指摘し、読者に対する注意喚起を行うことを目的としており、筆者及びseoClarity社はいかなるネガティブSEOの手法の利用を推奨・支持するものではありません。
Clarity World Tourというイベントでシアトルを訪れた際、GreaterGood.comのTed Kubaitis氏と話しをする機会を得た。このイベントで様々場所を訪れ、多くの方と話しをすることができたが、彼との会話は、その中でも最も興味深い内容であった。Ted氏はネガティブSEOについて、多くのことを私に教えてくれた。そして、そうした攻撃の見抜き方を、私が今まで考えたこともなかった方法で、紹介してくれたのだ。
ネガティブSEOとは何か?
ネガティブSEOとは、競合のサイトから、検索エンジンへのシグナルに影響を与えることで、ターゲットとなるサイトにネガティブに働くことを目的とした戦略である。ネガティブSEOと聞くと、多くの人が競合サイトに向けた低品質なリンクの購入を思い浮かべるだろう。私も長い間そう考えてきた。しかし、実際は、ネガティブSEOは多様なスキルセットであり、低品質なリンクの購入よりも、さらに狡猾な戦術が用いられている。そのため、私はTed氏に、彼が自身の経験から学んだことを私に伝えてくれるよう、頼んだのだ。
インタビュー内容
Keith=seoClarity社。インタビュアー。
Ted=GreaterGood.com。インタビュイー。
Keith:まずは、Ted氏がネガティブSEOについて経験したことを、我々に快く共有してくれることについて感謝の意を表します。
Ted:どういたしまして。
Keith:Ted氏の職業はSEOという認識でよいですか?
Ted:SEOは私の仕事の一部ですね。おそらく20%といったところでしょう。現在、私は大規模なECサイトで企業内のデータを収集し、管理する部門のディレクターを担当しています。ソフトウェアエンジニアでもあり、マーケターでもあります。以前は、特許を取得した技術を保持しており、ビジネス・インテリジェンスの分野でソフトウェア会社を設立していました。オンラインビジネスに関係した様々なことをやってきました。
Keith:GoogleはネガティブSEOの影響を否定しています。ネガティブSEOは実際に行われており、サイトへの影響もあるのでしょうか?
Ted:ネガティブSEOは実際に行われています。否定派の方がサンプルとしているサイトは偏ったものであると考えています。そうしたサイトは標的にされていないため、脅威は小さいと言えるでしょう。しかし、実際は、ネガティブSEOは拡大しています。大きな金額が動いており、あなたの法律の権限外にも競合がいます。多くの場合、この種の攻撃に適用される法律はないのです。ネガティブSEOの脅威は急速に高まっています。
Keith:どのようにして、最初のネガティブSEOに気づいたのですか?
Ted:始めは偶然でした。私も以前は、”ネガティブSEOは現実的でない”という側の意見を持っていました。私は会社のエンジニアとして働いており、そこは非常にオープンな環境でした。そのため、全員がその日に起こった問題を自動的に気が付くことができました。ある日、私は、ネットワークの担当者が非常に軽微なサービス妨害攻撃に対応していることをふと耳にしました。
**ここから技術的な話しになるため、読み飛ばしてもかまいません。**
このネットワーク担当者が対応していた攻撃は、”スロー・ロリス(slow loris)”攻撃というものでした。
スロー・ロリス妨害
スロー・ロリスはRovert ”RSnake” Hansenによって書かれたソフトウェアの一部であり、単一のマシンが他のマシンのWebサーバーを、最低限の情報量で、関係のないサービスとポートに影響を与えることにより、停止させることを可能にする。
スロー・ロリスはターゲットとしたWebサーバーに接続し続け、Webサーバーを可能な限りオープンな状態にさせようとする。Webサーバーへの接続を継続し、不完全なリクエストを送り続けることで、これを実現する。定期的に、それに続くHTTPヘッダーを送付するが、そのリクエストが完了することはない。この攻撃を受けたサーバーは接続状態を継続するが、やがてその許容量を超えてしまうため、最終的にはクライアントからの別の接続を拒否してしまう。
引用:Wikipedia
**ここまで技術的な話し**
この攻撃自体には大きな意味はありません。こうした攻撃を検知し、防御するためには1時間か2時間で済みます。そして、2週間か3週間ごとにこうした攻撃が繰り替えされます。この状態が何か月も、もしかしたら、何年間も続きました。この攻撃が開始された時期は特定できていません。
我々はこの攻撃者の意図が分かりませんでした。一度検知すれば、対応は簡単です。容易に防ぐことができるのに、なぜ、こんなにも長い間攻撃を続けるのかが理解できませんでした。
数か月後、私はSEOの収益における不安定な状況を説明するためのミーティングに参加しました。この時点でも、私はネガティブSEOを信じていませんでしたが、そのミーティングで私は寒気を感じました。ミーティングが終了した後、SEOの収益を示すグラフの上部にスロー・ロリス攻撃のグラフを載せてみました。すると、SEOの収益の下降が、”常に”スロー・ロリス攻撃の後に起こっていることがわかりました。この日から、私はネガティブSEOが現実的であり、そして、私を含めた多くの人が考えているものとは全く別のものであることに気づきました。これは、”非常に”効果的なネガティブSEOであり、バックリンクとは無縁のものだったのです。
**ギークな情報**
私はその後数週間、このネガティブSEOの攻撃に関してあらゆることを調べました。そして、その仕組みを理解しました。簡単に言うと、攻撃者は、Googlebotが我々のサイトをクロールするタイミングを見計らって我々のサイトを攻撃し、サーバーがGooglebotを含むすべてのアクセスに対し、500エラーを返すようにしむけました。Googlebotはエラーを返すページを検索結果から除外します。Googlebotは数日間該当のページを再評価しません。(これは、今日では起こらないことです。Googleは数時間内に再評価を行いますが、当時はそうした状況ではありませんでした。)そして、より厄介なことは、Googleが再評価を行い、該当のページがエラーを返さないと認識した後、以前表示されていた順位よりも下位に表示されるようになります。元の順位に戻るまで、2週間ほどその状態が続きました。
**ギークな情報終了**
当初、我々はこの攻撃が成功するとは思わず、脆弱なものと考えていました。実際は、非常に成功しており、非常に脅威的なものでした。長い間効果を出すものであり、攻撃が行われるたびに、我々の動きを封じていました。
“この日から、私はネガティブSEOが現実的であり、そして、私を含めた多くの人が考えているものとは全く別のものであることに気づきました。これは、非常に効果的なネガティブSEOであり、バックリンクとは無縁のものだったのです。”
ランキングを見ているだけでは、Googleの通常の変動による影響と思ってしまうでしょう。順位が2つ下がり、2週間後に戻ってきたという状況に注意を払うことはありません。我々は、20のWebサイトを運営しており、全体で40万ページあります。そして、そのWebサイトの多くが、共有サーバーを使用しています。Webマスターツール(原文ママ)では、複数のサイトを横断的に集約したデータを見ることができません。全てのサイトのSEOの状況をトラッキングしなければ、この状況には気が付かないでしょう。
我々は攻撃が現実的であることと、その仕組みを理解しました。しかし、どのようにしてこの攻撃を止めることができるのでしょうか?
この攻撃を効果的なものにするためには、攻撃者が、攻撃のタイミングとGooglebotが我々のサイトをクロールするタイミングを一致させる必要があります。どのようにして一致させるのでしょうか?私は4つの方法があると考えています。
- Googleのキャッシュをモニターし、キャッシュの日付が更新されれば、Googlebotによるクロールする時期がわかる。
- キャッシュの日付を分析し、Googlebotが再びクロールするタイミングを推定する。
- ユーザーエージェントを見るために、サイト間のスクリプトを行う。
- 頻繁に攻撃を行い、タイミングが合うことを期待する。
私はこの攻撃者が非常に賢いと考えており、1番上の手法を用いたと思っています。
私は全てのページに”NOARCHIVE”タグを設置することで、この攻撃に対応しました。この方法により、Googleが該当のページのキャッシュリンクを表示することをやめさせることができるます。結果、攻撃者が我々のキャッシュの日付から簡単にモニタリングすることを防ぐことが可能となりました。
この措置を行った4か月ほど、攻撃はされなくなりました。我々は彼らに勝利したと考えました。しかし、それは間違いだったのです。
2014年の第3四半期の後半に、我々は単独の非常に正確な攻撃を受けました。攻撃者は一時的に手を緩めており、再び攻撃をしに戻ってきたのです。攻撃者は我々の対応に気づき、より注意深く、より戦略的に攻撃のタイミングを狙ってきました。私がSEOに対して寒気を感じた、2回目の出来事でした。多くのオンラインのリテラーがそうであうように、我々も収益の大部分を第4四半期に売り上げます。攻撃者がブラックフライデー(アメリカでのクリスマス商戦の開始日)を待っていた、という考えをぬぐうことはできませんでした。彼らの攻撃の中でも、ブラックフライデーの1週間前に行われた攻撃は、最も重要な時期におけるSEOを破滅させました。
我々は彼らがどのようにして攻撃のタイミングを決定しているかを把握しようとしました。しかし、把握することはできませんでした。ブラックフライデーの1週間前の被害は、今までで最も大きいものでした。その月、我々は60-70%のSEOからの収益を失いました。非常に落胆しました。
こうした攻撃が甚大な被害をもたらし、今後も継続してくという事実を、我々の会社は公式に認めました。我々はセキュリティ強化に数十万ドルを投資し、リアルタイムで数百の異なる攻撃を検知し、ブロックできるようにしました。
“SEOの収益に大きな影響を与えた出来事に対し、全てのログや証明データを確認し、状況を把握しようと試みました。”
全てのWebサイトに新しいフィイヤーウォールを構築し、適切なURLの再配置が完了するのに、半年かかりました。我々は、ようやく勝利を手にすることができましたが、多くの時間と費用を割くこととなりました。今年、我々のSEOにおける収益が2桁成長を見込めることは非常に喜ばしいことです。その理由は、ネガティブSEOの攻撃をストップすることができたことが大きいでしょう。
Keith:今まで聞いたこともないような攻撃や、人々が普段意識したことがないようなネガティブSEOは他にもありますか?
Ted:私は、ここでお話した攻撃を”Googlebotの妨害攻撃(Googlebot Interruption Attack)”と呼んでいます。こうした攻撃によるネガティブSEOへの公式な名前はありませんが、その程度に新しい攻撃だということです。
ブラックハット側の人間が行う戦略を紹介しましょう。過去にペナルティを受けている”汚れた”ドメインを獲得し、DNSをあなたのWebサイトに設定します。該当のペナルティが、少なくとも短期間は、あなたのWebサイトに受け継がれてしまいます。最悪な方法は、大量の”汚れた”ドメインから、あなたのサイトに目がけ、一気に設定をすることです。
似たような方法として、”汚れた”ドメインからあなたのサイトへリダイレクト設定を行う、といったものがあります。”汚れた”ドメインが収集したバックリンクの影響を、現在通常稼働しているURLへ与えてしまうという効果があります。この方法の恐ろしいところは、攻撃者がリダイレクト先を変更すれば、こうしたドメインを再利用できるという点です。
さらに、canonicalタグの設定をしていないページをターゲットとする方法もあります。偽のURLパラメータやアンカーテキストを追加するなどして、稼働しているがGoogleがまだ発見していない、というURLを作成します。そして、偽のURLがオリジナルのURLよりも上位表示するまで、偽のURLにリンクを構築します。オリジナルのURLはPRが低い、重複コンテンツとしてみなされ、検索順位が下がります。GoogleがPRを再度評価するまで、この効果は持続します。しかし、この攻撃は、自身の全てのページにcanonicalタグを設定することで防ぐことができます。
大量のドメインを使用する方法もあります。ここでは”汚れた”ドメインである必要はなく、Googleにインデックスされ、多くのボットに回遊されているドメインが使用されます。数百ものドメインから単一のWebサイトにリンクを設置します。そして、ボットからのアクセスをサービス停止のシグナルとして利用するのです。
“唯一の解決策は、SEOの収益を正確に捉え、定期的にモニタリングすることです。”
悪質なリンクの購入は誰もが知っている方法です。しかし、その他にも多くの方法があります。悪質な人間の創造性に限定されるものではありますが、悪質な人間の創造性は非常に高いのです。正直に言って、非常に恐ろしいことです。自身を奮い立たせる必要があるイベントがあり、闇の部分を調査しなければいけない。常に次の攻撃を心配しているし、その代償を既に払っているかもしれないと考えてしまいます。
Keith:こうした攻撃のサインを、どの場所で発見していますか?SEO担当者が見るべき場所はどこでしょうか?
Ted:私は多くのSEO担当者と議論をしてきました。唯一の解決策は、SEOの収益を正確に捉え、定期的にモニタリングすることです。コンバージョンは大事ですが、SEOの健全さを図る指標として、収益を見ることの方が良いでしょう。収益は、インデックス状況、ランキング、トラフィック、コンバージョンなどの全ての要素を複合したものです。コンバージョンを見ることは大事ですが、大きく指針を動かすものではないため、ネガティブSEOのシグナルを発見することは難しいです。
次に、エンジニアと相談することも大事です。彼らが取り組んでいる問題は、SEOの効果に直接影響します。ネットワークエンジニアが行っている火消し作業は、最適なサインの一つです。彼らが対応した問題の記録を取り、収益や他のKPIとの関連性を調査しましょう。
さらに、ログも大事です。Webマスターツール(原文ママ)のクロールエラーのログを確認することで、Googlebotが直面した問題を知ることができます。
- 多くの500エラーは”Googlebotの妨害攻撃”の可能性を示唆
- 多くの404エラーは”汚れた”ドメインからのリダイレクトを示唆
- 多くの不可解なURLエラーや重複コンテンツのエラー
- 一般的に、ハッキングの痕跡はWebのログに現れる
Keith:こうした攻撃を検知する方法を、どのようにして学びましたか?
Ted:非常に困難でした。SEOの収益に大きな影響を与えた出来事に対し、全てのログや証明データを確認し、状況を把握しようと試みました。しかし、そうした全ての出来事が攻撃によるものではありませんでした。多くの場合、こうした出来事は我々のWebサイト側のエラーによるものでした。マーケティングチームが問題のあるトラッキングサービスをインストールしたため、といったこともありました。また、過去にペナルティを受けたことを知らずにドメインを購入し、そのドメインを使用したサイトからリンクを張られているといったこともあります。SEOの担当者として、こうした出来事を検知し、把握することが求められます。収益、ログ、日々の一般的な出来事などは、早期の検知のために非常に重要な要素です。
Keith:SEO担当者はこうしたブラックハットのフォーラムなどを確認するために、時間をかけるべきだと思いますか?
Ted:Yesでもあり、Noでもあります。こうした攻撃に対する理解が必要な状況であれば、Yesです。概して、他者を信用しているのであれば、こうしたフォーラムを利用することも手かもしれません。しかし、読者側に立った意見でいうと、SEOのフォーラムやブログは、SEO担当者の多くが経験したことのない問題に対して私が手助けをすると、嘘つきと非難されることがあります。くだらない批評を下す人たちが、証拠がないと言って、私を非難することは日常茶飯事です。SEOのプロフェッショナルが集まるコミュニティが、ただの喧嘩状態になることはあります。ブラックハットのフォーラムでは、私が直面した攻撃に対する調査の手助けしてくれました。どのような仕組みであり、どのように対応すれば良いのかなどを教えてくれました。GoogleやSEOのコミュニティは、概して、非協力的です。これについては、長い間忘れられない出来事となるでしょう。
“Googleは根本的な問題を抱えています。ペナルティは簡単に兵器となり得るのです。Googleが善い行いを支持すれば、人々は善い行いを増やすでしょう。”
Keith:どの程度、こうした攻撃が広まっていると思いますか?また、どのくらいの回数の攻撃を、あなたのサイトは受けましたか?
Ted:何らかの理由で、我々は大きなターゲットとなりました。おそらく、我々は多くの商品を扱っており、アフィリエイトサイトと競合する商品も多くあったからです。オンラインのリテラーで、季節的な売り上げが多いのであれば、注意が必要です。私のサイトが直面した大きな脅威は、今のところ解決しました。しかし、多くのサイトが無防備であり、我々が用いた解決方法を採用していません。
長年に渡り何百もの攻撃を受けていたはずですが、我々がそれに気が付いたのは、2014年になってからでした。多くのWebサイトにとって、”不明なものに対するセキュリティ”となります。この種の攻撃に対し、注意を払う必要は十分にあります。
Keith:どのようにしてネガティブSEOの威力を軽減しましたか?例えば、不完全なパラメータの使用をどのように軽減させましたか?
Ted:検知が最重要でした。問題に気が付かなければ、それを軽減させることは不可能です。不完全なパラメータについては、いくつか対応策はありますが、私が強く薦める方法は、canonicalタグを全てのページに使用することです。非常に厳格なURLに変更することもできます。しかし、ログや検索結果画面のURLなどをしっかりと確認しなければ、問題に気が付くことすら叶いません。
Keith:ネガティブSEOの検知のために、プラットフォームはどのような手段を用いるべきでしょうか?
Ted:収益を詳細に確認することは重要です。Googleからのみの損失が起こっていれば、重要なシグナルと言えるでしょう。私の場合、SEOの収益は複数のソースから得られています。 Google、Bing、Excite、AOL、Yahooなどの検索エンジン経由、ノートパソコンやISPのスタートページからのシンジゲート検索、メタ検索エンジンなどからです。
収益の観測を行い、Googleからの収益のみが落ちていた場合、顧客行動によるものではないと考えることができます。例えば、春休みに入ったからということが理由であれば、すべてのソースからの収益が落ちるはずです。
また、500エラー、404エラー、ログ内や検索結果画面の不可解なURLなどには目を光らせましょう。
“ネットワーク管理者のフラストレーションの計測器”を作りだすことも大事なことでしょう。
Keith:機械学習がいずれは手動によるアルゴリズムの操作を無効化させると考えますか?もしくは、我々は常に用心していなければならないのでしょうか?
Ted:Googleは根本的な問題を抱えています。ペナルティは簡単に兵器となり得るのです。Googleが善い行いを支持すれば、人々は善い行いを増やすでしょう。善い行いへの賞賛や報告をもっと公に行い、取引先、顧客、サプライヤーなどとより良い関係を築くことに注力する。そうした取組を進めることが重要となるのではないでしょうか。
不幸にも、Googleは場当たり的な対策しかしていません。その理由は私にはわかりません。個人的には、良いコミュニティのメンバーになることと、反していると感じています。
機械学習については、激しい競争だと感じています。我々の多くが自身のサイトをGoogle内で上手く作用するようなシステムやプロセスを構築しています。私は、こうした競争が今後も続くものだと考えています。
“何かが正しくなければ、その原因を突き止めることに熱心であるべきで、事前に感知する能力を磨く必要があります。そして、常に否定を行う人々が、あなたのこうした取り組みも否定するのを防ぐことも重要です。”
Keith:SEOについて、何かアドバイスできることはありますか?
Ted:変更箇所は最小限にし、測定は最大限行う。自身で証明できることを、行わない手はないです。測定できる結果があれば、それを再利用することができます。SEOの収益を、コストの正当性が見いだせないという理由で、敬遠しているのであれば、方向性を議論する機会を作りましょう。SEOはベクトルです。重要で、方向を示す役割があります。明日になれば、さらにその重要性は増します。
まとめ
ネガティブSEOは短期で、破滅的な結果を生むものではありません。ネガティブSEOに関係する出来事の検知は容易ではあります。しかし、ブラックハットSEOを成功させようとする試みは、多くの穴を作り、順位を下げるためのちょっとした罠を作り、トラフィックを失わせ、収益を損なわせます。そして、通常の手段では検知できないものです。スロー・ロリス攻撃から、改ざんされたパラメータ、そして、粗悪なリンクの購入など、ブラックハットSEOのツールボックスに入っている手段は一つではありません。そのため、自身のサイトにとってのSEOの成功を測定し、問題をモニタリングする方法は、複数あるべきです。このインタビューでは、Ted氏が、彼が取り組んできたネガティブSEO対策、現在のモニタリングの方法、攻撃を軽微にする方法についてのアウトラインを紹介してくれました。
Ted氏が推奨する方法を下記にまとめます。
- システム担当者とネットワーク担当者と近しい関係を作り、彼らが潜在的な攻撃を探している取り組みの内容を知る。
- クロールエラーやサーバーエラーで、変則的なパターンがあれば、全て検証する。
- アナリティクスを使用し、変則的なパラメータがトラフィック内にあるかどうかを観測する。
- cacnonicalタグを使用し、厳格なURLを作成することで、ブラックハットと思われる者から外部のページを作成されることを避ける。
- 意味をなさないものがあれば、調査する。
Ted Kubaitis: GreaterGood.comのビジネスインテリジェンスのディレクター。エンジニア兼マーケターであり、彼の経験はNCSA Mosaicを使用する際にNDAにサインが求められた時代まで遡る。特許を取得した技術を保持し、ビジネスインテリジェンス業界でソフトウェア会社を設立した。
この記事は、seoClarityに掲載された「THE SECRET WORLD OF NEGATIVE SEO」を翻訳した内容です。
個人的には非常に新鮮な内容でありましたが、大手サイトのインハウスの方々にとってはそうではなかったかもしれません。(もしかしたら、これ以上にやっかいな攻撃を受けている可能性も。。。)今日のSEOの担当領域は多岐にわたっており、セールス、マーケティング、PRなどのチームといかに連携を進めていくかが重要だとよく言われています。その中には、もちろん、システム担当部署との連携も含まれるかと思いますが、サイトの安全性を担保するという目的でも、システム担当の方と話しを進めていくのは重要なことですね。記事内にもあるとおり、些細な変化に気を配る必要があり、根気のいる部分ではあると思いますが、上手くチェックが行われる工程が作れれば理想的だと感じました。– SEO Japan