Google、スパムSEOのRap Geniusへの制裁を解除―ツールを開発して17万以上のURLを削除して謝罪

Googleはスパムを処罰するより一般ユーザーの利便性を優先することにしたようだ。SEOスパム行為があったとして検索ランキングを大幅にダウンされていた歌詞等の注釈共有サイト、Rap Geniusが10日ぶりに以前の位置に返り咲いた。

このまま続けばRap Geniusにとって「死の宣告」になりかねない制裁だったが、意外に早く解除されたのは不当なリンクをすべて削除するなど真剣な反省の態度が認められたものだろう。今日(米国時間185)、RapG eniusは、どういうスパム行為をしたのか、またスパムリンクをどのようにして一掃してGoogleから制裁解除を取り付けたのかについて詳しく公表した

問題はRap Geniusが始めたブログ・アフィリエイトというプログラムだった。これはブロガーがRap Geniusの注釈投稿へのURLを多数含む記事を公開すれば、見返りにその記事のURLをRap GeniusがTwitterなどのソーシャルメディアに投稿してプロモーションするというものだった。たとえばRap Geniusはメール・フィルタリング・サービスのファウンダーのMarbachにJustin Bieberの新曲に関する注釈投稿のURLを末尾に多数埋め込んだ記事を公開するよう依頼した。

しかしGoogleは「記事内容と無関係に検索アルゴリズムに影響を与える目的でリンクを操作する」ことを検索スパムとして厳禁している。Marbachがブログ記事で公表したRap Geniusのブログ・アフィリエイト・プログラムはまさにこれだった。

Rap Geniusはただちに謝罪したが、Googleは 検索ランキングを劇的に下げる制裁を発動した。それまで常に検索順位のトップ近くを占めていた注釈投稿や歌詞の検索結果は5ページ目から6ページ目に転落し、た。制裁はクリスマスを直撃し、Rap Geniusのトラフィックには壊滅的打撃を与えた。Quantcastよると、それまで毎日70万前後だったユニーク訪問者が制裁によって10万以下になったという。

このときRap GeniusはTechCrunchに「われわれはGoogleと協力して問題解決を図っている」と語ったが、その交渉は最後には成功したようだ。今日公開された長文のブログ記事でRap Geniusは詳しく事情を説明している。

その記事によると、共同ファウンダーのMahbod Moghadam、Tom Lehman、Ilan Zechoryは当初ブロガーにリンク入り記事を書いてもらうよう依頼することは問題ないと考えていたようだ。しかし「すぐにわれわれはやり過ぎをしたと気づいた。制裁を受けたのは当然だった。馬鹿をやったことについてGoogleとわれわれのファンにお詫びしたい」と述べている。460万人分のデータ流出を起こしても絶対に謝らないSnapchat流とは対照的な危機管理だ。

Googleは「Rap Geniusのサイトに対して不自然、人為的、欺瞞的なリンクが多数発見された」廉でその検索順位を手動で下げる制裁を課した。その解除のためにRap Geniusはスパムと認定されたリンクをすべて削除し、記事のソースにnofollow属性を付加しなければならなかった。 しかしブログ・アフィリエイトで収集したリンクは何十万にも上りウェブ中に散らばっていた。そこでRap Geniusは知り合いの優秀なウェブマスターに応援を求め、スパムリンクを発見して削除するスクレイパー・ツールを開発してもらった。そのリンクうちでRap Genius側で削除したりnofollow属性を付与したりできない分についてはリストにしてGoogleのDisavowツールに引き渡した。このツールはリンクが検索結果に影響を与えないようにすることができる。.

イェール大学で学んだくせにマーク・ザッカーバーグに「くたばれ」などと悪態をつく 連中がAndreessenから1500万ドルも集めた秘密がスパム問題の処理によく現れている。RapGeniusはNokogiri、Typhoeus、Herokuのツールと巧妙なコーディングによって急遽、きわめて効率的なスパム削除ツールの開発に成功し、15分間ですべてのURLを突き止めたという。そのコードのスニペットはブログで公開されているが、こうした対応RapGeniusが採用を狙っているギークな人材に好印象を与えるかもしれない。

結局、ツールが発見し、処理したスパムURLは17万7000に上った。そしてこれでGoogleを満足させることができたらしい。

とはいえ、Rap Geniusがシリコンバレー最強のベンチャーキャピタル、Andreessen Horowitzの支援を受けていることも有利に働いたはずだ。なんのコネもない無名のスタートアップだったら、こう素早く許してはもらえなかったのではないかという声も出ている。

なにかまだ制裁の影響が残っているかどうか詳細には調べていないが、当面Rap Geniusのサイトは“Kanye West Blood On The Leaves Lyrics”などをキーワードに検索するとトップに表示されるようになった。.

結局Googleは一般ユーザーの利便を第一にしたのだろう。Rap GeniusのSEO戦術は遺憾なものだったが、ライバルに比べればはるかに良質なサイトだ。いつまでも制裁を続けるとユーザーは他の、もっと品質の劣るサイトに流れてしまう。AZlyricsやMetrolyricsなどのライバルのサイトは月額9.99ドルなどという法外な料金の着メロ広告が満載だ。さらに怪しげなSEOをしていることも疑われている。たとえば上のスクリーンショットはAZLyricsだが、ミュージック・プレイヤーのように見えるのは別のサイトにジャンプさせるための偽装ボタンだ。ご用心あれ。

For more on the absurdity of Rap Genius, check out:

When Growth Hacking Goes Bad

スパムSEOを働いた人気歌詞注釈サイトのRap GeniusにGoogleが厳しい制裁

Video Interview: Ben Horowitz And The Founders Explain Why A16Z Put $15M Into Rap Genius

Rap Genius Is Getting Into Breaking News Analysis With News Genius

Rap Genius Reveals One Of Its Business Models Will Be ‘Enterprise Genius’ Collaborative Tool

[Image Credit: Danny Ghitis]

[原文へ]

(翻訳:滑川海彦 Facebook Google+


スパムSEOを働いた人気歌詞注釈サイトのRap GeniusにGoogleが厳しい制裁

人気の歌詞のクラウド注釈サイト、Rap Geniusが怪しげなSEOテクニックを使って検索結果の順位を不当に操作しようとしたことに対して、今日、Googleが非常に厳しい措置を取った。

今やRap Geniusというキーワードで検索してもRapGenius.comはトップページに表示されない。Jay-Z Holy Grail Lyricsなどとヒット曲の歌詞を検索してもRap Geniusの該当ページははるか下のページに埋もれている。 [アップデート:Rap GeniusはGoogleに協力して是正措置を取りつつあるという] 

2009年に設立されたY/Combinator出身のRap Geniusはユーザーが歌詞その他のテキストへの注釈を共有するサービスだ。対象は当初、ラップ・ミュージックだったが、現在は歌詞一般に加えて宗教、法律などの文書、画像など広い範囲を対象としている。引用されたテキストの上にマウスを載せるとさまざまな注釈が読める。

Rap Geniusは2012年後半にAndreessen Horowitzなどから1500万ドルという巨額の資金調達に成功して一躍注目を集めた。

共同ファウンダーたちは毒舌や奇行でも有名になった。TechCrunch Disrupt NYではファウンダーのMahbod Moghadamがステージ上でマーク・ザッカーバーグを「糞野郎」と罵って後で謝罪するという一幕もあった。

しかし今週、Rap GeniusはブロガーたちをRap Genius Blog Affiliateなるプログラムに招待した。メール・フィルタリングのGliderのファウンダー、John MarbachがRap Geniusに詳しいことを知りたいとメールすると、「ジャスティン・ビーバーの歌詞についてのRap Geniusの注釈のリンク一覧を埋め込んだ記事を書いて、そのURLをわれわれに送ってくれ。われわれはそのリンクをツイートする」とメールで申し出てきた。大量のフォロワーを有するRap Geniusがツイートすればブログ記事には大量のトラフィックが集まる。するとGoogleの検索エンジンは記事の末尾のジャスティン・ビーバーのリンクをRap Geniusへの投票とみなし、検索ランクがアップするという目論見だった。ジャスティン・ビーバーの新アルバムに対する検索トラフィックは膨大なものになることが分かっていたのでRap Geniusはこのトラフィックを大量にかき集めようとしたわけだ。

MarbachはRap Geniusの無節操な戦術をMoghadamのメールごとブログ記事で公表した。この記事は広く読まれ、Googleの反スパム長官、マット・カッツがHacker Newsで「この件については調査中だ」と言明することとなった。Rap Geniusはすぐに公開状でGoogleに謝罪し、同時に「他の歌詞サイトも同様のSEO戦術を取っている」と弁明した。

しかしこの弁明はあまり効果がなかったようだ。今朝(米国時間12/25)、GoogleはRap Geniusを事実上検索結果から掃き捨ててしまった。これまでKanye West Flashing Lights Lyricsなどとラップの歌詞を検索するとRap Geniusはトップかトップにきわめて近い位置に表示されていた。アーティストや曲名だけでもRap Geniusは検索結果のトップに来ることが多かった。

ところが今やRap Geniusは検索結果の5ページ目でやっと表示されるありさまだ。これではほとんど誰の目にも止まらないだろう。今回の制裁は“Rap Geniusそのものに対する検索結果さえやっと6ページ目の最下部に表示されるという厳しさだ。

事実上Google検索から排除されるというのはRap Geniusのビジネスに致命的だ。検索結果からのトラフィックがなければ急速なユーザーベースの拡大はとうてい望めないし、新しい注釈も集まらず、広告によるマネタイズの望みも絶たれてしまう。

アップデート: Rap Geniusの共同ファウンダーは以下のような声明を発表した。Rap Geniusは検索結果の復帰を求めてGoogleと交渉中のようだ。


われわれは今回の件に関してGoogleと話し合っている。Googleはクリスマスの当日であるにもかかわらず、問題を是正するために何をすればいいか力を貸してくれた。 すばらしいことだ。われわれは全力で問題解決に取り組んでいるので、すぐにGoogleに復帰できるだろう。【略】

GoogleはRap Geniusが不当にかき集めたバックトラックを削除するなど必要な措置を取れば検索結果への復帰を認めるつもりのようだ。しかしRapGeniusの検索順位すべて事件以前のままに戻ることはありそうにない。長期にわたってRap Geniusのビジネスには打撃となるだろう。われわれはGoogleにもコメントを求めている。なにか新情報があればフォローする。

Rap Geniusの波乱の過去についてはこちらを参照:

Disrupt On-Stage Video: Rap Genius’ Co-Founder Apologizes To Zuck (Then Says They’ll Be Bigger Than Facebook)

Video Interview: Ben Horowitz And The Founders Explain Why A16Z Put $15M Into Rap Genius

Rap Genius Is Getting Into Breaking News Analysis With News Genius

Rap Genius Reveals One Of Its Business Models Will Be ‘Enterprise Genius’ Collaborative Tool

〔日本版〕Rap Geniusについては滑川・高橋共訳のYコンビネーター シリコンバレー最強のスタートアップ養成スクール(ランダル・ストロス著 日経BP刊)で詳しく紹介されている。

[原文へ]

(翻訳:滑川海彦 Facebook Google+


ラップ・ジーニアス、あまりジーニアスじゃないSEOスパム戦術を謝罪

Andreessen Horowitzが支援するRap Geniusのあの愛すべきいたずら連中が、またトラブルを巻き起こしている。ただし今回は問題発言をしたわけではない ― 代わりに、スパム的SEO戦術が集中砲火を浴びている。

きのう(米国時間12/23)Rap GeniusのFacebookページが、同社のアフィリエート・プログラムに興味のあるブログを募った後、Y Combinator同窓生のJohn Marbachは、Rap Geniusの共同ファウンダー、Mahbod Moghadamとの会話について書いた。彼は、ジャスティン・ビーバーの歌詞へのリンク集を、「大量のトラフィック」と引き換えにブログに載せるよう頼まれた。

この戦術について、Marbackは婉曲にグロース・ハックと表現しているが、多くの人々に、古くさいGoogleボムSEOを思い出させたことだろう。そして、Googleのウェブスパム長官、Matt Cuttsに、Rap Geniusがしたことを調査中だと言わしめた。

Rap Geniusはその後謝罪表明をして、Googleウェブスパムチームに寛大な処置を願い出ている。同スタートアップによると、アフィリエートは彼らのSEO戦術にとって小さな部分だという ― 実際Rap Geniusは、そのいわゆるアフィリエート・プログラムの結果生まれた不自然なリンクは簡単に排除できると信じている。例えば、これの類だ。

「今後このようなことはやめる。関連するサイトオーナーからも個別に、この種のリンクを削除する旨の報告を受けている。ただし、これは大々的に行われているわけではなく、根絶はさほど難しくないことは言っておきたい。

しかしRap Geniusは、この機会を利用して、歌詞業界のライバルと言われる連中の名前も挙げた ― AZLyrics.com、Metrolyrics.com、Lyricsfreak.com、Lyricsmode.com、Lyrics007.com、およびSonglyrics.comだ。Rap Geniusは、これらのサイトがいかに大量リンクを取引をしたり、GoogleのSEO強化のために他サイトからのリンクに金を払っているかを示した

しかし、Rap GeniusのSEO戦術のごくわずかで重要ではない部分とされることが引き起こした魔女狩りに関して、関連者全員は、何が自社の検索エンシンランキングに効果をもたらしているかを無視しているようだ。

Rap Geniusによると、彼らの主要な目的は「ユーザーのために素晴らしい体験を生み出し、他のどの歌詞サイトよりも自分たちを気に入ってリンクしてもらう」ことだ。どれも真実なのかもしれない。しかし、ここでも指摘されている[情報提供:Valleywag]ように、Rap Geniusのトラフィック全体の大部分を占めるのは、ユーザーによる個々の歌詞検索から来ている可能性が高い。

「Rap Geniusが他のポップアップ広告にまみれた無数のスパム歌詞サイトと一線を画しているのは、こうした利用傾向を活用する方法を見出したことだ。彼らの注釈フォーマットは、歌詞の一部を単独ページにする良い理由を与えているため、その結果検索エンジンでの彼らの存在を最大化している。

もちろん、その注釈もコミュニティーがなければ不可能だ。本誌がRap Geniusに連絡を取ったところ、今後彼らはコミュニティーと注釈に100%力を注ぐと言った。共同ファウンダーのIlan Zechoryがこう書いている。

われわれは間違いを犯した。だから今日からは、最良の結果をもたらしてきたSEO戦略に100%集中する。それはわれわれの実行する最も効果の高い戦略でもある ― Rap Geniusは最高品質の検索結果をもたらしていると信じている。例えば、Rap Geniusの注釈付きジャスティン・ビーバーの「コンフィデント」を見てほしい ― 今日現在67人のファンが注釈に貢献している。

われわれのゴールは、歌詞を検索する誰もが、スパムまみれの体験ではなく、リッチでインタラクティブで知識満載の体験を得られる世界だ。

[原文へ]

(翻訳:Nob Takahashi / facebook


ユーザ企業に最近のパフォーマンスの低下とその原因を指摘されたHerokuが謝罪

2013-02-09_1554

人気の高いクラウドアプリケーションプラットホームHerokuのパフォーマンスが、実は3年前に比べて遅くなってるかもしれない。昨日(米国時間2/13)Rap GeniusのJames Somersがポストして多くの人に読まれたブログ記事が、Herokuは、Ruby on RailsのアプリケーションをAmazon EC2のマシンに載せてユーザに提供するときのやり方を、数年前にデベロッパに何も告げず黙って変えた、と主張している。Herokuは初期には、可利用なサーバを見つけてそこへリクエストをルーティングする、というインテリジェントな方法をとっていたが、Somers曰く、今ではリクエストをランダムに分散化しており、そのためにキューイングの時間(リクエストがキューに入れられて待たされる時間)が増えている。そして今日はHerokuのゼネラルマネージャOren Teichが、そのとおりでございます、と認めた。

“弊社のプロダクトの動作に関する説明が、不十分でした”、と今夜Teichは書いている。“弊社は、顧客のアプリケーションのスケーラビリティを阻害しました。また全体的にも、コミュニティを裏切りました。ここに、個人的にお詫びするとともに、問題の解決に邁進したいと存じます”。彼によると、Herokuのユーザは実際本当に、“弊社がサービスの規模を拡大した3年前から以降、パフォーマンスの低下を経験していた”。しかし、Herokuの目標は、すべてのデベロッパにとって最良のプラットホームであることである。“今回は、その目標の達成に失敗しました。でも、必ず修正いたします”。

[Herokuのインテリジェントルーティング]
routing_heroku

明日同社は詳細な技術的リビューをポストするとともに、デベロッパに対して、彼らのアプリケーションからのWebリクエストがHeroku上でどう扱われているかを、明快に説明する、とTeichは約束している。またドキュメンテーションも一新し、デベロッパが、自分のアプリケーションのパフォーマンスを向上させるやり方を理解するためのツールを、提供するそうだ。

Rap GeniusはHerokuのいわゆる”dyno”(タスクコンテナ)を常時大量に使用するので、パフォーマンスの低下がとくに顕著に現れた。dynoの物理的な実体は、オンデマンドで作られるAmazon EC2のインスタンスで、Herokuがそれを独自にカスタマイズしている。さらに詳しく言うと、dynoにはWeb型とワーカー型があり、今回被害が及んだのはWeb型だけだった。Herokuの今の(==旧来の)ドキュメンテーションには、Webのリクエストを次の可利用なマシンへとルーティングして”インテリジェントなスケーリング“を実現している、と書かれている。しかしSomersは、リクエストの分散がインテリジェントではなくランダムであることを発見した。だから、今現在アイドルなdynoがあっても、それが使われずに、ほかのインスタンスのキューが無意味に混み合うことがありえる。

Herokuにおけるインスタンス(==’dyno’)の利用料金単価は月額35ドルだが、Rap Geniusは現在、同社の重要なインフラのために月額2万ドルを払っている。Rap GeniusがHerokuをどのように利用しているか、そしてどうやってSomersはHerokuの問題点を見つけたのか。この際真剣に勉強したい方は、ぜひこの記事を読むべし。

[原文へ]
(翻訳:iwatani(a.k.a. hiwa))