ウェブを定期的にクロールしてブロックすべきトラッカーのリストを作るDuckDuckGo

大量の無用な広告を避けたりブロックしてやっと目的の情報に到達することは、今や毎日のお決まりの仕事のようだ。現在のほとんどすべてのウェブサイトを悩ませているこの迷惑行為を軽減するため、DuckDuckGoは主な犯人のリストを作り、それを自社のクローラーでコンスタントに更新している。もちろん無料で。

このTracker Radarと呼ばれる新しいサービスを発表するブログ記事でDuckDuckGoは「広告ブロッカーやトラッカーブロッカーは必要不可欠なソフトウェアだが、仕事の効率が低かったり、一時的な効果しかないものが多い」と説明する。

例えば、ブロッカーソフトが使っている人気のリストのひとつであるEasyListには、ルールが10万件ある。それに基づいて、警戒すべきURLや文字列をブロッカーに教える。それは優れたリソースだが、何年もかけて手作業で編集しているので、今や無用に肥大している。陳腐化したルールが何千もあるし、ユーザーがよく訪れる上位100位ぐらいのサイトではめったに現れない迷惑広告もある。

DuckDuckGoでは、毎回白紙状態からスタートしてウェブクローラーに仕事をさせる。クローラーとは、多くのウェブサイトを次々と訪ねてそのサイトの内容のカタログを作るソフトウェアだ。Tracker Radarは、クローラーが集めた情報を利用して、トラッカーの特徴やサイト管理者の要求に基づくルールのデータベースを作る。

DuckDuckGoのTracker RadarPartが記録したトラッカーのプロファイルの一部

Tracker Radarは毎回およそ5万のサイトの特徴を比較してルールや関連づけを見つけるので、このデータベースは網羅的でかつフレキシブルだ。最近のトラッキングは極めて巧妙で、複数のサイトやサービスを使ってCookieなどを無効にしているユーザーでも見つけ出す。Tracker Radarは多くのサイトの挙動を常時比較し、それらが共通して使っているトラッキングのテクニックを見つける。そうやって得られるデータは、リッチでしかも最新のものだ。

というのは、あくまでもDuckDuckGoのピッチ(セールストーク)だが、同社はプライバシー保護のためのプラグインやアプリも提供している。もちろんそれらには、Tracker Radarのデータが使われている。そして無料なのはデータだけでなく、Tracker Radarがデータを集めてまとめる部分のコードもだ。誰もが自分なりに利用して改良もできる。

そこで、今使ってるのが人気のブロッカーツールのuBlock Originなどである人も、単純にそのデータベースの情報を利用できる。あるいは、DuckDuckGoの軽量のソリューションがよければ、ブラウザーの「プラグイン」→「エクステンション」→「アドオン」のメニューからインストールすればいいりただし対応ブラウザーは、Chrome、FirefoxまたはSafariだ。モバイルでは、DuckDuckGo自身のブラウザーを使える。

画像クレジット: DuckDuckGo

[原文へ]

(翻訳:iwatani、a.k.a. hiwa

投稿者:

TechCrunch Japan

TechCrunchは2005年にシリコンバレーでスタートし、スタートアップ企業の紹介やインターネットの新しいプロダクトのレビュー、そして業界の重要なニュースを扱うテクノロジーメディアとして成長してきました。現在、米国を始め、欧州、アジア地域のテクノロジー業界の話題をカバーしています。そして、米国では2010年9月に世界的なオンラインメディア企業のAOLの傘下となりその運営が続けられています。 日本では2006年6月から翻訳版となるTechCrunch Japanが産声を上げてスタートしています。その後、日本でのオリジナル記事の投稿やイベントなどを開催しています。なお、TechCrunch Japanも2011年4月1日より米国と同様に米AOLの日本法人AOLオンライン・ジャパンにより運営されています。