タグ: ビッグデータ

[筆者: Mark Gazit]

編集者注記: Mark Gazitはイスラエルのサイバーセキュリティのトップエキスパートの一人。イスラエル空軍で国防のためのサイバーセキュリティを担当し、今ではThetaRayのCEOである彼は、サイバー防衛の分野で長年高く評価されている。

ビッグデータの分析をするときは、データをよく理解してその秘密を解き明かし、闇に隠れていた真実を明るみにさらさなければならない。それはまさにそうではあるけれども、しかし、データはいろいろな側面を抱えており、その分析方法や使われ方次第で大きく異なる話を明かしてくれる。それは、データを解釈する人間の心が、それぞれ異なるためでもある。

誰が質問をするのか？

ビッグデータの分析には唯一の正しい方法というものはなくて、そこには必ず、人による違いというバイアスがかかっている。分析から得られる答えにも、同じくバイアスの影がある。同じデータを複数の人間が見て、それぞれ異なる結論に達するとしたら、ではその中のどれが正しいと言えるのだろうか？

データサイエンスを利用して生データから取り出した知識に、企業や組織にとって重要な価値や機会（ときにはリスク要素）が見出されることは多い。しかし分析の方法が、その価値を大きく左右する。

ビッグデータから有意な答えを取り出すためには、アルゴリズムにどんな問いを尋ねさせるのかを、データサイエンティストが決めなければならない。しかし質問者が人間であるかぎり、そこにはどうしても、意図せざるバイアスが導入される。さらに、クェリを選ぶ役を担うデータサイエンティストが、組織内の専門家であるドメインエキスパートよりも経験知識が浅くて、“正しい質問”を作れないことも多い。

たとえば国の規制に関する質問なら、コンプライアンス担当部局の日常の仕事をよく知らないサイエンティストよりも、コンプライアンスマネージャの方がずっと良い質問を尋ねられるだろう。同じことが。CISOと、インサイダー問題を担当している役員との違いについても言える。しかしそれでは、データチームには常時、いろんな人がたくさんいればよいのか？　そういう、現場の問題をよく知っている人が会社を辞めたら、どうするのか？

データサイエンティストは必要かつ重要であり、データ量が増えてくると経験豊富なデータサイエンティストが必要になる。しかしそれと同時に、計算機の仕事を人間にやらせると、遅くなり、非科学的になり、急速に質が劣化しがちだ。なぜなら、人間の心はビッグデータで生じる量子的飛躍*について行けないからだ。〔*: 蓄積された大量データだからこそ得られる知見や洞察。〕

スケーラビリティの問題

データが急速に成長しているときは、スケーラビリティがビッグデータとデータサイエンスにとって緊急の問題になる。MGIとMcKinseyの調査によると: “合衆国だけでもデータ分析の専門家が14万ないし19万人不足しており、またビッグデータの分析に基づいて意思決定のできる管理職やアナリストが150万名不足している”、と言われる。データサイエンティストはすでに供給が不足しており、その一方で企業や組織が生成し、利用したいと願っているデータの量は増え続けている。そしてそんな中でヘルスケアなど社会の重要なインフラストラクチャに関わる業界のすべてが、ビッグデータを利用して仕事を加速し、問題を解決したいと願っている。

GEとAccentureが共同で行った調査によると、“全業界で調査対象企業の80〜90%が、ビッグデータ分析が最優先事項または最優先三項目の一つとしている”。さらに、“製造業企業の上級役員の53%が、ビッグデータ分析がすでに取締役会のレベルで取り組まれている”。需要がこれだけ熟し、しかも多くの場合リアルタイムのデータ分析が求められているとき、では、データサイエンティストの供給はどうだろうか？　能力と経験のあるデータサイエンティストが、すぐに見つかるだろうか？　見つからない。供給のスケーラビリティは、大きな、しかも喫緊の解決を要する問題だ。

幸いにも、この問題のソリューションはすでに、手の届くところにある。

機械学習

より賢明で効率的な方法は、ビッグデータの分析とクェリをデータサイエンティストにやらせずに機械学習にやらせることだ。その場合データサイエンティストには、機械学習の出力を検査し分類する仕事がある。異状や特例事象、問題などの発見は、人間にしかできない*。〔*: 本稿では、クェリセットの決定など、機械学習システム稼働に至るまでの初期的構成や設定、セットアップ等は経営トップや各業務の現場がイニシアチブをとる、という前提。〕

技術の進歩によって今では、高度な分析アルゴリズムが大量の複雑なデータから短時間で問題を検出あるいは予測できる。偏りや擬陽性などの間違いも、少ない。

機械学習によって自動化されたビッグデータ分析は、今では信頼性も高く、正確で、人出による介入を要さずに企業のさまざまなニーズに対応できる。データサイエンティストはビッグデータから問題や傾向を検出する作業を機械化して、自分はその出力の点検や解釈に集中できる。企業はそれによって、ビッグデータ分析を利用するソリューションの長期的な費用を節減できる。

企業はビッグデータ分析の最適化を妨げていた問題、中でもとくに厄介な人間的要素を解決することによって、自分が抱えるビッグデータの中からあらゆるタイプの凶兆や好機を迅速に見つけることができる。今はどんな企業・組織でも、人間と機械が毎日生成するデータの量がきわめて多いので、簡単迅速で精度の高いビッグデータ分析を常用することは、企業の生死を握るといっても過言ではないぐらいに重要だ。企業はそれによって諸状況への感度を高め、つねに、企業目的に沿ったタイムリーな意思決定ができるようになる。

[原文へ]
（翻訳：iwatani(a.k.a. hiwa)）

EQLIMという名前のスタートアップがローンチした。この言葉はアラビア語で‘地域’とか‘テリトリ’という意味で、新興経済圏における人間活動に関するリアルタイムのデータを会員制で提供する。レバノンのベイルートを拠点とする同社は、中東に関する情報やデータの貧困という現状を、なんとかしたいと願っている。

同社は、地政学、インフラストラクチャ、商業、保健医療、環境、農業、都市などに関するビッグデータを集めて分析する。いずれはMENA地域だけでなく、アフリカやアジア全体をカバーしたいと考えている。

これまでエンジェル投資家のFadi Ghandourから42万5000ドルの資金を確保したが、今は製品開発と市場開拓のために100〜150万ドル程度の資金調達を準備中だ。

CEOで協同ファウンダのHassan Alassaadが言うには、同社は“当該地域のリスクと機会をリアルタイムでマッピングしている”。中東におけるビッグデータ分析の需要は、10億ドル以上ある、と彼は推計している。

EQLIMのデータのサンプルは、APIやWeb、モバイル、RSS、それにメールで入手できる。

たとえばその中には、前月におけるMENA地域の宗教施設の被害を示す対話的な地図がある。そのほかガザにおける学校の被害、運輸産業の現況、ISISの手に落ちそうなエネルギーインフラストラクチャの全体像、などなどもある。

同地域のブログWamdaに、EQLIMに関する比較的詳しい記事がある。ぼくのこのポストも、その記事から相当借りている。

[原文へ]
（翻訳：iwatani(a.k.a. hiwa)）

[筆者: Navin Chaddha]

編集者注記: Navin ChaddhaはMayfieldの専務取締役、同社は起業の初期段階向けのベンチャーキャピタル企業だ。同社が今支えている企業には、Gigya、Elastica、Lyft、MapR、Poshmarkなどがある。

2014年も後半に入り、ビッグデータはいよいよメインストリームになってきた。たくさんの大型本、多様な業界分野への展開、消費者アプリケーション、そして巨額な投資。私はVCの世界に45年もいて、その間、主導的技術の変遷を何度も見てきた。PC時代の勃興、クライアント/サーバコンピューティングへの移行、それからWebベースのコンピューティング、さらにクラウドとSaaSモデルの登場…そしてどの段階でも、企業がスタートアップからその分野のリーダーに育っていくときの、一定のパターンを私は見てきた。

では、ビッグデータに関しては、長寿な企業を作っていくために何が必要だろうか:

1. プラットホームからエコシステムへ成長脱皮せよ

ひとつのテクノロジプラットホームが確立し定着したことの証（あかし）は、そのまわりにエコシステムが急速に育っていることだ。たとえばSaaSに関してはSalesforceが早々と巨人に育ったが、それはそのエコシステムが大きく成長したためだ。ビッグデータも、その点は同じだ。

今プラットホームからエコシステムへ移行しつつある好調なビッグデータ企業のひとつがMapRだ。同社のプロダクトはHadoopの一（いち）ディストリビューションにすぎないが、オープンソースの利点（コミュニティによるイノベーション、ポータビリティ、そして柔軟性）と、独自に強化したアーキテクチャを結びつけて、企業が安心して採用できる信頼性とセキュリティとパフォーマンスを提供している。

MapRのエコシステムはHadoopの盛大活発なオープンソースのコミュニティと、MapR App Galleryで急速に増殖しているパートナーたちのソリューションが合わさったものだ。このエコシステムの中で企業顧客は、自分たちのビッグデータ利用システムとそのためのユーティリティやアプリケーションを、容易に拡張ないし新規に実装できる。

未来のリーダー格を匂わせるもうひとつの例がMongoDBだ。オープンソースのNoSQLでは指導的な企業だが、今では多くの企業がさまざまなアプリケーションで利用している。MongoDBでは、複数の業界にわたるさまざまなパートナーたちにより、強力なエコシステムが育ちつつある。

2. 誰も手をつけない面倒で困難な問題を解決せよ

これは、ビッグデータの世界の中でも、あまり派手な話題ではない。しかしそれでも、ビッグデータ企業の多くがこの種の仕事に取り組むことで、成長してきたはずだ。クライアント/サーバの時代にはデータ統合化のパイオニアInformaticaが、フォーマットが雑多に異なるデータを統合するという、面倒でダーティーな仕事でトップに登りつめ、8年間ぶっ通しで、Gartner Data Integration Magic Quadrantのリーダーの座を維持した。

ビッグデータの世界で注目に値するのが、Trifactaだ。同社は、生データを技術的スキルのないアナリストでも理解でき、何らかのアクションに結びつけることのできる形へと、加工している。

3. ビッグデータのビジネスインテリジェンスはデータだけでなくインサイトを提供せよ

クライアント/サーバの時代にはBusiness Objectsなどの企業が、企業の役員たちに、彼らの力となるようなインサイトを提供して大きくなった。ビッグデータにおいても、Platforaのような企業に、同様の動きが見られる。Hadoopをエンジンとする同社は、さまざまなインサイトを視覚的に、そして継続的に提供している。〔*: insight,そのデータに何が見えるのか、そのデータから何が言えるのか、という、データの深い本質部分のこと。データそのものを物理層とすれば、インサイトはデータのアプリケーション層とも言える。〕

4. 各専門分野の知識や経験をプロダクトに埋め込め

さまざまな業界分野や技術分野の貴重な専門知識(domain expertise)を、ビッグデータの分析アプリケーションに必ず生かすこと。そうすると、その提供物は、顧客から重要視され、見ずに捨てられることがない。SAPがソフトウェア業界の巨人になったのは、それぞれ業界分野の異なるクライアント企業に対して、この手をフルに活用したからだ。

ビッグデータ分析に各業界分野等の専門知識を導入して成功しているPalantirなどの企業は、不正行為対策やサイバーセキュリティなど具体的なユースケースや、防衛、保険、医療、法の執行など専門的業界分野にむけて、人間とマシンの合作によるソリューションを提供している。またSplunkなどは、マシンデータをインサイトに変換して顧客に提供している。

5. わかりやすいインタフェイスで顧客に喜ばれよ

顧客企業のIT部門や現業部門のユーザたちに、データと対話できるための、説得力の強いインタフェイスを与えよ。ユーザがそのアプリケーションとどのように対話するのかを理解し、分かりやすくて楽しいユーザ体験を築くための細部に注力せよ。たとえばDropboxが大きくなったのは、ファイル共有のためのシンプルでわかりやすい方法をユーザに提供したからであり、そのおかげで同社は今や、全世界のユーザ数が2億を超えている。

わかりやすいインタフェイスを提供しているビッグデータ企業のひとつが、Tableauだ。同社は企業ユーザにとって分かりやすく、そしてインサイトを取り出しやすいデータ視覚化を提供している。またElasticsearchは、高速でリッチな検索体験を提供しているオープンソースのソリューションだ。

そして次に来るものは？

もうひとつ注目すべきは、物のインターネットが、あらゆる種類の、そしてあらゆる形のデータをビッグデータの世界に放り込むことによって、業界を大きく変えていくことだ。今それは、サーモスタットや電話機やウォッチや水飲み用のグラスなどだが、明日は、今のわれわれが知らないありとあらゆるところから、データの奔流が訪れる。データの所有権やライフサイクルや摂取について、考え方が変わり、新しい企業が続々と生まれる。それは明日以降に訪れるイノベーションの大波であり、これまでありえなかったプロダクトやサービスが新しい企業から生まれていく。また既存のそれらも、形を変えられる。そういう次の時代の想像力と創造力の主人公が、一人々々のあなたなのだ。

[原文へ]
（翻訳：iwatani(a.k.a. hiwa)）

自動車についている「OBD2コネクタ」というものをご存じだろうか。OBDとは、On-board diagnosticsの略で、これは自動車の点検用の規格である。このODB2コネクタを通じて、車速やエンジンの回転数をはじめとした、さまざまなデータを取得できるようになっている。

このOBD2コネクタにデータ送信用のデバイスを差し込み、スマートフォンを経由して車の健康状態や移動の履歴などを取得するといった取り組みを行っているスタートアップが米国で続々登場している。AUTOMATICやZubie、METROMILE 、MOJIO、Dashなどが存在している。ちなみにDashには国内からサイバーエージェントが出資をしている。

それぞれ、コネクタに挿したデバイスからスマートフォンにデータを送信することで、急発進や急ブレーキなどガソリンの無駄になるような運転をした場合に警告を出したり、ドライブの記録をしたりといったことを実現している。

この領域に日本で挑戦するのがスマートドライブだ。2013年10月に設立した同社は、ベンチャーキャピタルのANRIから出資を受けて、現在自動車向けのデバイスと、連携するスマートフォンアプリを開発している。

そんなスマートドライブだが、8月から柏の葉アーバンデザインセンター (UDCK)の協力のもと、千葉県の柏の葉スマートシティにて1カ月にわたる実証実験を開始することを明らかにした。今回の実証実験では、柏の葉スマートシティエリアの住人約20人が対象となる予定だ。

スマートドライブの手がけるシステムもOBD2コネクタにデータ送信用のデバイスを挿し、スマートフォンへリアルタイムに車の健康状態や運転ログを記録する。

アプリでは、1000以上のエンジンアラートのトラブル内容を閲覧できるほか、運転ログの閲覧、急ブレーキや急発進、走行速度の状況などから、燃費効率を分析し、「ポイント」という形で評価する。

年内にも販売を開始

スマートドライブでは、年内にも個人向けにプロダクトの販売を開始する予定。ただし、ビジネスの中心になるのは、保険会社などにデバイスを卸し、その契約者に使用してもらうといったようなBtoBtoCのモデルになるそうだ。

例えば米国の保険会社Progressiveは、契約者に「Snapshot」なるデバイスを提供している。このデバイスもOBD2コネクタに接続して使用するのだが、急ブレーキなどの回数などをもとに安全な運転をしているかを分析。安全運転であれば保険料の割引もなされるという取り組みをしている。スマートドライブでもこのような形で自動車保険や自動車整備関連の事業者を通じたデバイスの提供を狙う。

また将来的には、個々の車のデータを分析し、ビッグデータによる渋滞予測や交通事故予防などにも取り組む予定だという。