WebサイトをAPIに換えるImport.ioの”Data Factory” サービス

Import.ioはWebページをわずか数クリックでAPIに換えてくれるので、デベロッパはWebから容易にデータを取り出せるようになる。

今朝(米国時間10/28)のDisrupt Europeで同社がローンチしたサービス“Data Factory”は、それをさらに容易にする。

Data Factoryを理解するために、それをimport.ioのこれまでのサービスと比較してみよう:

現行サービスでは、WebページをデベロッパフレンドリなAPIに換え、デベロッパが書くプログラムからそのページのデータを取り出せるようにするために、import.ioはまず、特製の箱庭のようなブラウザを提供する。

ユーザはそのブラウザをロードして、その上でAPIに換えたいページのURLを開き、そしてそのページ上の、欲しいデータ成分を指定する。それはたとえば、検索ページの上の検索結果かもしれない。目的成分の指定が終わったら、そのページを名前を付けて保存する。これでAPIができあがる。そのデータはHTMLやCSV、XLSなどの形でエクスポートできる。

Data Factoryでは、その特製のブラウザが不要になり、使うときのクリック数も減る。特製ブラウザを使う方法もオプションとして残っているが、メインの方法はChromeブラウザ上にimport.ioボタンを置くブラウザエクステンションだ。このボタンの動作は二通りある:

  • import.ioがすでに知っているURLのページでボタンを押すと、そのページとデータ用APIがすぐに提供される。
  • import.ioにとって未知のページでボタンをクリックすると、import.ioはそのページのスクリーンショットを取る。ユーザは目的成分を高輝度にして、import.ioに送る。そうするとロンドンやインドの“ファクトリー”にいる人たちが素早くAPIを作ってユーザに送る。そのあとは、そのページはAPI対応になっているので、将来のユーザ(デベロッパ)でもデータをすぐに取り出せる。

import.ioの利用は完全に無料だが、今後はAPIの利用分析など、有料サービスも加えていきたい、という。また、無料アカウントは量制限を設けざるをえないだろう、とも。

Import.ioによると、今現在のユーザ数はおよそ8000で、彼らが作ったAPIの数はおよそ15000だ。Data Factoryでは、今のところ1000弱のサイトに関してはユーザにすぐにAPIを返せるし、その場合、使い方の教育訓練やその後のマウスクリックは不要だ。年内には、import.ioの既知のサイトを10000まで増やしたい、という。

実は“import.io”は9月のDisrupt SF(サンフランシスコ)のStartup Alleyに出た(展示のみでステージプレゼンなし)。でもベルリンで開かれた今週のDisrupt Europeでは、Battlefieldのコンペで戦った。


〔ここにスライドが表示されないときは、原文を見てください。〕

審査員Q&A

おもしろい技術だと思うが、想定している顧客は?

顧客は、ヨガのサイトでも、国立銀行でも、どこでもいいと思います。対象は、すごく広いです。しかも、それぞれの具体的な問題に対応できます。

単なるデータ取り出しで、サーバへの書き込みはできないのかな? つまり、リードオンリーのAPIか?

ユーザがブラウザ上でできることは、何でもできます。アクションを記録してそれをプレイバックすることもできるし、ユーザがブラウザ上でやるように、何でもPOSTできます。

これまで、こんなサービスがなかったのはなぜか? もしあったのなら、それらが成功しなかった理由は何か?

ページをスタティックなファイルに変えるツールはありました。それらは、かなり技術的に複雑でした。でもうちのサービスはきわめてシンプルで、一度に複数のWebサイトでも扱えるように、まったくゼロから設計しました。

データは無料ではない、と考える企業もあるね。裁判になるのを、どうやって避けるかね?

うちは単なるパイプですから、データを保存しません。誰かがデータを悪用したら、その人はそのサイトのTOS違反になるでしょう。

[原文へ]
(翻訳:iwatani(a.k.a. hiwa))


Webページの重要データをスプレッドシートに変えるImport.io, 人が読むWebから機械が読むWebへ

TechCrunch Disrupt San Francisco 2013のStartup Alleyに登場したImport.ioは、複数のWebページ上の重要なデータをスプレッドシートに変換して、より見やすく、そして(コンピュータ上で)使いやすくする、というサービスを提供する。

同社のCDO(Chief Data Officer) Andrew Foggの説明によると、Webページは本来、人間が“読む”ためのものである。でもマシンが情報を理解するためには、別の形式の方がよい。Import.ioを利用すると、データを手入力でクェリしたり、あるいはAPIからクェリすることができる。

彼らはこれまで長年、いろんなサービスを使ってWebサイトからデータをかき集めてきた。その苦労と不満の経験から生まれたのが、Import.ioだ。たとえばYahoo! Pipesは、いろんなWebサイトにアクセスして関連データを集めるシステムだった。Dapperは複数のWebページからデータをかき集めて、それらのコンテキストを構築するサービスだった。今日では、iftttZapierなどのサービスがデータコネクタを使って複数のアプリケーションをつなぎ合わせる。たとえばiftttを使うと、WebサイトからのフィードをSMSに結びつけるから、Webのアップデートをテキストメッセージでもらえる。

これらに比べるとImport.ioは新種のサービスで、これまで大量の手作業が必要だったデータの収集整理と、それらからの情報の取り出しを、素早くやってくれる。データの統合化は、今もっともホットな話題の一つだ。人びとは、複数のデータソースからの雑多なデータの集合に、価値を見いだし始めているからだ。だからImport.ioのようなサービスがこれからはデータの統合化を何らかの「形(かたち)」にして提供し、Web全体をマシンリーダブルなデータベースに変え、単なる“人が読むためのページ”以上の情報を、そこから取り出すことができるのだ。

Import.ioの実際のユースケースについては、上のビデオをご覧いただきたい。

[原文へ]
(翻訳:iwatani(a.k.a. hiwa))