AWSの新サービスKinesis AnalyticsはリアルタイムストリーミングデータをSQLで分析できる

aws_logo

AmazonのクラウドコンピューティングプラットホームAWSが今日(米国時間8/11)、リアルタイムのストリーミングデータをSQLのクェリで容易に分析できるツール、Kinesis Analyticsを立ち上げた。Kinesis Analyticsは、AWSのリアルタイムストリーミングデータプラットホームKinesisを利用するユーザー向けだ。デベロッパーは、Kinesisを使ってストリーミングデータを取り込み、それを自分たちのアプリケーションで使用する。

Kinesis Analyticsを使えば、入ってくるデータを継続的なSQLクェリでフィルタしたり操作することによって、データをアプリケーションがすぐにでも使える形にできる。

AWSのチーフエヴァンジェリストJeff Barrが今日書いているところによると、通常のデータベースクェリは基本的に静的なデータを見る。しかしストリーミングデータに対してKinesis Analyticsでクェリするようになると、このモデルは二義的になる。“クェリは長期にわたって行われ、その間にデータは、新しいレコードや観察結果、ログのエントリーなどとして毎秒何度も々々々変わる。データをそんな動的なものとしてとらえるようになると、クェリによるそれらの処理がとても理解しやすいことが、分かるだろう。パーシステントな(持続的な)クェリを作って、次々と到着するレコードを処理するのだ”、と彼は語る。

2016-08-11_0907

Kinesis Analyticsの主な対象はリアルタイムデータだが、ときには、ちょっとした遅れを挿入したり、到着したデータを集めてバッチ処理した方が、その集まったデータに見られるトレンドを見つけやすくなる。そんなユースケースのためにKinesis Analyticsでは、“ウィンドウ(窓)”をセットできる。窓には三種類あり、周期的なレポート用にはタンブリングウィンドウ、モニタしてトレンドを見つける用途にはスライディングウィンドウ、この二つでだめなときには、時間間隔を任意に設定できるカスタムウィンドウを作れる(何らかの対話性に基づく間隔でもよい)。

Kinesis Analyticsは、AWS Lambdaのように、サーバーレスで処理を行うAWSのプロジェクトの一環だ。このサービスの標準的なユースケースはIoTのアプリケーションだと思われるが、そのほかに、オーディエンス追跡システムや、広告の取り替え処理、リアルタイムのログ分析などにも好適だ。しかもSQLがそのまま使えるので、特殊なSDKをインストールしたり、新しい言語を勉強する必要はない。

このサービスは現在、AmazonのEU(アイルランド)、US East(ノース・ヴァージニア)、US West(オレゴン)の各リージョンで使える。料金は処理量に応じての従量制だ。処理量の単位は、仮想コア一つ、メモリ4GBの仮想マシン一台相当とする。それは、アメリカのリージョンでは1時間あたり11セント、アイルランドのデータセンターでは12セントだ。ただし料金は可変であり、たとえば追加のデータをバーストで処理するような場合には変わる。デフォルトの料金は、毎秒1000レコードというデータ取り込み量を想定している。サービスのスケールアップ/ダウンは、必要に応じて自動的に行われる。

[原文へ]
(翻訳:iwatani(a.k.a. hiwa))