Kafka(Apache Kafka)は、データストリームの入力を〔緩衝バッファ的に〕扱うオープンソースのツールだ。しかし強力なツールだけに、そのセットアップや管理は難しい。そこでAmazonのAWSは、Kafkaの難易度を下げるために、管理をAWSが担当するクラウドサービスとしてのKafka、Amazon Managed Streaming for Kafkaをローンチした。長い名前だけどこれは、AWS上で完全に管理される可用性の高いサービスだ。今それは、公開プレビューで提供されている。
AWSのCTO Werner VogelsはAWS re:Inventのキーノートで、従来のKafkaユーザーはクラスターをAWS上にセットアップするために重労働をし、またスケーラビリティもエラー処理も自分で面倒見なければならなかった、と述べた。“失敗するたびにクラスターとメインノードのすべてをリスタートするのは悪夢だった。そんな重労働を、AWSなら肩代わりできる”、と彼は言う。
AWSには、Kafkaと似たようなストリーミングデータの入力ツールKinesisがある。しかし現状では、Kafkaを使っているアプリケーションの方が圧倒的に多い。そういうデベロッパーをAWSがユーザーとして維持しあるいは取り込むためには、マネージドKafkaが絶好の誘導路だ。
例によってAWSのサービスは料金体系が複雑だが、Kafkaのベーシックなインスタンスは1時間21セントからスタートする。しかしインスタンスが一つだけという使い方はあまりないので、たとえばKafkaブローカーが三つで大きなストレージなどが付くと、月額500ドルはゆうに超えるだろう。
