Apache Kafkaにオンデマンドの自動化スケーラビリティを導入

いまは一部の企業が自分たちが思ってもみなかったほどの規模にまで大きくなることを求められる時代だ。ときには、その利用の増加は突如としてやってくる。常時必要なキャパシティではないから、定額の料金としては払いたくない。Confluent(コンフルレント)は米国時間5月6日、同社のApache Kafka(アパッチ・カフカ)クラウドサービスに、オンデマンドのスケーリング機能を新たに加えた。必要に応じて自動的にスケールアップ・ダウンを可能にする機能だ。

ConfluentのCEOを務めるJay Kreps(ジェイ・クレプス)氏によると、この伸縮性は議論の余地なくクラウドコンピューティングの最も重要な機能であり、このスケールアップ・ダウンが調整可能な機能は企業がクラウドに引かれる主な要因の1とつだ。リソースの伸縮の自動化は、DevOpsから彼らの大きな悩みの種を1つ取り除く。

クレプス氏は「この新たな機能でユーザーは、KafkaおよびKSQLやKafka Connectのような、エコシステムの主要な部位を動的にスケールできる。重要な機能でありながら、アプリケーションレベルのサービスでこれをやってるところは、まだほとんどない」と語る。

同氏によるとこの機能は、人々が在宅で仕事をするようになった今、特にに重要だそうだ。システムの負荷はこれまでになく重いため、この自動的な伸縮性がとても役に立つ。そして費用効果と効率を従来になく高める。

「顧客は必要に応じてキャパシティを増やせるし、スケールダウンして経費を節約できる。いずれも、事前の計画はいらない」と同氏。

この新たなスケーリング伸縮機能はConfluentのプラットホームの一連のアップデートの一環だ。それらのアップデートはProject Metamorphosisと総称されており、年内を通して定期的に展開される。

「今年中に展開する一連のリリースで、Confluent CloudのKafkaエコシステムにモダンなクラウドデータシステムの能力を導入する。各月に1つずつ大きな機能を発表するつもりだが、その第一弾が伸縮性だ」とクレプス氏は述べる。

同社は先月、45億ドル(約4782億円)の評価額で2億5000万ドル(約265億6850万円)という巨額の資金調達を発表したが、そのときにクレプス氏は初めてMetamorphosisを発表した。パンデミックで経済が低迷しているにも関わらずConfluentは、本日の発表が証明しているようにプロダクトの構築を継続していくつもりだ。

[原文へ]

(翻訳:iwatani、a.k.a. hiwa

Confluentがリアルタイムストリーミングデータクラウドサービス向けの無料利用枠を追加

2017年にクラウドサービスを開始したConfluent(コンフルーエント)は、Kafkaストリーミングデータアプリケーションの実行に伴う複雑さの軽減を目指していた。米国時間9月30日、同社はそのクラウドサービスに無料利用枠を導入した。同社は、大規模なテクノロジー企業顧客を超えて、市場を拡大したいと考えている。この無料利用枠によって小規模企業でも簡単に始められるようになる。

新しいプランは最大3カ月間、1カ月に最大50ドルのサービスを提供するというもの。同社のCEOであるJay Kreps(ジェイ・クレプス)氏によれば50ドルというのはそれほど十分な量とは思えないかもしれないが、実際には数百GBのスループットに相当するもので、同社のツールを始めやすくするものだと言う。

「私たちはこのテクノロジーを本当に使いやすくできると考えています。できるだけ簡単なものにすることができます。私たちはただ、すぐに始めることができて、リアルタムデータストリームを使うアプリケーションの構築を無償で始めることができるようにしたいのです」とクレプス氏は語る。

Kafkaは、2011年以降オープンソース製品として提供されている。このため、ダウンロードしてインストールし、アプリケーションを開発することは、これまでも無償だった。しかしそれを実行するには、莫大な計算ならびに技術リソースが必要である。同社のクラウドサービスはそれを簡素化するように設計されていて、今回の無料利用枠により開発者は大規模な投資をせずに、快適に小さなアプリケーションを構築することができる。

無料版を使ってKafkaでの作業に慣れたら、ユーザーは自分にとって意味のあるオプションを購入し、使用した分だけの支払いを行うことができる。顧客の個々の要件に応じて、Kafkaの価値をあまり引き出せないかもしれないし、数百ドルに相当する価値を引き出せるかもしれない。「無料期間が終わったら、11セントぶんのKafkaを買ったり、10ドル分の必要量を買ったり、もしくはConfluent Cloudを配車サービスの一部に利用しているLyftのような大規模ユーザーになることもできます」と彼は言う。

無料のSaaSトライアルは一般的なマーケティング手法のように思えるかも知れないが、クレプス氏は、Kafkaのようなサービスでそれを実現することは遥かに難しいのだと言う。「インフラストラクチャのチャンク全体を割り当てる、分散システムのようなものを使っている場合には、ゼロから柔軟にスケールアップしていく機能を提供することは、技術的に非常に難しいことなのです。そして、それを可能にするために膨大な量のエンジニアリングが注ぎ込まれます」と、クレプス氏は説明した。

Kafkaは、大量のデータストリームをリアルタイムで処理する。もともとはLinkedIn内で開発され、2011年にオープンソース化された。Confluentは、2014年にオープンソースプロジェクト上の商用組織として立ち上げられた。1月には、同社は25億ドル(約2710億円)の評価額で1億2500万ドル(約135億円)を調達した。Crunchbaseのデータによれば、これまでに2億500万ドル(約222億円)以上を調達している。

画像クレジット:Getty Images

[原文へ]
(翻訳:sako)

AWSがマネージドKafkaサービスをローンチ、難しいセットアップや管理からデベロッパーを解放

Kafka(Apache Kafka)は、データストリームの入力を〔緩衝バッファ的に〕扱うオープンソースのツールだ。しかし強力なツールだけに、そのセットアップや管理は難しい。そこでAmazonのAWSは、Kafkaの難易度を下げるために、管理をAWSが担当するクラウドサービスとしてのKafka、Amazon Managed Streaming for Kafkaをローンチした。長い名前だけどこれは、AWS上で完全に管理される可用性の高いサービスだ。今それは、公開プレビューで提供されている。

AWSのCTO Werner VogelsはAWS re:Inventのキーノートで、従来のKafkaユーザーはクラスターをAWS上にセットアップするために重労働をし、またスケーラビリティもエラー処理も自分で面倒見なければならなかった、と述べた。“失敗するたびにクラスターとメインノードのすべてをリスタートするのは悪夢だった。そんな重労働を、AWSなら肩代わりできる”、と彼は言う。

AWSには、Kafkaと似たようなストリーミングデータの入力ツールKinesisがある。しかし現状では、Kafkaを使っているアプリケーションの方が圧倒的に多い。そういうデベロッパーをAWSがユーザーとして維持しあるいは取り込むためには、マネージドKafkaが絶好の誘導路だ。

例によってAWSのサービスは料金体系が複雑だが、Kafkaのベーシックなインスタンスは1時間21セントからスタートする。しかしインスタンスが一つだけという使い方はあまりないので、たとえばKafkaブローカーが三つで大きなストレージなどが付くと、月額500ドルはゆうに超えるだろう。

more AWS re:Invent 2018 coverage

[原文へ]
(翻訳:iwatani(a.k.a. hiwa

Kafkaクラスターの自動ロードバランシングツールCruise ControlをLinkedInが発表

今日(米国時間8/28)サンフランシスコで行われたKafka SummitLinkedInが、KafkaのクラスターのためのロードバランサーツールCruise Controlを発表した。

LinkedInが開発したオープンソースのメッセージストリーミングツールKafkaは、それを使えば、ネットワーク上で大量のデータをアプリケーション間でリアルタイムに送受するタスクが簡単にできる。Cruise ControlのプロジェクトをリードしたソフトウェアエンジニアJiangjie Qinによると、Kafkaは今、ほとんど必須のツールになっているので、今LinkedInには専用のサーバーが1800台、それらが…つまりKafkaが…一日に2兆あまりのトランザクションを動かしている。

これだけの量であれば当然、Kafkaのクラスターを正常に動かし続けることはユーザーの企業にとってミッションクリティカルであり、そこで今年早期にチームは、クラスターの異状を見つけるツールを作ろうとした。そしてそのツールは、既定の一連のルールに従ってクラスターを自動的に構成し、適正な数のリソースを使用し、不具合を自己修復して動き続けるようにする。そのツールが、Cruise Controlになった。

Cruise Controlを作る前には、クラスターがダウンするたびにそれを手作業で再構成しなければならず、しかもQinによると、再構成に不正があると将棋倒しのようにほかのクラスターたちに悪影響が及ぶ。若干の人間の監視のもとに、マシン自身にクラスターの管理をやらせれば、その過程が大幅に単純化され、成長するネットワークのニーズに合わせてクラスターの修復作業のスケーリング(規模拡大)も可能になり、技術者たちが手作業でやっていたときに比べると仕事は大幅に効率化される(人力では不可能なほどに)。

Qinの説明によると、それらはロードバランシングの問題に帰結する。クラスターは、他のクラスターに迷惑をかけずに、正しい数のリソースで動いているか? 彼によるとこの問題はさらに、よくある構成上の問題を見つけ、ひとつひとつのクラスターに適正な目標を適用することに帰結する。人間でなく機械なら、クラスターのニーズを素早く評価し、一連の一般的な構成および目標と比較対照し、正しいものを選ぶ。

Cruise Controlはその際、この最適化プランでよろしいか?と人間に尋ねる。

なぜそんなツールが、もっと前からなかったのか、それについてQinは、技術者の数を最近増やすまでは、そっちにリソースを回す余裕がなかった、と答えた。

クラスターの構成とリソースの使用量を機械にチェックさせる今回のソリューションが完成するまでに、約半年を要している。同社はこのツールをオープンソースでリリースし、Kafkaクラスターのロードバランシングを改善するだけでなく、そのほかの分散システムにも同じロードバランシングの原理を適用できるようにしたい、と考えている。いろんなユースケースで、便利に使えるはずだ、とQinは述べている。

[原文へ]
(翻訳:iwatani(a.k.a. hiwa))

ConfluentがKafkaによるメッセージングシステムの長年の夢、‘正確に一度だけ’をついに実現

オープンソースの分散メッセージストリーミングツールApache Kafkaの商用化サービス(リアルタイムデータストリーミング)を提供しているConfluentが今週、Kafkaのユーザーにとって嬉しい機能を発表した。それは、Kafkaを使ってメッセージを、“正確に一度だけ”送る能力だ。

それのどこがすごいのか、門外漢には分かりづらいが、Kafkaのような高速メッセージングツールを使っている人たちにとっては、長年の見果てぬ夢だった。コミュニティの人たちは、実現不可能とも思っていた。

通常、メッセージを送る側は、それが届いたという受信確認を待つ。しかしConfluentのCTO Neha Narkhedeによると、Kafkaのような分散メッセージングシステムでは、途中で問題が起きることがある。コンピューターのエラー、ネットワークの障害、などなど。しかしたとえば金融関連のトランザクションなどでは、メッセージは確実に一度だけ送られてほしい。二度以上は、ノーだ。

多くの人びとが“正確に一度だけ”は達成不可能な目標と考えているのは、それを実現するためのスピードと正確さのトレードオフが大きすぎるからだ。しかしNarkhedeによると、同社はこの問題に大量の技術者をつぎ込み、1年がかりでやっと、長年探し求めていた解に到達した。

それを実現している技術的細部はきわめて多い。そしてNarkhedeによると、随所に技術的なトレードオフもあるが、でもみんなが考えるほど多くはない。というか、彼女によると、同社はこの問題を解決しただけでなく、メッセージのスピードを犠牲にすることなくそれを達成したのだ。

“正確に一度だけのモードでも、パフォーマンスのオーバヘッドはほとんど無視できる。そして通常モードでは、パフォーマンスは従来より向上した”、と彼女は語る。

その新しいリリースは、通常の利用で20%速くなり、“正確に一度だけ”の機能を使うと3〜10%のスピードペナルティが生じる。彼女によると、正確に一度だけではつねに多少のオーバヘッドは生ずるが、今後数か月の努力でそれをできるだけなくしていきたい、という。

彼女によると、この機能を眉唾で見ている人がまだ多い。頭がおかしいんじゃないか、と言う人もいる。長年、誰も解決できなかった問題だ。実際にそのとおり動くことを、どうやって確認するのだ? …彼女はコミュニティが抱(いだ)いている疑念を、このように表現した。

“何千時間もテストをした。パフォーマンスにはとくに気をつけた。Kafkaのアーキテクチャを抜本的に再検討し、全体的な高速化を図った。一年がかりで、やっと使えるようになった”、とこれまでの努力を彼女は説明する。

Confluentは3月に5000万ドルを調達し、調達総額は8000万ドルになった。Kafkaは最初、LinkedInで作られ、その後オープンソースのコミュニティへ移った。Confluentは、2014年に創業された。

[原文へ]
(翻訳:iwatani(a.k.a. hiwa))

Confluentが$50Mを調達してApache Kafkaの商用化にますます邁進…巨大テク企業の不可欠の構築ベースへ

オープンソースのストリーミングデータベースプロジェクトApache Kafkaの商用サービスを提供しているConfluentが今日(米国時間3/7)、5000万ドルの資金調達を発表した。

そのラウンドはSequoiaがリードし、BenchmarkとIndex Venturesが参加した。SequoiaのMatt Millerが、これを機にConfluentの取締役会に加わる。これで同社の資金調達総額は8000万ドルになる。

Kafkaは一種のメッセージングシステムだが、LinkedInがこれを最初にオリジナルで作ったときは、大量のデータをアプリケーション間、システム間、オンプレミスとクラウドの間などでスムーズに移動することが目的だった。一度にものすごく大量のメッセージを扱えることが、要件とされた。

ConfluentのCEO Jay Krepsによると、LinkedInのチームは、企業内のすべてのデータを、それらがどこにあろうと扱えて、またデータへのアクセスや応答がどこからでもできることを目標とした。“毎日1兆件のメッセージをリアルタイムで処理できるそのシステムをわれわれはオープンソースにして、シリコンバレー全域に普及させた。今の巨大テクノロジー企業の中には、Kafkaを軸として構築されているところが少なくない”、という。

内部システムの中核としてKafkaを使っている企業の例として、Netflix, Uber, Cisco, Goldman Sachsなどが挙げられる。リード投資家SequoiaのMatt Millerは、事前にこれらユーザー企業に聞き取りをして、Confluentの今後の市場が巨大であることを確信した。“Confluentは次の10年でもっともインパクトの大きい企業になりうる、とわれわれは見ている”、と彼は語る。

Confluentには無料のコミュニティエディションもあるが、企業ユーザーの多くは補助的ツールの揃った有料エディションを使いたがる。それらのツールは、複雑な企業内におけるデータフローを管理しモニタするツール、Kafkaのクラスタ上におけるデータフローの最適化と均衡化のために全社的なデータフローを追跡するツールなどだ。さらにConfluentは、いくつかのサポートプランを用意している。

Millerによると、社内の多様なシステムをKafkaを使わずに接続することはできるが、それは効率が悪くて費用も大きい。“多くの企業が、場当たり的な統合化や、時間のかかるバッチ処理でお茶を濁してきた。Kafkaを使えば、もっと安上がりに大量の情報を共有できるし、古いシステムから乳離れしてマイクロサービスへの移行もできる”、と彼は説明する。

大量のデータを扱えてしかもさまざまなシステムと迅速にコミュニケートできるKafkaは、IoTにもすごく向いている。数年後にはIoTが生成するデータが膨大な量になり、しかも企業は、それらのデータを迅速有効に利用するための方法を必要とするのだ。

今度の5000万ドルの使いみちとしてKrepsは、急速に成長している市場への対応能力の完備を挙げる。“この動きの激しい分野で先頭を走っているのだから、今後も先頭を維持しなければならない。順位が下がることは許されない。これからも、このカテゴリーの定義といえばこれ!、と言えるような技術を作り出し、それを世界中の市場に持ち込む必要がある”、と彼は語る。

[原文へ]
(翻訳:iwatani(a.k.a. hiwa))