Apache Kafkaにオンデマンドの自動化スケーラビリティを導入

いまは一部の企業が自分たちが思ってもみなかったほどの規模にまで大きくなることを求められる時代だ。ときには、その利用の増加は突如としてやってくる。常時必要なキャパシティではないから、定額の料金としては払いたくない。Confluent(コンフルレント)は米国時間5月6日、同社のApache Kafka(アパッチ・カフカ)クラウドサービスに、オンデマンドのスケーリング機能を新たに加えた。必要に応じて自動的にスケールアップ・ダウンを可能にする機能だ。

ConfluentのCEOを務めるJay Kreps(ジェイ・クレプス)氏によると、この伸縮性は議論の余地なくクラウドコンピューティングの最も重要な機能であり、このスケールアップ・ダウンが調整可能な機能は企業がクラウドに引かれる主な要因の1とつだ。リソースの伸縮の自動化は、DevOpsから彼らの大きな悩みの種を1つ取り除く。

クレプス氏は「この新たな機能でユーザーは、KafkaおよびKSQLやKafka Connectのような、エコシステムの主要な部位を動的にスケールできる。重要な機能でありながら、アプリケーションレベルのサービスでこれをやってるところは、まだほとんどない」と語る。

同氏によるとこの機能は、人々が在宅で仕事をするようになった今、特にに重要だそうだ。システムの負荷はこれまでになく重いため、この自動的な伸縮性がとても役に立つ。そして費用効果と効率を従来になく高める。

「顧客は必要に応じてキャパシティを増やせるし、スケールダウンして経費を節約できる。いずれも、事前の計画はいらない」と同氏。

この新たなスケーリング伸縮機能はConfluentのプラットホームの一連のアップデートの一環だ。それらのアップデートはProject Metamorphosisと総称されており、年内を通して定期的に展開される。

「今年中に展開する一連のリリースで、Confluent CloudのKafkaエコシステムにモダンなクラウドデータシステムの能力を導入する。各月に1つずつ大きな機能を発表するつもりだが、その第一弾が伸縮性だ」とクレプス氏は述べる。

同社は先月、45億ドル(約4782億円)の評価額で2億5000万ドル(約265億6850万円)という巨額の資金調達を発表したが、そのときにクレプス氏は初めてMetamorphosisを発表した。パンデミックで経済が低迷しているにも関わらずConfluentは、本日の発表が証明しているようにプロダクトの構築を継続していくつもりだ。

[原文へ]

(翻訳:iwatani、a.k.a. hiwa

Confluentがリアルタイムストリーミングデータクラウドサービス向けの無料利用枠を追加

2017年にクラウドサービスを開始したConfluent(コンフルーエント)は、Kafkaストリーミングデータアプリケーションの実行に伴う複雑さの軽減を目指していた。米国時間9月30日、同社はそのクラウドサービスに無料利用枠を導入した。同社は、大規模なテクノロジー企業顧客を超えて、市場を拡大したいと考えている。この無料利用枠によって小規模企業でも簡単に始められるようになる。

新しいプランは最大3カ月間、1カ月に最大50ドルのサービスを提供するというもの。同社のCEOであるJay Kreps(ジェイ・クレプス)氏によれば50ドルというのはそれほど十分な量とは思えないかもしれないが、実際には数百GBのスループットに相当するもので、同社のツールを始めやすくするものだと言う。

「私たちはこのテクノロジーを本当に使いやすくできると考えています。できるだけ簡単なものにすることができます。私たちはただ、すぐに始めることができて、リアルタムデータストリームを使うアプリケーションの構築を無償で始めることができるようにしたいのです」とクレプス氏は語る。

Kafkaは、2011年以降オープンソース製品として提供されている。このため、ダウンロードしてインストールし、アプリケーションを開発することは、これまでも無償だった。しかしそれを実行するには、莫大な計算ならびに技術リソースが必要である。同社のクラウドサービスはそれを簡素化するように設計されていて、今回の無料利用枠により開発者は大規模な投資をせずに、快適に小さなアプリケーションを構築することができる。

無料版を使ってKafkaでの作業に慣れたら、ユーザーは自分にとって意味のあるオプションを購入し、使用した分だけの支払いを行うことができる。顧客の個々の要件に応じて、Kafkaの価値をあまり引き出せないかもしれないし、数百ドルに相当する価値を引き出せるかもしれない。「無料期間が終わったら、11セントぶんのKafkaを買ったり、10ドル分の必要量を買ったり、もしくはConfluent Cloudを配車サービスの一部に利用しているLyftのような大規模ユーザーになることもできます」と彼は言う。

無料のSaaSトライアルは一般的なマーケティング手法のように思えるかも知れないが、クレプス氏は、Kafkaのようなサービスでそれを実現することは遥かに難しいのだと言う。「インフラストラクチャのチャンク全体を割り当てる、分散システムのようなものを使っている場合には、ゼロから柔軟にスケールアップしていく機能を提供することは、技術的に非常に難しいことなのです。そして、それを可能にするために膨大な量のエンジニアリングが注ぎ込まれます」と、クレプス氏は説明した。

Kafkaは、大量のデータストリームをリアルタイムで処理する。もともとはLinkedIn内で開発され、2011年にオープンソース化された。Confluentは、2014年にオープンソースプロジェクト上の商用組織として立ち上げられた。1月には、同社は25億ドル(約2710億円)の評価額で1億2500万ドル(約135億円)を調達した。Crunchbaseのデータによれば、これまでに2億500万ドル(約222億円)以上を調達している。

画像クレジット:Getty Images

[原文へ]
(翻訳:sako)

ConfluentがKafkaによるメッセージングシステムの長年の夢、‘正確に一度だけ’をついに実現

オープンソースの分散メッセージストリーミングツールApache Kafkaの商用化サービス(リアルタイムデータストリーミング)を提供しているConfluentが今週、Kafkaのユーザーにとって嬉しい機能を発表した。それは、Kafkaを使ってメッセージを、“正確に一度だけ”送る能力だ。

それのどこがすごいのか、門外漢には分かりづらいが、Kafkaのような高速メッセージングツールを使っている人たちにとっては、長年の見果てぬ夢だった。コミュニティの人たちは、実現不可能とも思っていた。

通常、メッセージを送る側は、それが届いたという受信確認を待つ。しかしConfluentのCTO Neha Narkhedeによると、Kafkaのような分散メッセージングシステムでは、途中で問題が起きることがある。コンピューターのエラー、ネットワークの障害、などなど。しかしたとえば金融関連のトランザクションなどでは、メッセージは確実に一度だけ送られてほしい。二度以上は、ノーだ。

多くの人びとが“正確に一度だけ”は達成不可能な目標と考えているのは、それを実現するためのスピードと正確さのトレードオフが大きすぎるからだ。しかしNarkhedeによると、同社はこの問題に大量の技術者をつぎ込み、1年がかりでやっと、長年探し求めていた解に到達した。

それを実現している技術的細部はきわめて多い。そしてNarkhedeによると、随所に技術的なトレードオフもあるが、でもみんなが考えるほど多くはない。というか、彼女によると、同社はこの問題を解決しただけでなく、メッセージのスピードを犠牲にすることなくそれを達成したのだ。

“正確に一度だけのモードでも、パフォーマンスのオーバヘッドはほとんど無視できる。そして通常モードでは、パフォーマンスは従来より向上した”、と彼女は語る。

その新しいリリースは、通常の利用で20%速くなり、“正確に一度だけ”の機能を使うと3〜10%のスピードペナルティが生じる。彼女によると、正確に一度だけではつねに多少のオーバヘッドは生ずるが、今後数か月の努力でそれをできるだけなくしていきたい、という。

彼女によると、この機能を眉唾で見ている人がまだ多い。頭がおかしいんじゃないか、と言う人もいる。長年、誰も解決できなかった問題だ。実際にそのとおり動くことを、どうやって確認するのだ? …彼女はコミュニティが抱(いだ)いている疑念を、このように表現した。

“何千時間もテストをした。パフォーマンスにはとくに気をつけた。Kafkaのアーキテクチャを抜本的に再検討し、全体的な高速化を図った。一年がかりで、やっと使えるようになった”、とこれまでの努力を彼女は説明する。

Confluentは3月に5000万ドルを調達し、調達総額は8000万ドルになった。Kafkaは最初、LinkedInで作られ、その後オープンソースのコミュニティへ移った。Confluentは、2014年に創業された。

[原文へ]
(翻訳:iwatani(a.k.a. hiwa))

Confluentが$50Mを調達してApache Kafkaの商用化にますます邁進…巨大テク企業の不可欠の構築ベースへ

オープンソースのストリーミングデータベースプロジェクトApache Kafkaの商用サービスを提供しているConfluentが今日(米国時間3/7)、5000万ドルの資金調達を発表した。

そのラウンドはSequoiaがリードし、BenchmarkとIndex Venturesが参加した。SequoiaのMatt Millerが、これを機にConfluentの取締役会に加わる。これで同社の資金調達総額は8000万ドルになる。

Kafkaは一種のメッセージングシステムだが、LinkedInがこれを最初にオリジナルで作ったときは、大量のデータをアプリケーション間、システム間、オンプレミスとクラウドの間などでスムーズに移動することが目的だった。一度にものすごく大量のメッセージを扱えることが、要件とされた。

ConfluentのCEO Jay Krepsによると、LinkedInのチームは、企業内のすべてのデータを、それらがどこにあろうと扱えて、またデータへのアクセスや応答がどこからでもできることを目標とした。“毎日1兆件のメッセージをリアルタイムで処理できるそのシステムをわれわれはオープンソースにして、シリコンバレー全域に普及させた。今の巨大テクノロジー企業の中には、Kafkaを軸として構築されているところが少なくない”、という。

内部システムの中核としてKafkaを使っている企業の例として、Netflix, Uber, Cisco, Goldman Sachsなどが挙げられる。リード投資家SequoiaのMatt Millerは、事前にこれらユーザー企業に聞き取りをして、Confluentの今後の市場が巨大であることを確信した。“Confluentは次の10年でもっともインパクトの大きい企業になりうる、とわれわれは見ている”、と彼は語る。

Confluentには無料のコミュニティエディションもあるが、企業ユーザーの多くは補助的ツールの揃った有料エディションを使いたがる。それらのツールは、複雑な企業内におけるデータフローを管理しモニタするツール、Kafkaのクラスタ上におけるデータフローの最適化と均衡化のために全社的なデータフローを追跡するツールなどだ。さらにConfluentは、いくつかのサポートプランを用意している。

Millerによると、社内の多様なシステムをKafkaを使わずに接続することはできるが、それは効率が悪くて費用も大きい。“多くの企業が、場当たり的な統合化や、時間のかかるバッチ処理でお茶を濁してきた。Kafkaを使えば、もっと安上がりに大量の情報を共有できるし、古いシステムから乳離れしてマイクロサービスへの移行もできる”、と彼は説明する。

大量のデータを扱えてしかもさまざまなシステムと迅速にコミュニケートできるKafkaは、IoTにもすごく向いている。数年後にはIoTが生成するデータが膨大な量になり、しかも企業は、それらのデータを迅速有効に利用するための方法を必要とするのだ。

今度の5000万ドルの使いみちとしてKrepsは、急速に成長している市場への対応能力の完備を挙げる。“この動きの激しい分野で先頭を走っているのだから、今後も先頭を維持しなければならない。順位が下がることは許されない。これからも、このカテゴリーの定義といえばこれ!、と言えるような技術を作り出し、それを世界中の市場に持ち込む必要がある”、と彼は語る。

[原文へ]
(翻訳:iwatani(a.k.a. hiwa))

リアルタイムデータストリーミングApache Kafkaの商用サービスConfluentが$24MのシリーズBを完了

screenshot-2015-07-07-at-17-13-49

リアルタイムのストリームデータサービスKafkaは、5年あまり前にLinkedIndで生まれた。その後KafkaはApacheのオープンソースプロジェクトになり、最初のデベロッパたちは昨年LinkedInを去って、企業向けにKafkaサービスを提供していくConfluentを立ち上げた。

そのConfluentが今日(米国時間7/8)、Index Ventures率いるシリーズBのラウンドで2400万ドルを調達したことを発表した。これには、同社の700万ドルのシリーズAを仕切ったBenchmark Venturesも参加した。

Confluentの計画では、この資金は同社のプラットホームの充実強化に充てられる。具体的には、セキュリティ機能と管理ツールを改良し、Kafkaのストリーム処理能力も強化する。また、既存のデータベース用のプラグインも、対応データベースを今より多くしていく。

Apache Kafkaの中核的な機能はリアルタイムのメッセージングサービスだ。たとえばLinkedInでは、毎日8000億あまりのメッセージを処理した(バックエンドツールとユーザへの通知を合わせて)。現在のユーザはたとえばLinkedIn、Netflix、Uber、Cisco、Goldman Sachsなどだ。そのリアルタイムの処理能力は、これから伸びる物のインターネット(IoT)関連のサービスや、同じく大量のデータを扱うオンラインのゲームサービスなどにうってつけだ。またマイクロサービスを軸とするアーキテクチャが主流になりつつある今日のトレンドでは、ユーザとデータベースのあいだを行き来するデータのためのハブおよびバッファとしてもKafkaが重宝されるだろう。たとえばHadoopが取り込むデータや、同じくLinkedIn生まれのApache Samzaがフィードするストリームの処理にも利用できる〔すでにKafkaを使用〕。既存のデータベースを抱える企業は、Kafka提供のプラグインを使ってそれらとKafkaを接続できる。そのため、データベースシステムを更新しなくても、これらの新しい技術を利用できる。

diagram_1

ConfluentのCEO Jay Krepsと技術部門のトップNeha Narkhede(彼らとJun Raoの計3名が協同ファウンダ)によると、今回Indexをラウンドのリーダーとして選んだのは、このVC企業が、過去にもHortonworksやElastic(元elasticsearch)を扱うなど、オープンソース企業の経験が厚いからだ。IndexのパートナーMike Volpiが、Confluentの取締役会に加わる。

そのVolpiは今日の発表声明の中で、次のように述べている: “Confluentのプラットホームは、それぞれ異なるチームによって作られた何百ものアプリケーションをサポートでき、それらの重要なアップデートにも対応できるほど、十分にスケーラブルであり信頼性にも富む。そのストリーム処理機能を既存のアプリケーションやデータベースに容易に統合して、リアルタイムの処理能力を持たせることができる。JayとNehaとJunの三名は高度にインテリジェントなプロダクトを作った。その今後の継続的な成長を支援できることは、まことに喜ばしい”。

ConfluentはKafkaを、サポートを伴う商用製品として提供するだけでなく、同プラットホームに関する技術的なコンサルティングや教育訓練サービスも提供している。

[原文へ]
(翻訳:iwatani(a.k.a. hiwa