AWSがマネージドKafkaサービスをローンチ、難しいセットアップや管理からデベロッパーを解放

Kafka(Apache Kafka)は、データストリームの入力を〔緩衝バッファ的に〕扱うオープンソースのツールだ。しかし強力なツールだけに、そのセットアップや管理は難しい。そこでAmazonのAWSは、Kafkaの難易度を下げるために、管理をAWSが担当するクラウドサービスとしてのKafka、Amazon Managed Streaming for Kafkaをローンチした。長い名前だけどこれは、AWS上で完全に管理される可用性の高いサービスだ。今それは、公開プレビューで提供されている。

AWSのCTO Werner VogelsはAWS re:Inventのキーノートで、従来のKafkaユーザーはクラスターをAWS上にセットアップするために重労働をし、またスケーラビリティもエラー処理も自分で面倒見なければならなかった、と述べた。“失敗するたびにクラスターとメインノードのすべてをリスタートするのは悪夢だった。そんな重労働を、AWSなら肩代わりできる”、と彼は言う。

AWSには、Kafkaと似たようなストリーミングデータの入力ツールKinesisがある。しかし現状では、Kafkaを使っているアプリケーションの方が圧倒的に多い。そういうデベロッパーをAWSがユーザーとして維持しあるいは取り込むためには、マネージドKafkaが絶好の誘導路だ。

例によってAWSのサービスは料金体系が複雑だが、Kafkaのベーシックなインスタンスは1時間21セントからスタートする。しかしインスタンスが一つだけという使い方はあまりないので、たとえばKafkaブローカーが三つで大きなストレージなどが付くと、月額500ドルはゆうに超えるだろう。

more AWS re:Invent 2018 coverage

[原文へ]
(翻訳:iwatani(a.k.a. hiwa

AWSがサーバーレスLambdaの機能を多様化、複数のプログラミング言語をサポート

AWSは2015年にLambdaをローンチし、それによってサーバーレスコンピューティングが広く利用されるようになった。ユーザーはイベントトリガーとなるコードを書き、それを動かすための計算処理やメモリ、ストレージなどの手配はすべてAWSが担当する。今日(米国時間11/29)ラスベガスで行われたAWS re:Inventで同社は、Lambdaをもっとデベロッパーフレンドリーにするいくつかの新しい機能を発表した。サーバーレスは複雑性を減らしてくれるが、でもそれが成熟するためにはより高度なツールが必要なのだ。

デベロッパーは、コードは書くけどその実行に必要なサーバーの心配はしない。だからサーバーレスと呼ばれる。すべての面倒をクラウドベンダーが見てくれて、イベントの実行に必要なリソースの手配をすべて行なう。デベロッパーは、インフラストラクチャまわりのコードを書く必要がなくなり、アプリケーションが仕事をするために必要なコードだけを書けばよい。

AWSのやり方は、とにかく最初に何かをベースサービスとしてリリースし、顧客の利用とともに要求が増えてくると、サービスの機能を増やしていく。AmazonのCTO Werner Vogelsが木曜日(米国時間11/29)のキーノートで指摘したように、デベロッパーたちはツールについてよく議論をするが、それを聞いていると、誰もが自分の仕事のためにほしいツールのアイデアを持っていることが分かる。

そこで最初に同社は言語に着目して、新しい言語のサポートを導入した。たとえばRubyを使っているデベロッパーは、これからはRuby Support for AWS Lambdaを使って、“LambdaのファンクションをRubyに合ったコードで書き、それらをAWSの上で実行できる。Ruby用のSDKはLambdaの実行環境にデフォルトで含まれている”、とAWSのChris Munnsが、この新しい言語サポートを紹介するブログ記事で述べている。

C++派の人たちのためには、C++ Lambda Runtimeが発表された。また、これら以外の言語のためには、Lambda Runtime APIが新たに用意された。AWSのDanilo Pocciaはブログ記事でこれを、“ファンクションの開発に、さまざまなプログラミング言語やその特定のバージョンを使えるための、シンプルなインタフェイスだ”、と説明している。

またIDEに関しては、PyCharm, IntelliJ, そしてVisual StudioのサポートがLambdaに導入された(現状はプレビュー)。

AWSは、言語とIDEのサポートだけで満足していない。たしかにLambdaは(一般的にサーバーレスは)デベロッパーのためにあるレベルまでの複雑性を取り去ってくれるが、でもサーバーレスのアプリケーションは簡単なイベントトリガーだけではない。より高度なサーバーレスアプリケーションでは、システムレベルの要素を持ち込んだり、複数の部位をまとめたりしなければならない。Vogelは今日のキーノートで、このことを指摘した。

そこで複雑高度なサーバーレスアプリケーションのためにAWSが導入したのが、Lambda Layersだ。それは、彼らの説明によると、“複数のファンクションが共有するコードとデータを管理する方法”だ。それは複数のファンクションが使用するカスタムコードでもよいし、ビジネスロジックを単純化するためのコードを共有するような場合でもよい。

Lambdaの成熟と共に、デベロッパーの要求もうるさくなる。今回のさまざまな発表は、それらのニーズに応える努力の一環だ。

more AWS re:Invent 2018 coverage

[原文へ]
(翻訳:iwatani(a.k.a. hiwa

AWSが新しい機械学習チップInferentiaを発表

AWSは、いかなる市場のいかなる部分といえども、他社に譲るつもりはない。だが現在機械学習チップと言えば、NvidiaやGoogleのような名前が心に浮かぶ。しかし本日(米国時間11月28日)ラスベガスで開催中のAWS re:Inventにおいて、同社はInferentiaという名前の独自の専用機械学習チップを発表した。

「Inferentiaは非常に高スループットで低レイテンシ、そして安定したパフォーマンスを発揮する非常にコスト効果の高いプロセッサです」とAWSのCEOであるAndy Jassyは発表の中で説明した。

Constellation Researchのアナリスト、Holger Muellerは、Amazonはかなり遅れてはいるものの、多くの企業が将来的には機械学習アプローチを差別化しようとしているため、これは良いステップだと指摘した。

「機械学習操作(理想的には深層学習)を実行する速度とコストが、企業にとっての競争力を与える差別化要因となります。速度による優位性が、企業の(そして紛争を考えたときには国家の)成功を左右するのです。そうした速い速度は、カスタムハードウェアでのみ実現することが可能です。Inferentiaはそうしたゲームに参加するためのAWSの最初のステップなのです」とMuellerはTechCrunchに語った。彼が指摘したように、GoogleはTPUインフラストラクチャを用いて、この件に関しては2年から3年先行している。

InferentiaはINT8(8ビット整数)、FP16(16ビット浮動小数点)および混合精度をサポートする。さらに、それは複数の機械学習フレームワークをサポートする、例えばTensorFlow、Caffe2、そしてONNXなどが含まれる。

当然、Amazonの製品の1つとして、EC2、SageMaker、そして本日新しく発表されたElastic Inference Engineといった通常のAmazon製品からのデータを扱うことが可能だ。

チップは本日発表されたものの、Andy Jassyは、チップが実際に使えるのは来年からになると述べた。

AWS re:Invent 2018に関する他のニュース

原文へ
(翻訳:sako)

紙の帳票のデジタル化に今でも使われているOCRをやや賢くするAmazon Textract

ほとんどの企業が困ってることのひとつが、各種の伝票をはじめ、いろんな書式(フォーム, form)をデジタル情報に変えて、保存したりソフトウェアで処理したりすることだ。よくあるやり方は、人間の事務職員がコンピューターにデータ入力すること。最新技術を使う方法としては、OCRに書式を自動的に読ませるやり方がある。

しかしAWSのCEO Andy Jassyに言わせると、OCRは要するに無能な読み取り機にすぎない。それはテキストのタイプなどを認識しない。それを変えたいAmazonは今日(米国時間11/28)、Amazon Textractという、ややお利口なOCRツールを発表した。これなら書式上のデータを、もっと使いやすい形でデジタル化してくれそうだ。

Jassyが例として見せたのは、表のある書式だ。通常のOCRは表を認識しないから、表の各欄の枠を超えて、ひとつのテキストとして読み出す。Textractは、表などの、よく使われる成分を認識して、妥当な形でデータを取り出す。

Jassyによると、書式はよく形が変わるので、OCRの無能を補うためにテンプレートを使っていても、形が変わるとテンプレートは役に立たない。一方Textractは、よく使われるデータタイプ、たとえば社会保障番号、誕生日、住所などなどを知っているので、それらがどんな形で収まっていても正しく解釈できる。

“Textractには、この形の文字集合なら誕生日、これなら社会保障番号、等々と教えてあるので、書式が変わってもそれらを見逃さない”、とJassyは説明した。

more AWS re:Invent 2018 coverage

[原文へ]
(翻訳:iwatani(a.k.a. hiwa

推論過程をGPUで加速するAmazon Elastic Inferenceはディープラーニングのコストを75%削減する

Amazon Web Servicesが今日、Amazon EC2のどんなインスタンスでもGPUによる推論の加速ができるサービスAmazon Elastic Inferenceを発表した。これにより、ディープラーニングのコストが最大75%削減できるという。

AWSのCEO Andy Jassyは、今朝のAWS re:Inventのステージでこう述べた: “従来のP3インスタンス(GPU常備のインスタンス)では通常、GPUの利用率がせいぜい10%から30%ぐらいで、エラスティックな推論用としては無駄が多い。それだけの費用やGPUを、無駄に使うべきではない。Amazon Elastic Inferenceでは、もっと費用効率の良い方法で推論エンジンを動かせるから、きわめて画期的なサービスだ”。

Amazon Elastic Inferenceは、モデルの作成/学習ツールAmazon SageMakerのノートブックインスタンスとエンドポイント用にも利用でき、“内蔵アルゴリズムとディープラーニングの環境を加速できる”、と同社はブログ記事で言っている。機械学習のフレームワークは、TensorFlow, Apache MXNet, そしてONNXをサポートしている。

[顧客の皆様には、仕事の性質に合った正しいツールを使っていただきたい。このたび発表するAmazon Elastic Inferenceを使うと、エラスティックな(伸縮性のある)GPUサポートを加えて、どんなEC2インスタンスの上でもスケーラブルな推論ができ、大幅な経費節約が可能だ。]

三つのサイズが提供されている:
(混合精度, mixed-precision, FP16とFP32の併用使い分け)

  • eia1.medium: 8 TeraFLOPsの混合精度パフォーマンス
  • eia1.large: 16 TeraFLOPsの混合精度パフォーマンス
  • eia1.xlarge: 32 TeraFLOPsの混合精度パフォーマンス

この新しいサービスを詳しく知りたい方は、こちらへ

more AWS re:Invent 2018 coverage

[原文へ]
(翻訳:iwatani(a.k.a. hiwa

Amazon Forecastは時系列データから予測を作りだす機械学習ツール

AmazonのAWSが今日(米国時間11/28)、時系列データに基づいて予測を生成する機械学習ツールAmazon Forecastをローンチした。予測は機械学習のかなりふつうの使い方だが、そのスキルのないデベロッパーが一からそれを作るのは難しい。しかしAmazonは当然ながら、自社のニーズのためにすでに多くのモデルを作っているので、今回はそれらをデベロッパー向けのプロダクトにまとめたのだ。

AWSのCEO Andy Jassyが今日のAWS re:Inventのキーノートでこう述べた: “わずか三クリックで、このツールにデータを与え、予測を得ることができる。超簡単でしかも、非公開ベータでベンチマークした結果としては、正確度は人びとがふつうにやるよりも50%高い。また費用は、どこかからソフトウェアを買う場合の1/10程度だ”。

Amazonはそのリテールビジネスの中で、自社のデータを扱うモデルをたくさん作ってきた。それは、Amazonがそのリテールサイトの需要予測に使ったりするものと基本的には同じ技術だ。ユーザーは同社に、彼らのサプライチェーンのデータのすべてを提供し、それによりそのサービスに、予測に影響を及ぼす変数を与える。

その楽屋裏では、AWSがそのデータとシグナルを見て、あらかじめ構築されている8種のアルゴリズムからどれかを選び、モデルを訓練し、それを微調整して予測を提供する。

AWSのこのサービスは、SAPやOracleのサプライチェーンツールと容易に統合できるし、Amazonの新しいデータベースサービスTimestreamのデータも使える。

このサービスは必ずしも安くはないが、デベロッパーの時間を大幅に節約できるだろう。

more AWS re:Invent 2018 coverage

画像クレジット: Ron Miller

[原文へ]
(翻訳:iwatani(a.k.a. hiwa

AWSのクラウドをそのままオンプレミスのデータセンターに持ち込むAWS Outposts

AWSはつねに純粋なクラウドベンダーだったが、ときにはハイブリッドにも目を向け、そしてこれからはそれを全面的にサポートする気だ。今日同社はVMwareと共に、AWSをデータセンターに持ち込むためのオプションを発表した。

えっ?企業のデータセンターにAWS?…そう、そのとおり。これからは、あなたの会社のデータセンターにAWSを置ける。AWSのハードウェアを使用し、設計もAmazon本体のAWSとまったく同じになる。そのために、AWS Outpostsの二つのプロダクトを利用する。

二つとは、「VMware Cloud on AWS Outposts」と「AWS Outposts」だ。最初のは、VMwareのコントロールパネルを使う。そして後者は、AWSのクラウドで使われているのと同じAWS APIを使って計算処理やストレージをオンプレミスで動かす。

実際にre:InventのステージにはVMwareのCEO Pat GelsingerとAWSのCEO Andy Jassyが一緒に立って、共同発表を行った。両社はかなり前から協働して、AWSのクラウドへVMwareを持ち込む作業を続けていた。しかし今回の発表ではそれが逆になり、AWSのクラウドをオンプレミスに持ち込んでVMwareと併用する。どちらの場合も、AWSはそのハードウェアをユーザーに売り、お望みならインストールもするし、メンテナンスも担当する。

これは、クラウドのビジョンをひたすら追うAWSにとって、後れていた分野だ。データセンターに戻るなんて! でも近年の暗黙の了解としては、近未来の顧客は両方の場所での運用を望むのだ。

この発表は、同社のクラウドネイティブ的ビジョンを拡張するものでもある。月曜日(米国時間11/26)に同社は、Transit Gatewaysを発表したが、それは、クラウドやオンプレミスなど、いろんなところにあるネットワークリソースを一元的に管理する仕組みだ。

そして今回AWSは、そのクラウドをオンプレミスに持ち込む。それは、MicrosoftやCanonical、Oracleなどなどが前からやっていたことだ。

なお、今日の発表は公開プレビューであり、本番のリリースは来年後半になるようだ。

more AWS re:Invent 2018 coverage

〔outpost, 前進基地。Amazonにとっての前進基地だ。〕

[原文へ]
(翻訳:iwatani(a.k.a. hiwa

AWS Transit Gatewayは多種多様なリソースを単一のネットワークトポロジーの下に収めてアクセスと管理を容易化

AWSのデベロッパーカンファレンスre:Inventで今夜(米国時間11/26)、AWS Transit Gatewayと呼ばれるツールが発表された。それはユーザーがAWSの中にネットワークトポロジーを構築して複数のアカウントのリソース共有し、オンプレミスとクラウドのリソースを単一のネットワークトポロジーの中へ一元化する。

Amazonにはすでに、Amazon Virtual Private Cloud(VPC)と呼ばれる人気のプロダクトがある。顧客はこれを使って、自分のアプリケーションのプライベートなインスタンスを作れる。一方Transit Gatewayでは、複数のVPCs間の接続を構築できる。それはこれまで、相当面倒な作業だった。

AWSのグローバルインフラストラクチャとカスタマーサポート担当VP Peter DeSantisの説明によると、ユーザーはAWS Transit Gatewayにより中央集権的に管理されるゲートウェイに接続でき、その単一のコントロール集合を駆使して、ネットワークを容易にそして迅速に成長させられる。

図表提供: AWS

DeSantisによると、このツールはAWSとオンプレミスの両ネットワークを横断する能力をユーザーに与える。“ゲートウェイはイノベーションの一つの方法であり、それにより顧客は、安全で管理しやすい単一のネットワーキングをオンプレミスとAWSクラウドの両方にまたがって持つことになる”、と彼は説明する。

さまざまなリソースが標準的な種類のネットワークトポロジー上にあるかぎり、それらのリソースがどこにあろうとも、AWS Transit Gatewayによりそれらに一つのネットワークとして接続できる。“AWS Transit Gatewayを使ってハブ-アンド-スポーク型(車輪の中心とそこから放射状に張り出されたスポーク)のネットワークを構築できる。そこには、既存のVPCsやデータセンター、リモートオフィスなど何でも接続できて、そのネットワークルーティングやセキュリティを完全にコントロールできる。そのVPCsやActive Directories、共有サービス、そのほかのリソースなどが、複数のAWSアカウントに広がっていてもよい”。AmazonのJeff Barrが、この機能を発表するブログ記事にこう書いている。

長年、AWSといえばクラウドであり、ユーザーのクラウドリソースを管理するサービスを提供してきた。それはAWSのようなクラウドだけの企業にとっては十分だが、顧客は多種多様であり、インフラストラクチャやソフトウェアがオンプレミスやクラウドなど、いろんなところに散在している企業も少なくない。それらを、仮想的に単一のネットワークトポロジーとして扱えるようにするのが、AWS Transit Gatewayだ。

more AWS re:Invent 2018 coverage

[原文へ]
(翻訳:iwatani(a.k.a. hiwa

re:Inventで衛星通信地上局システム発表――AWSの新しいSaaSはサテライト・アズ・ア・サービス

Amazonはラスベガスで開催中のre:Invent 2018カンファレンスでAWS Ground Stationを発表した。これは世界で初となる衛星通信の利用者向けに総合的な地上局の機能を提供するサテライト・アズ・ア・サービスだ。

このサービスのユーザーは衛星通信アンテナを始めとして世界すべてのリージョンに張り巡らされたAWSの通信ネットワークとデータ処理能力を利用できる。これによって衛星を経由するデータ送受信がンがきわめて簡単にできるようになるという。通信事業者だけでなく、衛星を利用するあらゆる企業がターゲットだという。

衛星通信を行うには基地局で衛星からの電波を受信し、各種のソフトウェアで利用できるデータ形式に変換しなければならない。仕組みそのものは各種のIoTデバイスを利用する場合と同様だが、ドアノブと違って相手は宇宙のかなたを周回しているというのが大きな違いだ。

CEOのAndy JassyによればAWS初めからこういうサービスを作ろうと考えていたわけではなかったが、顧客からの強い要望を受けて検討を始めたのだという。Jassyはこう述べている。

われわれは顧客から「衛星から大量のデータが降ってくる。そのデータを利用するアプリケーションも無数にある。ところがその処理は非常に大変だ。これをもっと簡単にできるようなサービスを提供して欲しい」と要望された。検討した結果、世界に広がる既存のAWSネットワークを利用してこの問題を解決できるのでないかということになった。

これまで衛星通信を行う事業者は衛星の電波を受信できる地域に自前で地上局を建設する必要があった。地上局で受信した電波をデジタルデータに変換し、ネットワークに送り出すことになる。事業者は土地やすべてのハードウェアを手当し、さらにデータ処理のためのソフトウェアを開発しなければならない。システムが完成した後も運用とメンテナンスのために膨大なりソースを必要とする。

Constellation Researchのアナリスト、Holger Muellerによれば、AWSの新サービスによってデベロッパーは衛星からのデータを簡単に利用できるようになる。TechCrunchの取材に対してMuellerは「各種の商用アプリケーションが衛星データを利用しようとする場合、データを利用可能な地域、時間をリアルタイムで知る必要がある。〔AWSの新サービスでは〕まさにこうした点がわかりやすくマップ表示される」と答えた。

どのようなタイプであれ、クラウド・サービスの価値はそれを利用することによってユーザーがどれほどリソースを節約できるかにかかっている。AWS Ground StationではAWSが電波の受信からデジタル化処理まで衛星データ取得に関するすべての作業をユーザーに代わって実行する。これはコスト削減だけでなく、衛星通信に関わる技術的な困難も大幅に軽減する。

AWSはこのオンデマンド・サービスを利用することにより、独自設備を所有することに比べて80%もリソースを圧縮することができるとしている。手始めに今日(米国時間11/07から地上局2局が運用を開始する。来年半ばまでに地上局は12箇所に拡大される予定だ。

AWSの新衛星サービスの顧客やパートナー企業にはLockheed Martin、Open Cosmos、HawkEye360、DigitalGlobeなどが含まれる。

画像:Jose Luis Stephens / EyeEm / Getty Images

more AWS re:Invent 2018 coverage

原文へ

滑川海彦@Facebook Google+

AWSのGlobal Acceleratorはアプリケーショントラフィックのグローバルネットワーク上の最適ルートを見つける

AWSの顧客は、さまざまな理由で複数のゾーンでアプリケーションを動かさなければならない場合が多い。理由としては、パフォーマンスの要求もあるだろうし、各国の規制の問題や、フェイルオーバーの管理もあるだろう。その理由が何であれ、AWS今夜(米国時間11/26)、顧客が複数のリージョンにまたがってトラフィックを容易にルートできるためのツールGlobal Acceleratorを発表した。

AWSのグローバルインフラストラクチャとカスタマーサポート担当VP Peter DeSantisが月曜の夜AWS Re:Inventで説明したところによると、AWSの顧客のトラフィックはすでにAWSの大きなネットワーク上を流れており、顧客はAWSのDirect Connectを使ってアプリケーションのパフォーマンスを一定に保ち、AWSの複数のリージョン間で移動する場合もネットワークの変動がないようにしている。しかし彼によると、これまで欠けていたのは、AWSのグローバルなネットワークを使って彼らのアプリケーションを最適化する方法だ。

DeSantisはre:Inventの聴衆に向かってこう述べた: “今夜、AWS Global Acceleratorをみなさまに発表できることを嬉しく思っております。AWS Global Acceleratorによりみなさまは、AWSのグローバルなネットワークを利用してアプリケーションのパフォーマンスと可用性を容易に向上できます”。

説明図提供: AWS

DeSantisは曰く: “;みなさまの顧客のトラフィックはエンドユーザーから最寄りのAWSエッジロケーションへルートされ、そこから、渋滞のない、冗長性のある、可用性の高いAWSグローバルネットワークを渡っていきます。そのときAWS Global Acceleratorはパフォーマンスを上げるだけでなく、エラー隔離機能によりネットワークの健康状態やみなさまのアプリケーションの構成の異変に直ちに反応します”。

そのときネットワークのアドミニストレーターは、健康状態や地理的要件などのポリシーに基づいてトラフィックをルートでき、トラフィックはそれらのポリシーに基づいて行き先のゾーンへと自動的に移動していく。

AWSの計画では、課金は顧客が作るアクセラレータの数に基づいて行われる。“アクセラレータはAWSのグローバルネットワーク上でトラフィックを最適のエンドポイントへと差し向けるために作るリソースだ。通常は一つのアプリケーションにつき一つのアクセラレータをセットアップするが、複雑なアプリケーションが複数のアクセラレータを必要とする場合もある”、とAWSのShaun Rayが、この新しい機能を発表するブログ記事に書いている。

AWS Global Acceleratorは今日から、アメリカとヨーロッパとアジアのいくつかのリージョンで利用できる。

画像クレジット: Ron Miller

[原文へ]
(翻訳:iwatani(a.k.a. hiwa