クラウド上でバッチ処理ができるAWS Batchツール、自作のバッチシステムより(たぶん)高機能

img_20161201_101449

Amazonの新しいツールAWS Batchは、クラウド上の複数のジョブを自動的に順次実行する。そのジョブは、EC2のインスタンスの上のアプリケーションやコンテナイメージである。

Amazonは、顧客の多くが独自に工夫したバッチコンピューティングシステムを自作していることを、知っていた。ユーザーは、EC2のインスタンスやコンテナ、通知、CloudWatchによるモニタリングなどを連結していた。しかしAmazon独自の方法を提供すれば、そのプロセス全体がもっと容易に、そしてもっとアクセスしやすいものになるだろう。〔下図に特長を列記〕

クラウドでバッチをやることの最大のメリットのひとつは、多様なインスタンスへのアクセスだ。ノン・クラウドの物理的世界では、計算処理を行うクラスターが多数の重複した(==無駄な)プロセッサーを配備する。これを避けることができれば、計算効率は大幅に向上し、コストも下がり、サービスの料金も大幅に安くできるだろう。

img_20161201_101531

ユーザーは容量を自分で決められるから、支出を最小化できる。お金の節約だけでなく、リソースのスケールアップもニーズの変化に合わせていつでも容易にできる。物理的コンピューティングクラスターの、そのまるまる全体をオーダーしてインストールすることに比べれば、クラウド上のリソースの一時的なアップグレードは、短時間で済む。

これまで、AWSの必要なリソースを正規の料金で使っていたユーザーは、このAWS Batchツールを無料で使用できる。今それは、US.Eastリージョンでプレビューが提供されている。今後は、そのほかのデータセンターでも提供されるし、AWS Lambdaのファンクションもバッチに加えられることが、期待される。

[原文へ]
(翻訳:iwatani(a.k.a. hiwa))

クラウド上でバッチ処理ができるAWS Batchツール、自作のバッチシステムより(たぶん)高機能

img_20161201_101449

Amazonの新しいツールAWS Batchは、クラウド上の複数のジョブを自動的に順次実行する。そのジョブは、EC2のインスタンスの上のアプリケーションやコンテナイメージである。

Amazonは、顧客の多くが独自に工夫したバッチコンピューティングシステムを自作していることを、知っていた。ユーザーは、EC2のインスタンスやコンテナ、通知、CloudWatchによるモニタリングなどを連結していた。しかしAmazon独自の方法を提供すれば、そのプロセス全体がもっと容易に、そしてもっとアクセスしやすいものになるだろう。〔下図に特長を列記〕

クラウドでバッチをやることの最大のメリットのひとつは、多様なインスタンスへのアクセスだ。ノン・クラウドの物理的世界では、計算処理を行うクラスターが多数の重複した(==無駄な)プロセッサーを配備する。これを避けることができれば、計算効率は大幅に向上し、コストも下がり、サービスの料金も大幅に安くできるだろう。

img_20161201_101531

ユーザーは容量を自分で決められるから、支出を最小化できる。お金の節約だけでなく、リソースのスケールアップもニーズの変化に合わせていつでも容易にできる。物理的コンピューティングクラスターの、そのまるまる全体をオーダーしてインストールすることに比べれば、クラウド上のリソースの一時的なアップグレードは、短時間で済む。

これまで、AWSの必要なリソースを正規の料金で使っていたユーザーは、このAWS Batchツールを無料で使用できる。今それは、US.Eastリージョンでプレビューが提供されている。今後は、そのほかのデータセンターでも提供されるし、AWS Lambdaのファンクションもバッチに加えられることが、期待される。

[原文へ]
(翻訳:iwatani(a.k.a. hiwa))

Google、クラウド・プラットフォーム東京リージョンをスタート―先行グループを追い上げへ

2016-11-09-google-tokyo-region-ga-width-1000

今日(米国時間11/8)、Googleはクラウド・コンピューティング・プラットフォームの東京リージョンをスタートさせたことを発表した。これにより、アジア太平洋地区のGCP(Googleクラウド・プラットフォーム)は2リージョン(東京、台湾)となり、合計6つのゾーンを備えることになった。

Googleはアジア太平洋地区のGCPに関して、2017年にインドのムンバイ、シンガポール、オーストラリアのシドニーに新たなリージョンを開設することを約束している。また世界では、アメリカ、フィンランド、ドイツ、イギリス、ブラジルで新リージョンが追加される

ユーザーはGCPの利用に当たってトータルでヨーロッパ、アメリカ、アジアにまたがった6地域から選択できる。開設予定のリージョンが稼働を開始すると、 Googleのクラウド・プラットフォームはアジア太平洋地区では〔トップの図のように3リージョンが追加され〕14のゾーンが利用できるようになる。データセンターの数では先行するライバル、 AmazonのAWSMicrosoft Azureにまだ及ばない。しkしほんの少し前までGoogleはクラウド・プラットフォームとしてこうしたライバルに大きく引き離されていたことを考えれば長足の進歩だ。

またGoogleはここ数年、アジアおよび世界でリージョン間でデータを高速で転送するためのネットワーク・バックボーンの整備に巨額の投資を続けてきた

今日Googleが発表したところによれば、データセンターの開設はその地域のユーザーにさまざまなメリットをもたらす。たとえば東京リージョンの開設によって、、既存の台湾データセンターから転送する場合に比べて同じ量のデータを処理する際のレイテンシーは50%から85%も減少するはずだという。

東京リージョンはIntelの最新CPU、Broadwellを利用しており、Compute Engine、Cloud Storageなどクラウド・プラットフォームの核心をなすサービスのほとんどが利用可能だ。またCloud Databese、Cloud Datastore、Cloud Dataflow、 Cloud SQLなどデータベース、ビッグデータ、ネットワーキング関連のサービスも対応している。

〔日本版〕 東京リージョン開設に関しては多数の記事がアップされているが、Googleのクラウド・プラットフォームの利用案内の日本語ページはこちら

[原文へ]

(翻訳:滑川海彦@Facebook Google+

DockerがコンテナのオーケストレーションをDocker Engineに統合、単独サービスを不要に

img_20160619_175158

Dockerが今週シアトルで行ったデベロッパーカンファレンスは、事前にチケットが売り切れてしまう盛況だったが、そこでは同社のメインの製品であるDocker Engineに新しい大きな要素が加わった。これまで同社は、コンテナの構築、それらのデプロイ、オーケストレーションなど、主な工程を分割して提供していたが、今回はDocker Engineの中にコンテナのオーケストレーション機能を組み込んだ。

同社はまた、そのツールをMicrosoftのAzureやAmazonのAWSの上で、より容易にデプロイできるようにした。

DockerのCOO Scott John Johnstonによると、これらはすべて、コンテナをもっと使いやすくし、またCEOのBen Golubが今日(米国時間6/20)のキーノートで強調したように、コンテナのオーケストレーションを民主化するための努力の一環だ。コンテナのオーケストレーションは、KubernetesやMesosなど、そのためのフレームワークがすでにいろいろあるにも関わらず、依然としてデベロッパーにとって大きな痛点だ。

docker_engine_swarm_mode

今回Dockerがやったことは、昨年11月にベータを終えたクラスタリングサービスDocker Swarmと、オーケストレーションサービスComposeの、Engine本体中への統合だ。これからは、デベロッパーが”Swarmモード”をonにすると、Dockerエンジンの自己治癒型でお互い同士を発見できるクラスターが作られる。Swarmモードにはオーバレイネットワークのサポートが含まれ、それにより自動的サービス発見とロードバランシングのツールが利用できる。また新たに提供されるService Deployment APIにより、デベロッパーはこれから使うサービスや画像、ポートなどを宣言できる。

Johnstonによると、Dockerの既存のSwarmとComposeツールには何も変更がない。それはユーザーの既存のデプロイを壊したくないからであり、また、サードパーティのツールと併用できるという約束に、違反したくないからだ。同社によると今回の統合化によって“Dockerプラットホームを軸とする構築の機会がさらに拡大され”、またそのプラグイン方式のアーキテクチャにより、今後はネットワーキング、ストレージ、ログ取り、パートナーのモニタリングなど、これらのネイティブなオーケストレーション機能を利用する多方面の進化が期待できる。

docker_swarm-commands

しかしそれと同時に、彼によれば、これらの新しい機能を使いたいと思っているデベロッパーとシスアドミンの両方が、すでに使い慣れている同じDockerコマンドラインを使えるし、アプリケーションをテストしデプロイするために必要なインフラストラクチャをより容易に構成稼働できる。“分散コンピューティングは難しいが、シスアドミンは分散アプリケーションを管理するために学校へ戻るわけにもいかない”、とJohnstonは語る。“これを構築することによって、ノードが複数ある場合にも、必要なことをすべてオーケストレーションツールがやってくれる”。

またDockerの主張によれば、そのシステムは、外部のインフラストラクチャに依存する特定のエラー発生箇所を持つことがない。セキュリティ機能をSwarmモードにも拡張したため、すべてのノードがTLSとDockerのCryptographic Node Identityを使って通信し、アドミンがやることは、ワークロードを信頼できるノードへディスパッチするだけだ。

これらの新しい機能をすべて揃えたDocker 1.12は今、リリース候補(リリースキャンディデート)を利用できる。一般公開は、7月を予定している。その後さらに徹底的なテストを重ねて、Swarmモードなどの新しい機能が商用製品として提供されるのは、今年の後半だ。

IMG_20160620_092304

DockerをAWSやAzureで使う

これらの新しい機能と並行してDockerは今日、Docker for AWSとDocker for Azureを発表した。これにより、Docker Engineをこれら両プラットホームで容易にデプロイできるようになる。Johnstoneは語る、“最近の弊社の拡大した市場には、これまで自分たちが選んで使ってきたインフラストラクチャの上でそのまま、Dockerを使いたい、というユーザーが少なからずおられる”。そこでたとえばDocker for AWSは、AWS自身のインフラサービス(AWS Autoscaling, Elastic Load Balancer, Elastic Block Storeなど)とタイトに統合され、Azureエディションは同様に、Microsoftのクラウドサービスと統合化されている。

ここにGoogleのCloud Platformが抜けていることについてJohnstonは、まず市場の圧倒的多数派に対応した、という。Google Cloudのユーザーは、まだ少数派だ。しかし、複数のクラウドを使いたいというエンタープライズも少なくないので、今後のDocker製品のスケーリングと拡張においては、GoogleやRackspaceなどもサポートしていきたい、と彼は述べる。

IMG_20160620_100449

さらにまた、Docker for OS X(近未来のDocker for macOS?)とDocke for Windowsが非公開ベータを終えて今では公開ベータが提供されている。いずれもDocker体験としては同じだが、AWSやAzureの場合と同様、これらのプラットホーム向けに特別にチューニングされているバージョンだ。

ただしDocker for AWSとDocker for Azureの方は、当面、非公開ベータでのみ提供される。

 

[原文へ]
(翻訳:iwatani(a.k.a. hiwa))

MicrosoftのAzure Container Serviceが一般供用へ…オーケストレーションは主要二社の製品から選べる

shutterstock_145340113

MicrosoftのクラウドコンピューティングサービスAzure用のコンテナスケジューリングおよびオーケストレーションサービスAzure Container Serviceが、一般的に可利用になった。

このサービスではユーザーが、自分たちのコンテナをデプロイおよびオーケストレートするためにMesosphereのData Center Operating System(DC/OS)、またはDockerのSwarmとComposeを選ぶ。サービスが発表されたのは2015年9月で、公開プレビューは今年の2月に行われた。

MicrosoftのAzure担当CTO(でときどき小説家の)Mark Russinovichによると、DockerのSwarm/Composeと、DC/OSのオープンソース部位…どちらもオープンソースプロジェクトがベース…の両方を使えることが、Azure Container Serviceの、コンペティターにはない利点だそうだ。

acs-cluster

Russinovichによると、同社は顧客に、二つのうちのどっちを使え、ということは言わない。“うちのクラウド上で顧客に、どちらか、または両方を使って、グレートな体験をしていただくことが、われわれの仕事”、だそうだ。

MicrosoftとMesosphereの関係は、もうかなり長い。最初同社は、AzureのユーザーがAzure上でMesosphereのDC/OSを使えるという方式を選び、Mesosphereとのパートナーシップにより、WindowsとHyper-VコンテナでもDC/OSを使えるようにした。さらにMicrosoftはMesosphereに戦略的投資を行い、昨年はMicrosoftがMesosphereをその年に買収するという噂もあった。Russinovichはもちろん、買収についてはコメントしないが。

Inbox_–_frederic_techcrunch_com

Microsoftの考えでは、オープンソースのソリューションを使うことによってユーザーは、自分たちのワークロードを、必要に応じてオンプレミスに移すことも容易にできる。また、既存のオンプレミスのソリューションをAzureに移すこともできる。

しかしMicrosoftのこの陣容には、GoogleのKubernetesの姿がない。こちらもやはり、オープンソースのプロジェクトだが。この点についてRussinovichは、あくまでも顧客の要望の多いオープンソース技術を選んだのだ、と言う。Kubernetesはこれまでの要望になかった、ということだが、彼は、Azureが今後それをサポートする可能性がないわけではない、と言った。

Russinovich曰く、今Microsoftは、多くの企業がそのワークロードをコンテナに移しつつある状況を目撃している。“数年前にはdevの連中がテストしているだけだったが、今では全社的にそのプロダクションに採用している”、と。

しかしユーザーは、自分のデプロイに対するサポートを、直接、MesosphereやDockerから得なければならない。今MicrosoftがRed Hatとの契約でやってるような、‘Azureからのサポート’という形には、当面ならないようだ。

[原文へ]
(翻訳:iwatani(a.k.a. hiwa))

AWSが日/週/月ベースの予約制インスタンスを割引料金でローンチ

aws_logo

AmazonのクラウドコンピューティングプラットホームAWSが今日(米国時間1/13)、新しい料金制を導入し、それを使うと、一日に一定の時間だけ、とか、毎月一定の日だけとかに自分のクラウドアプリケーションを動かす必要のあるユーザが、AWSのサービスをより使いやすい料金で利用できる。

その新しい料金制はScheduled Reserved Instancesと呼ばれ、AWSのユーザはインスタンスを、日ベース、週ベース、あるいは月ベースで、一定の時間だけ予約し利用できる。そのためには、下図のような入力フォームにスケジュールを記入するだけだ。

ec2_sched_ri_find_sched_2

予約期間の単位は1年だが、その代わり標準のオンデマンドの料金の5〜10%の割引料金になる。

割引率は、一般的にAWSの利用が混みあう時間帯は5%、週末など比較的ひまな時間帯は10%となる。

2016-01-13_1531

この新しい料金制は、当面、US East(North Virginia), US West(Oregon), EU(Ireland)の各リージョンでしか利用できない。

ec2_sched_review_and_buy_2

これは、なかなかうまいやり方、と言えるだろう。クラウドのワークロードはむらが多いからね。でも、週日の午後だけに何かの計算をしたい、とか、月初に課金の計算をするだけ、なんてときに、インスタンスをフル契約するのはもったいない。

AWSでもAzureでもGoogleのCloud Platformでも、任意の日と任意の時間にマシンを動かして停止することは十分に可能だが、そんなユーザでもこれまでは、標準のオンデマンドの料金を払っていたのだ。

[原文へ]。
(翻訳:iwatani(a.k.a. hiwa)。

Googleクラウド上の関係データベースサービスCloud SQLがバージョン2となり大幅に高性能化

datacenter_google

GoogleのCloud Platform上には、完全な管理を伴うMySQLデータベースのサービスがあり、そのサービスはCloud SQLと名付けられている。そして今日(米国時間12/10)、このデータベースサービスのバージョン2が、ベータでローンチした。

Cloud SQLのバージョン1は2011年にローンチしたが、一般公開されたのはそれからちょうど2年半後だ。そしてGoogleによると、今日のアップデートでCloud SQLのスループットはこれまでの7倍速くなり、スケーリングの上限はデータ10TB、IO速度15000IOPS、1インスタンスあたりのRAMサイズ104GBとなる。いずれの数値も、バージョン1より大きい。

performance-comparison

今回のアップデートに伴い、Cloud SQLの料金プランも変わる。サービスのインスタンスタイプがCompute Engineと同じになるので、‘長く使えば安くなる’のGoogle哲学により、Google独自の持続的利用の料金(sustained use pricing)が適用される。つまり1か月の時間の25%以上サーバを動かすと、ディスカウント料金になる。

ただしベータ期間中は、サーバの使用時間の長短にかかわらず、全ユーザが持続的利用料金になる。

以下が、ニューバージョンの仕様だ:

0-1

Googleの注記によると、このバージョン2のサービスは同社のCloud Platformのこれまでの改良成果をフルに利用している。それはスピードの向上だけにとどまらず、さまざまな面での柔軟性(自由度)のアップにより、データの量的処理能力も大きくなっている。

そのほかニューバージョンにはHigh Availabilityフェイルオーバ、リードリプリケーションのオプション、バックアップ周期とメンテナンスウィンドウを構成可、などの高度な機能もある。

デベロッパはこれらのデータベースに、どこからでも接続できる。GoogleのCompute Engineからはもちろんだが、彼らのワークステーションからでも。ただしApp Engineからのニューバージョンの利用は、もうすこし待たされるようだ。

〔訳注: 12月10日に公開された原文が、しばらくアクセス不能となり、今日(日本時間12/15)復帰しました。今後持続する正規稿とみなし、ここに訳出します。〕

[原文へ]。
(翻訳:iwatani(a.k.a. hiwa)。

Googleが主力のコンテナサービスContainer RegistryとContainer Engineをアップデート…Kubernetesを統合など

docker-google

今年GoogleはContainer RegistryContainer Engineなどにより、同社のCloud Platform(IaaS)のコンテナ対応化にますます力を入れてきた。そして今日(米国時間11/10)は、この二つのサービス(ないしツール)のアップデートが発表された。

Container Engineは、クラスタの管理を自動化しコンテナの展開をオーケストレーションするGoogleのサービスだが、今回のアップデートでKubernetesの最新バージョン(version 1.1)をサポートすることになった。ニューバージョンでは随所にパフォーマンスの改良が行われ、そしてそれがContainer Engineのユーザにも可利用になった。

これによりContainer Engineでは、ポッド(pod, ノードの集合)の水平的スケーリング(クラスタへのサービスの追加)を自動的に行えるようになり、またHTTPのロードバランサも可能になる。後者では、トラフィックがその量に応じて別のKubernetesサービスへルートされる。

また、ネットワークのスピードも向上した。それにはContainer EngineにネイティブIPテーブルを導入し、CPUのオーバヘッドをほとんどなくし、信頼性を向上させたことなどが含まれる。

Container Registry(Dockerイメージのストレージ)の方も、今日同様のアップデートが行われた。それらはAPIのv2、パフォーマンスを40%アップ、高度な認証のサポートなどだ。高度な認証により、CodeshipやCircleCI、Drone、Jenkins、Shippable、Werckerなどの継続的なデリバリシステムを容易に統合できるので、デベロッパの仕事が相当楽になるはずだ。

Googleはまた、TwistLockとパートナーして、コンテナのためのセキュリティサービスを導入した。たとえばContainer Registryのユーザは、その上のコンテナへのアクセスポリシーを、設定できる。

[原文へ]。
(翻訳:iwatani(a.k.a. hiwa)。

AWSは韓国に次いでイギリスにも新たにリージョンを設ける意向、今後はインドにも

aws-robot

Amazon Web Services(AWS)このところ、サービス供用地域の拡大にますます熱心だ。AmazonのCTO Werner Vogelsは今日(米国時間11/6)、2016年の終わりないし2017年の初めにイギリスリージョン(UK region)を立ち上げる、と発表した

それはEUでは3つ目のリージョンで、最初はかなり長年、ダブリンのデータセンターが、ヨーロッパのデベロッパがAWSを使って同地域内にアプリケーションをホストするための、唯一の選択肢だった。そして昨年AWSは、ドイツのフランクフルトを拠点とするリージョンを初めて立ち上げた

イギリスリージョンを発表した日の前日にAWSは、韓国リージョン(South Korea region)の計画を発表した。これはアジア太平洋地区では5つ目のリージョンだ。このほか計画中のリージョンとして、インド、中国第二、オハイオ州(2016)がある。AWSの現在稼働中のリージョンは、11ある。

イギリスと韓国に関してAmazonは、すでの顧客数がとても多いことを挙げている。“2006年にAWSを立ち上げた当初から、イギリスの指導的企業の多くがアーリーアダプターだった。弊社は今日まで継続して彼らを、アジリティの強化やITコストの低減、容易なグローバルスケーリング等の面でお手伝いしてきた”、とVogelは声明文の中で言っている。

リージョンの数に関しては、A、M、G三社の中ではM(Microsoft)のAzureが20で最大、G(Google)のCloud Platformは4つだ(合衆国内2、ベルギー、台湾)。デベロッパはエンドユーザに近いところからアプリケーションをホストした方がレイテンシが低い、と考える。またローカルデータ主権法(local data sovereignty law)のあるドイツのような国では、一部のユーザデータが国外に出ることを禁じている。


〔訳注: AWSの現状11のリージョン一覧(出典)〕

米国東部(バージニア北部)リージョン
EC2 アベイラビリティーゾーン: 5*
2006 年開始

米国西部(北カリフォルニア)リージョン
EC2 アベイラビリティーゾーン: 3*
2009 年開始

米国西部(オレゴン)リージョン
EC2 アベイラビリティーゾーン: 3
2011 年開始

AWS GovCloud(米国)リージョン
EC2 アベイラビリティーゾーン: 2
2011 年開始

サンパウロリージョン
EC2 アベイラビリティーゾーン: 3
2011 年開始

欧州(アイルランド)リージョン
EC2 アベイラビリティーゾーン: 3
2007 年開始

欧州(フランクフルト)リージョン
EC2 アベイラビリティーゾーン: 2
2014 年開始

アジアパシフィック(シンガポール)リージョン
EC2 アベイラビリティーゾーン: 2
2010 年開始

アジアパシフィック(東京)リージョン
EC2 アベイラビリティーゾーン: 3
2011 年開始

アジアパシフィック(シドニー)リージョン
EC2 アベイラビリティーゾーン: 2
2012 年開始

中国(北京)リージョン
EC2 アベイラビリティーゾーン: 2

〔アフリカと中東は現状ではヨーロッパのリージョンがカバーしている。〕

[原文へ]。
(翻訳:iwatani(a.k.a. hiwa)。

CoreOSのKubernetesベースのコンテナプラットホームTectonicが今日から一般供用へ

Container

数か月前にCoreOSは、Tectonicのプレビューをローンチした。それはGoogleのコンテナ管理/オーケストレーションツール、Kubernetesを使用するコンテナプラットホームだ。今日からそのTectonicが、ベータを脱する。

CoreOSのCEOで協同ファウンダのAlex Polviによると、チームはベータ期間中に数百の顧客と協働してバグなどを見つけ、それらを修復した。そして、一般公開OKと判断した。

まだ料金体系は未定だが、クラスタのメモリ使用量に応じて課金されるだろう、とPolviは言っている。つまり、メモリの使用量が増えれば料金も上がる。“コンテナの最大のメリットの一つが、クラウドと自前のデータセンターの両方に透明に跨(また)がれることだ。そんな環境ではノード数による公平な課金はできない”、とPolviは述べる。

Polviによると、Tectonicの現在の顧客はきわめて多様だが、とくに多いのは、これから基本業務をWebサービスとしても提供しよう、というところ、たとえば銀行や通信企業などだ。どちらもこれまでは、物理店舗におけるカウンター接客が主だった。

今日CoreOSはTectonicの一般供用開始の発表と並行して、ベルリンにエンジニアリングのオフィスを開設したことを発表した。また、同じく今日からは、Google Compute Engineを立ち上げ、Kubernetesプロジェクトにも貢献したJoe Bedaが、CoreOSの顧問団に加わる。

[原文へ]。
(翻訳:iwatani(a.k.a. hiwa)。