Apache Mesos | SEO-LPO.net

MicrosoftのAzure Container Serviceが一般供用へ…オーケストレーションは主要二社の製品から選べる

MicrosoftのクラウドコンピューティングサービスAzure用のコンテナスケジューリングおよびオーケストレーションサービスAzure Container Serviceが、一般的に可利用になった。

このサービスではユーザーが、自分たちのコンテナをデプロイおよびオーケストレートするためにMesosphereのData Center Operating System(DC/OS)、またはDockerのSwarmとComposeを選ぶ。サービスが発表されたのは2015年9月で、公開プレビューは今年の2月に行われた。

MicrosoftのAzure担当CTO（でときどき小説家の）Mark Russinovichによると、DockerのSwarm/Composeと、DC/OSのオープンソース部位…どちらもオープンソースプロジェクトがベース…の両方を使えることが、Azure Container Serviceの、コンペティターにはない利点だそうだ。

Russinovichによると、同社は顧客に、二つのうちのどっちを使え、ということは言わない。“うちのクラウド上で顧客に、どちらか、または両方を使って、グレートな体験をしていただくことが、われわれの仕事”、だそうだ。

MicrosoftとMesosphereの関係は、もうかなり長い。最初同社は、AzureのユーザーがAzure上でMesosphereのDC/OSを使えるという方式を選び、Mesosphereとのパートナーシップにより、WindowsとHyper-VコンテナでもDC/OSを使えるようにした。さらにMicrosoftはMesosphereに戦略的投資を行い、昨年はMicrosoftがMesosphereをその年に買収するという噂もあった。Russinovichはもちろん、買収についてはコメントしないが。

Microsoftの考えでは、オープンソースのソリューションを使うことによってユーザーは、自分たちのワークロードを、必要に応じてオンプレミスに移すことも容易にできる。また、既存のオンプレミスのソリューションをAzureに移すこともできる。

しかしMicrosoftのこの陣容には、GoogleのKubernetesの姿がない。こちらもやはり、オープンソースのプロジェクトだが。この点についてRussinovichは、あくまでも顧客の要望の多いオープンソース技術を選んだのだ、と言う。Kubernetesはこれまでの要望になかった、ということだが、彼は、Azureが今後それをサポートする可能性がないわけではない、と言った。

Russinovich曰く、今Microsoftは、多くの企業がそのワークロードをコンテナに移しつつある状況を目撃している。“数年前にはdevの連中がテストしているだけだったが、今では全社的にそのプロダクションに採用している”、と。

しかしユーザーは、自分のデプロイに対するサポートを、直接、MesosphereやDockerから得なければならない。今MicrosoftがRed Hatとの契約でやってるような、‘Azureからのサポート’という形には、当面ならないようだ。

[原文へ]
（翻訳：iwatani(a.k.a. hiwa））

NVIDIAのGPU最新製品二種は機械学習/深層学習/大規模データセンターに最適化、今やアクセラレータはゲームのためにあらず

12141_nvidia_tesla_m40_gpu_accelerator_angleright

今やGPUは、Crysisを高いフレームレートでプレイするためにある、という時代ではない。何らかの大規模な変換処理を行うコンピューティング技術の多くが、今ではGPUを使って並列処理の高速化を図っている。

ビデオのエンコーディングはその典型的な例だが、最近では機械学習もそのひとつだ。NVIDIAはとくに後者に力を入れており、今日（米国時間11/10）は新しいハードウェアアクセラレータ二種と、デベロッパやデータセンターの管理者がこれらのアクセラレータを深層学習とその上での画像/ビデオ処理に利用するための、一連のツールを発表した。

さらにNVIDIAは今日、Mesosphereとのパートナーシップを発表した。Mesosphereは、大規模なデータセンターをあたかも単一のリソースプールのように管理できる、コンテナベースのツールで、NVIDIAとの提携により、“Webサービスの企業がアクセラレータを導入したデータセンターを構築およびデプロイし、次世代のアプリケーションに備えられるようにする”、としている。

MesosphereとNVIDIAの提携は、データセンターのオペレーティングシステムを自称するMesosphereを介してApache Mesosを使用するデベロッパにとって、データセンターでCPUやメモリ等のリソースと同列にGPUも利用できることを意味する。コンピューティングリソースとしてのGPUが単一のプールへとクラスタ化され、ソフトウェアが複数のジョブを、その互換GPUが動くさまざまなマシンへと自動的に分散化する。

NVIDIAが今日発表した二つのハードウェア製品、M40とM4 GPUアクセラレータは、とくにM40が機械学習向けに最適化され、データセンターでの使用をテストされている。M4も同様に最適化されているが、消費電力の低いビデオ処理などに向いている。

今ではAWSやMicrosoft(Azure)など、多くのクラウドベンダがGPUをメインに使った仮想マシン*を提供、または近く提供の予定だ。ほとんどの場合、使用しているのはNVIDIAのGPUである。Googleは社内的には機械学習を大々的に展開しているが、一般ユーザ向けのクラウドプラットホームにはGPUメインのインスタンスがない。でもおそらく、Google独自の機械学習サービスの提供開始と並行してGPUインスタンスも提供されるのではないか、と思われる。〔*: 日本語ページ。〕

[原文へ]。
（翻訳：iwatani(a.k.a. hiwa）。

Kubernetesがv.1.0に到達、Googleは新組織Cloud Native Computing Foundationに技術を寄贈

Googleが昨年の2月にローンチしたオープンソースのコンテナ管理ツールKubernetesが今日（米国時間7/21）、バージョン1.0を迎えた。このアップデートによりGoogleは、Kubernetesの一般公開を検討している。また、さらに重要なこととして、GoogleはKubernetesを、Linux Foundationの傘下に新たに作られた組織Cloud Native Computing Foundation(CNCF)に寄贈し、Kubernetesのコントロールをそちらへ委譲する。この機関のパートナーはGoogleのほかに、AT&T、Box、Cisco、Cloud Foundry Foundation、CoreOS、Cycle Computing、Docker、eBay、Goldman Sachs、Huawei、IBM、Intel、Joyent、Kismatic、Mesosphere、Red Hat、Switch SUPERNAP、Twitter、Univa、VMware、そしてWeaveworksなどだ。

2015-07-20_0956

この新しい組織のミッションは、“クラウドネイティブなアプリケーションとサービスをデプロイするための共通技術に関して、デベロッパとオペレーターのコラボレーションの便宜を図ること”だ。Linux Foundationの事務局長Jim Zemlinが、今日の発表声明の中でこう書いている。

なんだか前にも聞いたような話だ、とお思いの方も多いと思われるが、それは実は数週間前に、やはり同じような企業、DockerやGoogle、IBM、Intel、Mesosphere、VMwareなどコンテナのエコシステムを支える面々が共同で、Open Container Projectをローンチしたからだ。こちらもLinux Foundationが管理するプロジェクトだが、コンテナ技術のスタンダードを作っていくことが目的だ。CNCFと違ってこのグループにはGoogleのライバルであるMicrosoftやAmazonもおり、逆にCNCFはこの二社がいないことが、顕著に目立つ。

GoogleのシニアプロダクトマネージャCraig McLuckieによると、Kubernetesは一般公開にこぎつけたことを契機に、Googleという一私企業の手を離れて新しい家を見つけることになった。Kubernetesの開発のコントロールを手放すGoogleの基本的な動機は、McLuckieによると、“それをできるかぎり偏在的な（ユビキタス）なものにするためだ。うちとしては、誰もがクラウドを使えるようになってほしい。今うちの顧客の大半がハイブリッドクラウドのユーザだが、そういう方々にも、クラウドネイティブのコンピューティングパラダイムの利点を享受していただきたい”。

彼によると、Googleが今後もKubernetesに関してアクティブであることは変わらない。そして、Googleも新しい組織の成功を期待している。しかもGoogleは、KubernetesがコンテナのためにGoogleが作った、そのほかの社内的なツールの欠陥を克服したものに育ってほしい、と期待している。

McLuckieがとくに指摘するのは、今日のKubernetesが、ノード数が数百ぐらいの小さなクラスタで有効に利用できること。しかし今では、多くの顧客が何千というオーダーのノードを管理したいと願っていることだ。またGoogleのチームは、バッチ処理のような別の種類のワークロードをさらに効果的に統合できることを、期待している。

なお、CNCFの管理下に置かれるのは、初めてのプロダクトであるKubernetesだけではない。同団体の視野はもっと大きくて、Kubernetesの管理だけが目的ではない。むしろ、JoyentのCTO Bryan Cantrillが今日述べているように、CNCFの真のミッションは、“現代的なエラスティックなコンピューティングを構成する重要なオープンソース技術の数々を前進させること”なのだ。

CNCFの統治方式は、まだ細部の煮詰めが必要なようだ。Linux Foundationの理事長Jim Zemlinによると、この組織はサービスを有料で提供することはせず、誰もが参加できる（Linux Foundation傘下のプロジェクトのほとんどが、そうであるように）。基本的な考え方としては、重要な技術を寄与貢献したところが、今後の意思決定にも参加できるようにする。“その席に座る者が、個人の優れたデベロッパであってもかまわない”、とZemlinは述べる。“重要なのは、コアデベロッパの存在だ”。

コンテナエコシステムの一部の大型選手(Microsoft、Amazon、Pivotalなど)がまだ参加していないが、Zemlinは、はぐれ鳥たちもその多くがいずれは参加する、と信じている。“この組織をベースにして作られていく標準クラウド技術は、誰にも拒否できないものになるだろう。今参加していない人たちも、後日、考えが変わるはずだ”、と彼は語る。

[原文へ]
（翻訳：iwatani(a.k.a. hiwa）

クラスタ管理を抽象化して簡易にするMesosphereがGoogleのクラウドプラットホームにも対応、DockerツールKubernetesを統合

GoogleとMesosphereが今日（米国時間8/18）、両社のパートナーシップにより、GoogleのCompute EngineプラットホームにMesosクラスタのサポートを導入する、と発表した。MesosプロジェクトとMesosphereはまだよく見かける名前ではないが、アプリケーションのスケーリング（ニーズに応じての規模拡大）で余計な苦労をしたくないと考える企業にとって、このところ急速に、重要なツールになりつつある。それらのアプリケーションの所在は、完全に自社のみのデータセンターの場合もあれば、パブリックなクラウドサービスの場合、あるいはパブリック/プライベートのハイブリッドの場合など、さまざまである。〔*: Mesosphere関連日本語訳記事（１）、（２）。Mesosの’os’はOS(オペレーティングシステム)の意味…クラスタ群を一台のコンピュータへと抽象化する。〕

今度の提携によりGoogleのCloud Platformのユーザは、MesosphereのクラスタをGoogleのサーバ上に10分足らずでセットアップできるようになる。その基本的なインストールには二つの形があり、デベロッパはそのどちらかを選ぶ: 1)4インスタンスの開発用クラスタでアプリケーションのプロトタイピング用に8つの仮想CPUと30GBのメモリを提供、2)プロダクション用インストールで18インスタンス36仮想CPUメモリ136GB。この二つのオプションで不満な場合は独自のカスタムクラスタを作れる。

これらのクラスタにはデフォルトでMesosカーネル、Zookeeper、Marathon、およびOpenVPNが含まれる。クラスタの使用を開始するとMesosphereは、クラスタを管理するためのWeb上のわかりやすいダッシュボードを管理者に提供し、それにはGoogleのダッシュボードからアクセスできる。

MesosphereのCEO Florian Leibertによると、Mesosphereの中心的なねらいは、デベロッパがデータセンターをつねに一台のコンピュータのように扱えることだ。そのためにMesosなどのソフトウェアパッケージがDevOpsの主な仕事のほとんどを抽象化する。Leibertは以前TwitterやAirbnbの社員で今やそのTwitterもAirbnbもMesosのユーザだが、両社にオープンソースプロジェクトMesosを紹介したのはLeibert自身だ。

ユーザのハードウェアは実際には複数のハードウェアや仮想マシンやクラウドのインスタンスなどから成るが、Mesosphereという一枚の層がその上にかぶさるとアプリケーションは、多くのCPUやメモリをかかえた単一のリソースプールを使っている、という外見になる。デフォルトではMesosphereのサービスは、ユーザが使っているオペレーティングシステムやクラウドが何であるかを、まったく関知しない（どうでもよい）。ただし今回のGoogleとの提携にあたっては、Googleのクラウドに対しての最適化を図った。Mesosphereの詳細なドキュメンテーションは、ここにある。

Googleとのパートナーシップの中には、Dockerのコンテナを管理するGoogleのオープンソースのサービスKubernetesをMesopshereに統合することも含まれる。同社によるとこれによって、Dockerのワークロードの展開管理がより容易になる。ただしMesopshereのKubernetes統合は、対象がGoogleのCloud Platformに限定されない。Leibertは今日の発表声明の中で、“われわれが織り上げたコンピューティングの織物は、GoogleのCloud Platformだけでなく、そのほか、ユーザ自身のデータセンターやそのほかのクラウドプロバイダでも使用できる”、と言っている。〔Kubernetes関連日本語訳記事（１）、（２）。〕

GoogleでKubernetesなどの次世代クラウドコンピューティングプロダクトを担当しているリードプロダクトマネージャCraig McLuckieによると、GoogleがKubernetesでやりたいことは、Googleが自社のデータセンターを管理するために開発してきた重要なコンセプトの多くを、同社の外部でも利用できるようにすることだ。彼は今回のMesosphereとGoogleの協働関係を、“きわめて相補的である”*と呼び、それら重要コンセプトの一部はMesosにも持ち込まれるだろう、と考えている。〔*: complementary, お互いの足りないところに互いにピッタリとはまり込んで補う、完璧な結婚。〕

MesosphereのシニアVP Matt Trifiro（元HerokuのCMO）によると、KubernetesやMesosのようなプロジェクトは、これらの技術の背後にある非常に高尚な思想を、万人が共有するものにする。現状では、“Webをスケールしなければならないというニーズを抱える企業にとって、ツールが十分にアクセス可能でなかった”。しかし今では、GoogleやMesosの高度なコンセプトとツールを企業も利用できるようになり、デベロッパやDevOps たちは一段高い抽象性のレベルで仕事ができるようになり、アプリケーションを動かしているインフラの具体的な細部を、直接いじらなくてもよくなっている。

Leibertは今日、こう書いている: “Googleと協働することによってGoogleのCloud Platformを、従来からのMesosphereのワークロード、たとえばMarathon、Chronos、Hadoop、Spark、そして新たにKubernetesなどを使用するための最良の場所にしていきたい”。

この協働プロジェクトでは両社の関係がきわめて密だから、いずれGoogleがMesosphereを買収することもありえるかもしれない。現状ではそれは、あくまでも憶測だが、でも実際にそうなったら、その起源がこれだったことを、思い出そう。

[原文へ]
（翻訳：iwatani(a.k.a. hiwa)）