Mesosphere | SEO-LPO.net

MesosphereがデータセンターオペレーティングシステムDC/OSにKubernetesのサポートを導入

今Kubernetesは確実に、コンテナオーケストレーションサービスのデファクトスタンダードになっている。Mesosphereはわりと初期からコンテナを採用し、企業顧客の、分散システムによるクラウド上のビッグデータ分析を支えているが、今日（米国時間9/6）は、大規模な分散アプリケーションを動かすためのOSのような同社のプラットホームDC/OSがKubernetesをサポートする、と発表した。Mesospereはいわば、Apache Mesosの実装系であるが、MesosとDC/OSのためのコンテナオーケストレーションツールとしては長年、同社独自のMarathonを提供してきただけに、今回の動きは意外である。〔*: DC/OS == Data Center Operating System〕

KubernetesのサポートはDC/OS 1.10のベータから提供され、それは9月11日にローンチされる。

今朝この情報をもたらしたThe Informationの記事は、MesosphereがKubernetesに“屈した”、という見方をしている。同じく今朝、ぼくがMesosphereの協同ファウンダーでCEO Florian LeibertやMesosphereのCMO Peter Guagentiに取材したら、両人は屈服説を断固否定した。両人が強調するのは、大企業が多い同社の顧客に選択肢を提供する、という考え方だ。“うちの顧客は大企業のインフラやオペレーションを担当しているプロであり、一つの組織内で何十万ものデベロッパーに奉仕している”、とGuagentiは語る。“そんな彼らにとっていちばん重要なのは、選択の自由だ”。

Leibertの見解では、Kubernetesをオーケストレーションエンジンの一つとして提供することは、これまで同社が、複数のデータサービスや継続的インテグレーションのプラットホーム、あるいは複数のネットワーキングツールをサポートしてきたことの延長にすぎない。さらにGuagentiが強調して曰く、顧客にとってMesosphereは、コンテナを利用するためのプラットホームではなく、あくまでも、データ集約的なアプリケーションをデプロイし管理していくためのインフラなのである。

Leibertによると、MarathonとKubernetesではユースケースが異なる。Marathonは、コンテナ技術を使っていないレガシーのアプリケーションを動かすためにも使えるが、Kubernetesは当然ながらコンテナのためのツールだ。“だから両方をサポートするのが自然であり当然だ”、と彼は言う。“これらの技術の多くはレヤーケーキにとてもよく似ていて、たとえばKubernetesとMesosはとても相性が良い。コンテナのワークフローをKubernetesが担当するが、Hadoopのようにコンテナを使わないアプリケーションもある”。

Guagentiに言わせると、コンテナの分野でもMesosphereはリーダーだ。ユーザーがプロダクションで動かしているコンテナの数でもたぶんトップだし、コンテナサービス企業の中で売上でもトップだろう、という。売上の金額は、教えてくれなかったけど。

LeibertとGuagentiは、これまでと変わらずMarathonへの投資は続ける、と断言した。

今後ユーザー企業のデベロッパーたちは、Kubernetesを使うコンテナのデプロイを、DC/OSを使ってセットアップおよび管理できるようになる。もちろん同じインフラストラクチャの上でDC/OSはそのほかのコンテナデプロイメントも動かすし、Kubernetesも各デプロイによってバージョンがさまざまに異なったりするだろう。このプロジェクトでMesosphereはGoogleと協働し、Mesosphereがユーザーに、ベンダー固有の変更がなく、互換性の問題も起きない、源流的（最上流的）なバージョンのKubernetesを提供できるようにしている。

GoogleでKubernetesとGoogle Cloud Platformを担当しているプロダクトマネージャーAllan Naimはこう語る: “KubernetesをDC/OSに導入することによってMesosphereは顧客に、データリッチなコンテナ化アプリケーションを、彼らのデータセンターやクラウド上で構築、デプロイ、そしてオペレートできる堅牢なプラットホームを提供することになる。コンテナにはKubernetes、そしてマシンインテリジェンスにはTensorFlowを使うプロジェクトを、MesosphereのDC/OSとGoogle Cloud Platformの両プラットホームで動かせば、企業は強力な、そしてオープンなハイブリッドクラウドプラットホームを確保することになる。その意味でMesosphereとの協働、およびコミュニティの前進に継続的に貢献できることが、これからも楽しみである”。

Mesosphere側の結論としては、単純に顧客の選択肢を増やすことに帰結するが、Kubernetesのエコシステムがまた一勝を挙げたことも確実だ。そのエコシステムは、これまで独自のニッチを築いてきたMesosphereにとっては脅威ではないが、これまでコンテナの普及推進の主役だったDockerにとっては、主役を奪われる危険性があるかもしれない。たしかに今回のMesosphereの動きによって、Dockerの独自性の確立と維持が、やや難しくなったようだ。

[原文へ]
（翻訳：iwatani(a.k.a. hiwa））

MicrosoftのAzure Container Serviceが一般供用へ…オーケストレーションは主要二社の製品から選べる

MicrosoftのクラウドコンピューティングサービスAzure用のコンテナスケジューリングおよびオーケストレーションサービスAzure Container Serviceが、一般的に可利用になった。

このサービスではユーザーが、自分たちのコンテナをデプロイおよびオーケストレートするためにMesosphereのData Center Operating System(DC/OS)、またはDockerのSwarmとComposeを選ぶ。サービスが発表されたのは2015年9月で、公開プレビューは今年の2月に行われた。

MicrosoftのAzure担当CTO（でときどき小説家の）Mark Russinovichによると、DockerのSwarm/Composeと、DC/OSのオープンソース部位…どちらもオープンソースプロジェクトがベース…の両方を使えることが、Azure Container Serviceの、コンペティターにはない利点だそうだ。

Russinovichによると、同社は顧客に、二つのうちのどっちを使え、ということは言わない。“うちのクラウド上で顧客に、どちらか、または両方を使って、グレートな体験をしていただくことが、われわれの仕事”、だそうだ。

MicrosoftとMesosphereの関係は、もうかなり長い。最初同社は、AzureのユーザーがAzure上でMesosphereのDC/OSを使えるという方式を選び、Mesosphereとのパートナーシップにより、WindowsとHyper-VコンテナでもDC/OSを使えるようにした。さらにMicrosoftはMesosphereに戦略的投資を行い、昨年はMicrosoftがMesosphereをその年に買収するという噂もあった。Russinovichはもちろん、買収についてはコメントしないが。

Microsoftの考えでは、オープンソースのソリューションを使うことによってユーザーは、自分たちのワークロードを、必要に応じてオンプレミスに移すことも容易にできる。また、既存のオンプレミスのソリューションをAzureに移すこともできる。

しかしMicrosoftのこの陣容には、GoogleのKubernetesの姿がない。こちらもやはり、オープンソースのプロジェクトだが。この点についてRussinovichは、あくまでも顧客の要望の多いオープンソース技術を選んだのだ、と言う。Kubernetesはこれまでの要望になかった、ということだが、彼は、Azureが今後それをサポートする可能性がないわけではない、と言った。

Russinovich曰く、今Microsoftは、多くの企業がそのワークロードをコンテナに移しつつある状況を目撃している。“数年前にはdevの連中がテストしているだけだったが、今では全社的にそのプロダクションに採用している”、と。

しかしユーザーは、自分のデプロイに対するサポートを、直接、MesosphereやDockerから得なければならない。今MicrosoftがRed Hatとの契約でやってるような、‘Azureからのサポート’という形には、当面ならないようだ。

[原文へ]
（翻訳：iwatani(a.k.a. hiwa））

MesosphereがシリーズCで$73.5Mを調達、HPとMicrosoftの共同投資のような形になる

periodic-table-721x411-ea2b3e75968fbb5dd814f2a2cdc926ec

DockerコンテナとApache Mesosをベースとするクラスター管理サービスMesosphereは、企業のデータセンターに同社の主要プロダクトData Center Operating System(DCOS)を提供して、リソースの管理を単純に一元化し、その有効利用を導く。その同社が今日、シリーズCで7350万ドルを調達したことを発表した。

このラウンドをリードしたのはHewlett Packard Enterprise(HPE)で、既存の投資家Andreessen Horowitz, Khosla Ventures, および新たな投資家としてA CapitalとTriangle Peakのパートナーたちも参加した。これだけでも強力な面子（めんつ）だが、もっとおもしろいのは、Microsoftが戦略的投資家としてラウンドに参加したことだ。

MicrosoftとHPEは共に、Mesosphereを買収してもおかしくない企業だし、実際に昨年は、Microsoftが買収するという噂があった。しかしこれまでのところMesosphereは、そんな話に抵抗してきた。HPEとMicrosoftが同じ企業に投資するのはおかしい、と思えるかもしれないが、実際には両社は昨年の12月に公式のパートナーシップを発表している。

本誌の前の記事では、このラウンド…Microsoftの戦略的投資を含む…におけるMesosphereの評価額を6億ドルと書いた。同社の調達総額は、これで１億2600万ドルになる。

MesosphereのCEOで協同ファウンダーのFlorian Leibertによると、同社は今後も継続的にエンジニアリングに重点投資をしていきたい、という。“というのも、従来型の企業は今、‘古いスタック’から‘新しいスタック’へ、われわれの予測よりも急速に、移行しつつある。おたく（TechCrunch/AOL）の親会社であるVerizonも、今ではデータセンターのオーケストレーションのためのプラットホームとしてDCOSを使っている。しかもそういうGlobal 2000社の企業は、エンタープライズ級の営業とサポートを（われわれベンダに）求める。今回のシリーズCも大半はエンジニアリングへの深い投資…データセンターのすべての側面を自動化すること…に充てられるが、同時に、営業やサポートチームへの投資も行っていく”。

HPEを投資ラウンドのリーダーに選んだことについてLeibertは、“MesosphereのDCOSとHPEのハードウェアの組み合わせは最強の提案だから、顧客企業における、データセンターの“旧”から“新”への変容を加速する”、と述べた。Microsoftの参加については、“Microsoftは誰が見ても、世界中のほとんどすべての大企業との、強力な商業的関係があり、また同社はAzureを彼らに提供することによって、大企業顧客をハイブリッド展開のクラウドへ移行させようとしている”、というのがLeibertの見方だ。

今日は、新たな投資ラウンドの発表とともに、新しいプロダクトVelocityのローンチも行われた。Velocityは継続的インテグレーション/継続的デプロイメントのためのツールで、オープンソースのJenkins オートメーションサーバーを利用している。Velocityは基本的にはJenkinsに、MesosphereのコンテナオーケストレーションプラットホームMarathonを組み合わせて、スケーラビリティに優れた継続的インテグレーションのプラットホームに仕立てたプロダクトだ。同社によれば、今すでに多くの企業が、この、Mesos, Docker, Jenkinsの組み合わせをベースとする独自のプラットホームを展開している。Velocityはそれを、“どんなタイプの企業でも”利用できる形にまとめたものだ。

〔参考記事: Apple SiriとMesosとMesosphere〕

[原文へ]
（翻訳：iwatani(a.k.a. hiwa））

MesosphereがMicrosoftの買収プロポーズを蹴って評価額6億ドルの新たな資金調達ラウンドを準備中

オープンソースのApache Mesosプロジェクトを母体とする商用サービスMesosphereが今、評価額を6億ドルと大きく更新して新たな資金調達を行っているようだ。

現状はまだ情報筋からの話に過ぎないので、公表された時点ではもっと大きな額になっている可能性もある。しかしThe Informationによると、この調達ラウンドは、Microsoftによる買収が破談になった直後に始まっており、そのときのM社の評価額を大きく上回る3億ドル以上を同社は今求めているらしい。

こういうケースでは複数の商談が並行して進み、互いに相手を交渉の材料として利用しあう戦法になりがちだ。したがってその過程で大きくふくらんだ額が、そのまま最終的な額になるとは限らない。

オープンソースプロジェクトApache Mesosと商用サービスMesosphereとの関係は、Hadoopとその商用サービスClouderaの関係に似ている。Mesosphereを利用すると大きなデータセンターをあたかも単一のリソースプールのように管理でき、ジョブが増えれば新たに仮想マシンを立ち上げる、といった低レベルを、ユーザは扱う必要がない。ユーザはまるで単一の仮想マシンから得られるような効率をデータセンター全体に亙（わた）って得られ、単純にどんなリソースでも利用できる。

Mesosphereのユーザインタフェイスとしては単一のリソースプールだが、もちろん楽屋裏ではジョブを複数の仮想マシンに分散し、それらをクラスタ化して管理する仕事が行われている。ユーザから見れば、データセンターの全体が一台の仮想マシンであるかのような、仮象になる。今日のアプリケーションは複数のクラウドベースのサーバに分散してデプロイされ、実行効率を上げていることが多いが、Mesospereがデータセンター全体のユーザインタフェイスであるかぎり、ユーザであるIT部門はそのあたりの細部に関わる必要がない。Apache Mesosにかぎらず、通常、オープンソースのパッケージそのものは、そこまでの利便性は提供していない。複雑難解なHadoopを使いやすくしてくれる、というClouderaやRed Hatなども、そういうタイプの商用サービスだ。

ClouderaやMesospereのようなサービスはいわば、オープンソーステクノロジの応用系（‘アプリケーション’）であり、そのことがユーザを惹きつける。MicrosoftやNvidiaは結婚まで申し込んできたが、もちろんそうなれば、単純な投資よりもややこしい話になる。一方今同社が求めているラウンドの額は、情報筋によると500万ドルあまりで、投資家にはMicrosoftやIntelも含まれるらしい。

同社は昨年10月のラウンドで3600万ドルを調達している。そのときの投資家は、Andreessen Horowitz、Khosla Ventures、Fuel Capitalなどだ。

[原文へ]。
（翻訳：iwatani(a.k.a. hiwa）。

MicrosoftがMesosphereの協力でMesosをWindows Server 2016に統合

Apache Mesosプロジェクトをベースとして、コンテナを軸とする“データセンターのためのオペレーティングシステム”を作ろうとしているMesosphereが、今日（米国時間8/20）行われたMesosConで、Windows Server 2016のプレビューバージョンの上で動くMesosの、初めての公開デモを行った。

Microsoftは昨日、DockerコンテナをサポートするWindows Serverのテクニカルプレビューをローンチしたばかりだから、デベロッパがこの機能を実際のプロダクションで使えるのはもっと先だろう。

Mesosphereの協同ファウンダBen Hindmanによると、彼のチームはMicrosoftと密接に協働して、オープンソースのApache Mesosプロジェクトとオープンソースでないサーバ製品との接合に努めた。彼によると、Mesosphereの企業顧客の多くもかねてから、自分たちがコンテナを本格的に使うようになればWindows Serverもサポートしてほしい、と言っている。

多くの企業の現実として、彼らのデータセンターではLinuxのワークロードとWindows Serverのワークロードの両方を動かしている。そこで、今回のMesos（〜Mesosphere）サポートにより、オペレータはどちらのワークロードのタスクでも、同一のコンテナ管理ツールを使えるようになる。

mesos_windows_server

Windows Server上のMesosは、Microsoftが最近のWindows Serverのプレビューで導入したMicrosoft作のDocker APIにプラグインすることになる。それによりデベロッパは、Windows Server Containerと、さらに今後のMicrosoft独自のコンテナHyper-Vの両方を使えるようになる。

Microsoft AzureのCTO Mark Russinovichによると、Microsoftがこのプロジェクトに参加したのは、Windows用のもうひとつのコンテナオーケストレーション技術を顧客に提供したいからであり、顧客もそれを求めているからだ。Azureクラウド上のMesosはすでにデモしたことがあるが、しかしそれは、Linux上で動くMesosだった。

一方Mesosphereのチームによると、今回の統合を実現したコードは（オープンソースだから）1〜2週間後にGitHubで公開される。その一部は、すでにアップされている。

最近では、MicrosoftがMesosphereを買収する、という噂もある。両社の仲は良好だし、Microsoftはコンテナ技術をクラウドとサーバの両方でより本格化したいと願っているから、ありえる話かもしれない。

また、このところMicrosoftは、これからはオープンソースコミュニティと積極的に関わっていく、と公言している。オープンソースコミュニティとの協働関係はGoogleの方が先輩だから、Googleとしても、鳶に油揚げをさらわれるのを、黙って見てはいないだろう。MesosphereがM/G 両社のあいだで競り値の高いオークションの標的になることも、考えられる。

[原文へ]
（翻訳：iwatani(a.k.a. hiwa）

MesosphereがData Center Operating System(DCOS)のSDKとデベロッパサポートプログラムを立ち上げ

データセンターのためのオペレーティングシステム(datacenter operating system, DCOS)を作ろうとしているMesosphereが今日（米国時間7/15）、そのデベロッパサポート事業とSDKをローンチしたことを発表した。デベロッパはこのSDKを使って、Mesosphereの言う“データセンターサイズの(data center form factor)”アプリケーションを書くことができ、アプリケーションのスケーリングの自動化や分散化をMesosphereのサービスに頼ることができる。

大規模な分散化を前提とするアプリケーションは、通常ならデベロッパがスクラッチで設計し書かなければならない。しかしMesosphereによると、“今日からデベロッパはMesosphere DCOSのプリミティブを使うことによって、直接、データセンターのためのアプリケーションを作っていける。ネットワーキング機能もリソース割り当てもコンテナのオーケストレーションも、フォールトトレランスもパッケージの配布も運用の自動化も、すべて、プリミティブが用意されている”、というのだ。

またこのSDKを使って書いたアプリケーションは基本的に、Mesosの能力を自動的に利用することになる。つまりSDKは、コンテナのスケジューリングの管理や、需要に応じてのスケールアップ/ダウン、アプリケーションの可用性の最大化、などのプリミティブも備えている。DCOSのために書いたアプリケーションは、どこであれ、デプロイされたその場で動く。AWSの上であれ、オンプレミスのデータセンターであれ。

SDKは、Java、Scala、Python、Go、C++の各言語から利用できる。

Developer Program - Mesosphere

同じく今日立ち上げるデベロッパサポート事業では、Google Groupによるデベロッパコミュニティが提供され、また、MesosphereのDCOSエキスパートとチャットできるチャネルが、…今や20世紀ではなく21世紀なので…、IRCではなくSlackで提供される。

またデベロッパ全員向けのデベロッパ事業だけでなく、VIPパートナー事業というものもあって、これにはISVやシステムインテグレーター、セキュリティやストレージ、ネットワーキング、インフラストラクチャのプロバイダ、ハードウェアやクラウドのプロバイダなどが参加できる。パートナーとして認められるとMesosphereの検定プログラムにアクセスでき、検定に通ったパートナーはその高度な技術力とサポートの信頼性が保証され、いわば“Mesosphereがユーザ企業各社に採用をおすすめする”ベンダになる。

[原文へ]
（翻訳：iwatani(a.k.a. hiwa）

Mesosphereがベータを脱して一般公開へ、無料利用もありだが当面AWS上のみ

Mesosphereが2013年の創業以来構築してきた、コンテナ技術をベースとするDatacenter Operating System(DCOS)が、今日（米国時間6/10）から一般的に可利用になる。すなわち今日からこのデータセンターオペレーティングシステムは、無料でパブリックでクラウドのみのコミュニティエディションと、有料のエンタプライズライセンスという2種類の提供形式となり、とくにエンタプライズユーザは、自分がソフトウェアをその上で動かしたいと願うどんなプラットホームでも、DCOSを使えるようになる。

DCOSがユーザ企業に提供する基本的なコンセプトは、データセンターやパブリッククラウドのデプロイメントがどれだけ多くのサーバやクラスタから構成されていても、それらを、まるでたった一台のコンピュータであるかのように操作し管理しコントロールできる、という考え方だ。そしてそれによって、リソースの利用効率を最大化する。

learn-feature-1

エンタプライズエディションとコミュニティエディションは同じ技術をベースにしているが、前者の有料プランでは24/7の技術サポートが受けられ、またセキュリティとポリシー管理が強化される。また有料プランではMesosphereを、パブリッククラウドだけでなく、企業のプライベートクラウド（OpenStackなど）やハイブリッドクラウドでも利用できる。同社によると、Mesosphereのエンタプライズエディションのベータには3800社あまりのユーザ企業が登録している。

“最近ではデータセンターにおけるアプリケーションのデプロイメントが複雑化しているため、どうしても、データセンターオペレーティングシステムと呼べるような新しいタイプのオペレーティングシステムが必要になっている。今の企業が求めているのは、オンプレミス、クラウド、ハイブリッドと多様に分散している大規模な分散システムを統一的にデプロイし管理するための、フレキシブルでスケーラブルな方法だ”、とMesosphereの協同ファウンダでCEOのFlorian Leibertは語る。“これ(DCOS)は、TwitterやYelp、Groupon、AppleのSiriなど動かしているインフラストラクチャと同じコアテクノロジだ”。

なお、今Mesosphereが提供する一般的な可利用性（上記2タイプ）は、利用環境がAmazonのクラウドコンピューティングプラットホームに限定される。Microsoft AzureとGoogleのCompute Engineの上では、公式にはまだベータだ。デベロッパは無料のエディションを使ってSparkやHadoopなどの複雑なプロダクトのスケーラブルなインストールを素早くセットアップでき、同じクラスタの上で並行的に動かすことができる。

Mesosphereの今回のローンチの参照顧客はYelpだ。同社はOpenStackなどの技術を使ってハイブリッドクラウドをセットアップすることを考えたが、最終的にはDockerを主役に据えているMesosphereに落ち着いた。そしてMesosphereのクラスタを、本番並の稼働状態にもっていくために、三ヶ月を要したという。

[原文へ]
（翻訳：iwatani(a.k.a. hiwa）

これからのアプリケーションはデータセンタースタックを必要とする

[筆者:Derrick Harris ]
編集者注記: Derrick HarrisはMesosphereのシニアリサーチアナリスト。Harrisは最近GigaOMに、クラウドとビッグデータについて書いた。

インターネットはこれまでの20年間で生活を大きく変えた。Webとモバイルのアプリケーションで、どこからでも、情報の検索と買い物とスムーズなコミュニケーションができ、しかもそのスピードは、これまでありえなかったほどに速い。車のダッシュボードでおすすめの映画を知り、携帯電話でビデオの制作と掲載ができる。温度計を買えば、仕事に出かける時間に暖房を消してくれる。

テクノロジ業界の外にいる人には、これらの技術進歩がマジックのように見えるかもしれないが、実際にこれらのアプリケーションを作っている人たちは、そこにどれだけ多くのものが込められているかを理解している。でも最近ではビジネスの世界にいる人たちみんなが、それを理解していることが重要になりつつある。

その理由は簡単だ: 優秀な企業は、次の10年の企業競争で落伍しないためにはITについてまったく新しい考え方をしなければならないことを理解している。モバイルアプリから冷蔵庫に至るまでのあらゆるものが、さらに一層個人化され、一層インテリジェントになり、より機敏に反応しなければならない。企業は機械学習を行い、センサのデータを取り入れ、ユーザのトラフィックの予期せざる急騰に無事に対応しなければならない。

後戻りはできない。アプリケーションが、ユーザが期待する体験を提供できなければ、彼らは、それを提供できるほかのアプリケーションを見つけるだろう。

アプリケーションのアーキテクチャの革命

アプリケーションとWebサイトのユーザは、過去数年間で百万のオーダーに達し、アプリケーションのそれまでのアーキテクチャは、その膨大な量のトラフィックとユーザデータに対応できなくなっている。さらに最近では、その大量のデジタルデータを有効利用しようという欲求が生まれ、その目的だけに奉仕するまったく新しい種類の技術への関心が芽生えてきた。

それらの技術には多くの場合、サーバの複数のクラスタにまたがって容易にスケールできるように設計された新しいストレージや処理能力、およびデータベースのフレームワークを作ることが含まれている。またさらに、これら各部位間の情報の移動を単純化し、高速化することも求められる。GoogleやLinkedIn、Facebook、Yahoo、Twitterなどの大きなインターネット企業では、この同じ一般的パターンが、何度も何度も繰り返し実装されている。

たとえばデータベースのレイヤでは、ほとんど誰もが関係データベースからスタートし、今になって新しいプランを考えなければならなくなっている。一部の企業は、MySQLデータベースをその自然な限界を超えて酷使するために、秘かに何百万ドルもの費用と人時間を投入し続けている。逆に新しいデータベース技術を作ったところもあるし、新旧の二股をかけているところもある。

またビッグデータの処理でも、新しいパターンが生まれている。具体的な技術はさまざまでも、今の大型Web企業に共通している新しいアーキテクチャは、データ処理のリアルタイム部分と、準リアルタイム部分と、バッチ部分という三層構造だ（下図）。必要に応じて、個人化されたWeb体験やコンテンツ体験をリアルタイムで高速に提供しなければならない。しかしまた同時に、社内のデータアナリストやデータサイエンティストたちが、データの集合に対して彼らの能力を十二分に発揮できなければならない。

アプリケーションの構成部位としてのデータセンター

今ITに起きているイノベーションは、ものすごいスケールだ。GoogleやFacebook、Amazonなどは日々数十億のユーザに奉仕し、数百万件のユーザ対応処理が並列で行われている。それと同時に、大量のデータが保存される。しかしそれでも、彼らはめったにクラッシュしない。Twitterも、インフラストラクチャに思い切った投資をしてからは、あのfail whale（クジラさん）が現れなくなった。

これらの企業はこれまで、MapReduce、Hadoop、Cassandra、Kafkaなどなど、数々の技術を生み出してきた。また無名のスタートアップやデベロッパたちも、主にオープンソースの世界で、アプリケーションのパフォーマンスをとスケーラビリティを高め、ときにはまったく新しい機能を実現するための新しいツールを作ってきた。それらの中では、Spark、Storm、Elasticsearchなどがとくに有名だ。

また、そのような極端に巨大なスケールでも安定して動くアプリケーションを開発するための、アプリケーションの新しいアーキテクチャも生まれてきた。

たとえば、今いちばんもてはやされているのがマイクロサービスだ。これはアプリケーションを個々のサービスの集合として構成するアーキテクチャで、部品であるサービスは複数のアプリケーションから使われてもよい。これまでの、一枚岩的なアプリケーションアーキテクチャでは、各部位がそのアプリケーションの専用の部品として閉じ込められている。しかし、自立した個々のサービスの集まり、という新しいアーキテクチャでは、各部位間や、部位と特定のアプリケーションとのあいだの依存性がなくなり、サービスのスケールアップをアプリケーションの再構築を必要とせずに実現できる。

また、マイクロサービスと並んでビッグなトレンドになっているのが、コンテナ化だ。コンテナは、Dockerのようなデベロッパフレンドリなフレームワークを利用して作ってもよいし、もっと低レベルにLinux control groupsを使ってもよい。コンテナに収めたアプリケーションは分散サービスに容易にプラグインでき、いつ何をどこで動かすか、などをいちいち気にする必要がなくなる。コンテナがあることによってデベロッパは、自分のアプリケーションの機能や構造の磨き上げに集中できる。

以上のような、分散サービスの集合体とコンテナ化という新しいアーキテクチャ技術を一つの全体として見た場合には、それを“data center application stack”（データセンターアプリケーションスタック==アプリケーションの基本構成要素としてのデータセンター）と呼べる。奉仕すべきユーザが複数のプラットホーム上に何百万もいるようなアプリケーションを作り、それらのアプリケーションが多量かつ多様なデータをハイスピードで利用していくときには、どうしてもそういう、サービスの集合体的なものを使うことになる。したがって高性能なデータセンターが、いわば、アプリケーションの心臓部になる。

これらは、将来そうなるという説ではなくて、今急速に進展しているトレンドだ。巨大な消費者アプリや、Salesforc.comのような巨大なビジネスアプリケーションを志向するスタートアップたちのあいだでは、これらの技術がすでに常備品になっている。

またデベロッパやスタートアップだけでなく、企業も変わりつつある。Fortune 500社だけでなく、ITのイノベーションとは無縁と思われていた中規模の企業ですら、インターネットの時代に対応しようとすると変わらざるをえない。したがって彼らも、今ではデータセンターが提供するサービスに関心を持ち始めている。データセンターのアプリケーションスタック化は、企業の内部にも浸透していく。

“ビッグデータ”と“リアルタイム”と“物のインターネット(IoT)”は、今や単なるバズワードではなく、21世紀の経済において企業の成功を左右する必修科目だ。

そしてデータセンターアプリケーションのためのオペレーティングシステムが

しかしこれらはいずれも、実装が難しい。Hadoopをデプロイして管理してスケールする。Cassandraを〜〜〜〜。Kubernetesを〜〜〜〜。等々。使用するフレームワークやサービスごとに、あなたは手を洗って同じことを繰り返す。実装の困難さは、口にしてもしょうがないから、誰も口にしない。だから、世に氾濫する‘かっこいい話’には出てこない。

でもある時点で企業は、それまでのアプリケーションの書き方を反省し、データのパイプラインを築くことで、より強靭なアーキテクチャを確保したくなるだろう。

GoogleやMicrosoftのような、大きくてエンジニアをたくさん抱えている企業は、この問題をBorgやAutopilotなどのシステムを自分で作って解決してきた。こういうシステムがあると、リソースの適正な割り当てを自動的にやってくれるから、何百万台ものサーバにまたがって動くサービスやアプリケーションの高い可用性が確保される。デベロッパやソフトウェアアーキテクトが頑張らなくても、アルゴリズムが、どこで、何を、どれだけのマシンの上で動かすかを決める。

しかし、BorgもAutopilotもすばらしいシステムだが、どちらもプロプライエタリだ。Googleが某論文の中で、Borgというものの存在を認めたのも、ごく最近のことだ。MicrosoftはAutopilotについて、ほとんど何も明らかにしていない。そしてBもAも、一般的なサービスとしては提供されていない。

そこで、Mesosphereだ、というお話になるのだが、それは次の機会のお楽しみに。

〔原文のコメントに、Microsoftの元社員からの反論があります。〕

[原文へ]
（翻訳：iwatani(a.k.a. hiwa）

Mesosphereの総合化プロダクトDatacenter Operating System(DCOS)がMicrosoft AzureとAWSに上陸

さまざまなサーバで構成されるデータセンターを単一のエンティティとして扱えるためのサービスを提供しているMesosphereが、重要な結実期を迎えた。今日（米国時間4/29）同社は、Microsoft AzureとAmazon Web Services(AWS)の両クラウド上で、同社のDatacenter Operating System(DCOS)の公開ベータをローンチした。オープンソースのApache Mesosをベースとする同社の技術にとって、これは大きな前進だ。

デベロッパはDCOSを使ってHadoopやCassandra、Jenkins、Googleのコンテナ管理サービスKubernetesなどのLinuxアプリケーションをクラスタ上で容易に動かすことができ、処理需要の増減に応じてのスケーリング、そのためのリソースプロビジョニングは、DCOSが自動的に行う。Mesosの基本機能により、これらのアプリケーションにとってデータセンターは、共有リソースの単一のプールになる。〔データセンター全体を一台のPCのように操作/管理できる。〕

TwitterやYelp、NetflixはすでにMesosを使っており、AppleもSiriのバックエンドをMesosの上で動かしている。

今日行われたMicrosoftのデベロッパカンファレンスBuildで、AzureのCTO Mark Russinovichが、Mesosphereを使ってAzure上でクラスタをローンチするやり方を見せた。彼はその、200のノードから成るクラスタを素早く始動し、その上で2000のDockerコンテナをローンチした。Azureは今日、ややカスタムなデモを見せたが、AWSを使っているデベロッパもそれと同じ機能を同プラットホーム上で利用できる。

これまでMesosphereという名前だったはずのプロダクトがなぜ今日から急にDCOSになるのかというと、それまで同社はそのサービスを、Mesosの“スタック”に焦点を当てて語っていたのに対し、昨年の終わりごろからはそれらの関連サービスのすべてをDCOSへとパッケージングして、選ばれた少数のデベロッパにアーリーアクセスを提供し始めていたからだ。そして今日からは、すべてのデベロッパがここを窓口として、公開ベータにサインアップできる。

mark1000

[原文へ]
（翻訳：iwatani(a.k.a. hiwa）

MesosphereがGoogleのKubernetesを“データセンターのためのオペレーティングシステム”に導入

Googleは同社製のKubernetesを、大きなクラスタ集合やコンテナ集合を管理するための標準技術にしたいようだ。同じくコンテナに注力している、データセンターのためのオペレーティングシステムを自称するMesosphereも、クラスタ集合の一元管理のデフォルトの座をねらっている。だから両者は一見すると競合するようだが、しかし今日（米国時間4/22）のGoogleとMesosphereの発表によると、Mesosphereがこれからは、同社のDatacenter Operating System(DCOS)にKubernetesを統合する。

Google自身はデータセンターのクラスタ管理に同社製のBorgを使っている。GoogleがBorgの名を表に出したのはほんの数年前だが、最近では、KubernetesはBorgを大いに参考にしている、とおおっぴらに公言している。

GoogleのプロダクトマネージャCraig McLuckieはこう述べる: “Kubernetesは最初からこれらの機能を誰もが使えるために設計され、社内でBorgという名前で知られているシステムを作った技術者たちが、その開発を担当した”。

そしてこのたび両社のコラボレーションにより、KubernetesとMesosphereのそれぞれ良い点を合体させてデベロッパに提供できる。ターゲットは主に、企業だ。

かねてからMesosphereの売りは、どんなに大きなデータセンターでもまるで一台のコンピュータのように操作/管理できることにある。 MesosphereのベースになっているオープンソースのプロジェクトApache Mesosは、複数のマシンにわたるジョブ分散とジョブスケジューリングを担当し、リソース利用の最適化を図る。

このたびのMesosphereとKubernetesの統合により、デベロッパはMesosphereのDCOSのインタフェイスからKubernetesのクラスタを管理でき、KubernetesにはなかったMesosphereの高度な機能のすべてにアクセスできる（高い可利用性や高度なスケジューリングなど）。DCOSを使うと数千ものノードにわたってKubernetesをデプロイでき、それらのノードは、ベアメタルでも仮想マシンでも、あるいはオンプレミスでもクラウドでも、どこにあってもよい。

また、KubernetesとMesosphereの統合により、Kubernetesのアプリケーションはそのほかのデータセンターサービス（Hadoop、Cassandraなどなど）とクラスタをシェアできるので、企業としてはアプリケーションが複数あっても同じクラスタを複数設ける必要がなくなる。

[related_articles]

MesosphereのCEOで協同ファウンダのFlorian Leibertはこう述べる: “Googleとの協働により、クラウド起源のアプリケーションをどこででも動かすための、堅牢な共通スタックをパッケージできた。MesosphereのEnterprise KubernetesをMesosphere DCOSに統合したことにより、企業はクラウド起源のアプリケーションをSparkやHadoopなどを含む、リッチなマルチサービスの環境で、しかも、高い信頼性とセキュリティとエラスティックなやり方で動かせるためのアーキテクチャを、初めて持つことになる”。

Mesosphereは今後、Kubernetesに関しても企業向けサポートを提供して行く。この件でGoogleは、対顧客サポートを担当しない。

[原文へ]
（翻訳：iwatani(a.k.a. hiwa）

クラスタ管理のMesosphereがデータのスケーラビリティのためにグラフデータベースのOrlyAtomicsを買収

分散プロセス（クラスタ群）の生成と、それらが適正に動くためのリソース管理をデベロッパ/アドミンに代わってやってくれるMesosphereが、分散/並列データベース技術（グラフデータベース）のOrlyAtomicsを、どうやら人材獲得を目的として買収した。OrlyAtomicsの4名の技術者は、ただちにMesosphereのチームに加わる。買収の価額などは、公表されていない。

Mesosphereは、オープンソースのMesosプロジェクトに便利なユーザインタフェイスを着せたサービスで、‘データセンターのオペレーティングシステム’を自称している。このMesosユーザインタフェイスの下では、どんなに複雑大規模なデータセンターでもまるで1台のPCのように簡単に効率的に管理できてしまうことが、メインの売りだ。一方OrlyAtomicsは、スケーラビリティのたいへん高いデータベース技術だ。クラスタ管理とデータベースでは一見互いに無関係なようだが、Mesosphereの協同ファウンダでCEOのFlorian Leibertによると、その下部構造は共通点がとても多い。

まずどちらもルーツがオープンソースで、どちらもC++で書かれている。だからOrlyAtomicsの連中はMesosphereに来たその日から一緒に仕事ができる。しかしLeibertによると、そういうレベルの互換性がすべてではない。プログラミングの技能以上に重要なのが、データ構造のスケーラビリティについて理解を共有することだ。

“大規模なシステムを管理し、大規模な分散システムの稼働状態を管理することは、言うは易く行うは難しの典型だ”、と彼は説明する。彼によると、OrlyAtomicsの連中が、これまでのMesosphereに欠けていたユニークな、そして願ってもないスキルセットを持参してくれたのだ。同社はOrlyAtomicsの知財をひとかけらも買い上げていないが、いずれにしてもオープンソースだから必要ならGitHubにアクセスすればよい。OrlyAtomicsのCEOだったPatrick Reillyは、いずれは同社の技術をMesosphereに合体させたい、と言っている。それはもちろん、データベースのプロジェクトを、という意味ではない。

“自分たちが築いてきたグラフストレージというビジョンには、今でも愛着がある。グラフデータベースによって人びとは、新しいクリエイティブなデータの利用方法に目覚めるだろう。これからはデータベースを作るのではなく、そういう機能をAPI的なプリミティブ集合として作っていく。もちろん、OrlyのオープンソースデータベースをMesosの上で動かしてみたいけどね”、とReillyは語る。

いずれにしても、Leibertによれば、Mesosphereにとって関心があるのはOrlyAtomicsの既存のプロダクトではなく、彼ら独特の技術能力と、彼らとの今後の協働関係だ。“プロダクトはそのままうちで利用できるものではない。むしろ貴重なのは、彼らがそれらを作りながら獲得した専門的知識と技術だ。それは巨大な分散システムが陥りがちな無秩序状態をすっきりまとめることに、関係がある”、とLeibertは言う。

どちらもC++で書かれているので、MesosphereとしてはOrlyAtomicsのチームがこれまでの経験から獲得した技能をMesosphereのプロダクトに持ち込んでくれることを期待している。Leibert曰く、“彼らはレイテンシを抑えスループットを上げることに邁進してきた。うちが大規模分散システムで実現したいと思っている価値も、まさにそれだ”。

Reillyのチームにとっても、魅力はそこにあった。彼曰く、“C++はパフォーマンスが高いから好きだ。Mesosに来てから最初のほんの数時間で、OrlyとMesosのコードを合体させると良さそうなところを、何箇所も見つけた。アプリケーションが何千もの専用コンテナに分散していて、それらが数十箇所ものデータセンターにまたがって動き、しかもそれらの全体がまるで一台の大きなコンピュータへと癒合しているようなMesosphereの世界は、すごくエキサイティングだ”。

LeibertがOrlyとの交渉を始めたのは4週間前だが、でも彼らは過去にすでに数週間、Mesosphereで仕事をした経験があるので、決心も早かった。Mesosphereの社員はわずか27名と少ないので、新しい社員を入れるにしても、相性がきわめて重要だった。

Mesosphereの社員たちは、一般の新入社員の場合と同じようにOrlyのチームを評価し、うまくやっていける、と判断した。

一方Reillyのチームは、Mesosphereのプロジェクトの大きさに感動し、また自分たちがそこに持ち込める貢献にもわくわくしていた。Reillyは曰く、“技術者はチャレンジすることが好きだが、大きな、そして複数のデータセンターの集まりを一台のコンピュータと見立てて、それのオペレーティングシステムを作るなんて、とてつもなくすごい。Mesosphereのコードベースを調べ始めてすぐに、そこがまるで自分の家のように感じた”。

Mesosphereから見ると、Orlyには同社の長期的な目標の実現に欠かせないものがある。“データセンターのためのオペレーティングシステム、という抽象を構築していくためには、データのコーディネーションが何よりも重要だ。彼らは、まさにそれをやっていたのだ”、とLeibertは語る。

オープンソースプロジェクトOrlyAtomicsは、ソーシャルディスカバリサイトTaggedで生まれた。後者は今、全世界に3億3000万のユーザがいるといわれる。Taggedはある時点で、データの大規模なスケーラビリティを実現するためのソリューションが必要になり、そこからOrlyAtomicsが生まれた。それはまさに、今のMesosphereが必要としているものだった。

[原文へ]
（翻訳：iwatani(a.k.a. hiwa)）

クラスタ管理を抽象化して簡易にするMesosphereがGoogleのクラウドプラットホームにも対応、DockerツールKubernetesを統合

GoogleとMesosphereが今日（米国時間8/18）、両社のパートナーシップにより、GoogleのCompute EngineプラットホームにMesosクラスタのサポートを導入する、と発表した。MesosプロジェクトとMesosphereはまだよく見かける名前ではないが、アプリケーションのスケーリング（ニーズに応じての規模拡大）で余計な苦労をしたくないと考える企業にとって、このところ急速に、重要なツールになりつつある。それらのアプリケーションの所在は、完全に自社のみのデータセンターの場合もあれば、パブリックなクラウドサービスの場合、あるいはパブリック/プライベートのハイブリッドの場合など、さまざまである。〔*: Mesosphere関連日本語訳記事（１）、（２）。Mesosの’os’はOS(オペレーティングシステム)の意味…クラスタ群を一台のコンピュータへと抽象化する。〕

今度の提携によりGoogleのCloud Platformのユーザは、MesosphereのクラスタをGoogleのサーバ上に10分足らずでセットアップできるようになる。その基本的なインストールには二つの形があり、デベロッパはそのどちらかを選ぶ: 1)4インスタンスの開発用クラスタでアプリケーションのプロトタイピング用に8つの仮想CPUと30GBのメモリを提供、2)プロダクション用インストールで18インスタンス36仮想CPUメモリ136GB。この二つのオプションで不満な場合は独自のカスタムクラスタを作れる。

これらのクラスタにはデフォルトでMesosカーネル、Zookeeper、Marathon、およびOpenVPNが含まれる。クラスタの使用を開始するとMesosphereは、クラスタを管理するためのWeb上のわかりやすいダッシュボードを管理者に提供し、それにはGoogleのダッシュボードからアクセスできる。

MesosphereのCEO Florian Leibertによると、Mesosphereの中心的なねらいは、デベロッパがデータセンターをつねに一台のコンピュータのように扱えることだ。そのためにMesosなどのソフトウェアパッケージがDevOpsの主な仕事のほとんどを抽象化する。Leibertは以前TwitterやAirbnbの社員で今やそのTwitterもAirbnbもMesosのユーザだが、両社にオープンソースプロジェクトMesosを紹介したのはLeibert自身だ。

ユーザのハードウェアは実際には複数のハードウェアや仮想マシンやクラウドのインスタンスなどから成るが、Mesosphereという一枚の層がその上にかぶさるとアプリケーションは、多くのCPUやメモリをかかえた単一のリソースプールを使っている、という外見になる。デフォルトではMesosphereのサービスは、ユーザが使っているオペレーティングシステムやクラウドが何であるかを、まったく関知しない（どうでもよい）。ただし今回のGoogleとの提携にあたっては、Googleのクラウドに対しての最適化を図った。Mesosphereの詳細なドキュメンテーションは、ここにある。

Googleとのパートナーシップの中には、Dockerのコンテナを管理するGoogleのオープンソースのサービスKubernetesをMesopshereに統合することも含まれる。同社によるとこれによって、Dockerのワークロードの展開管理がより容易になる。ただしMesopshereのKubernetes統合は、対象がGoogleのCloud Platformに限定されない。Leibertは今日の発表声明の中で、“われわれが織り上げたコンピューティングの織物は、GoogleのCloud Platformだけでなく、そのほか、ユーザ自身のデータセンターやそのほかのクラウドプロバイダでも使用できる”、と言っている。〔Kubernetes関連日本語訳記事（１）、（２）。〕

GoogleでKubernetesなどの次世代クラウドコンピューティングプロダクトを担当しているリードプロダクトマネージャCraig McLuckieによると、GoogleがKubernetesでやりたいことは、Googleが自社のデータセンターを管理するために開発してきた重要なコンセプトの多くを、同社の外部でも利用できるようにすることだ。彼は今回のMesosphereとGoogleの協働関係を、“きわめて相補的である”*と呼び、それら重要コンセプトの一部はMesosにも持ち込まれるだろう、と考えている。〔*: complementary, お互いの足りないところに互いにピッタリとはまり込んで補う、完璧な結婚。〕

MesosphereのシニアVP Matt Trifiro（元HerokuのCMO）によると、KubernetesやMesosのようなプロジェクトは、これらの技術の背後にある非常に高尚な思想を、万人が共有するものにする。現状では、“Webをスケールしなければならないというニーズを抱える企業にとって、ツールが十分にアクセス可能でなかった”。しかし今では、GoogleやMesosの高度なコンセプトとツールを企業も利用できるようになり、デベロッパやDevOps たちは一段高い抽象性のレベルで仕事ができるようになり、アプリケーションを動かしているインフラの具体的な細部を、直接いじらなくてもよくなっている。

Leibertは今日、こう書いている: “Googleと協働することによってGoogleのCloud Platformを、従来からのMesosphereのワークロード、たとえばMarathon、Chronos、Hadoop、Spark、そして新たにKubernetesなどを使用するための最良の場所にしていきたい”。

この協働プロジェクトでは両社の関係がきわめて密だから、いずれGoogleがMesosphereを買収することもありえるかもしれない。現状ではそれは、あくまでも憶測だが、でも実際にそうなったら、その起源がこれだったことを、思い出そう。

[原文へ]
（翻訳：iwatani(a.k.a. hiwa)）

Mesos対応のクラスタをAWS上にわずか15分でセットアップできるElastic Mesos, Mesosphereが提供開始

クラスタ管理ソフトApache Mesosを開発し、ユーザサービスも提供しているMesosphereが、Amazon Web Servicesの上でのMesosクラスタのセットアップを、わずか3ステップの作業へと簡易化するサービスElastic Mesosをローンチした。その3ステップとは、1)セットアップしたいクラスタのサイズを指定、2)AWSの認証情報を教えてやる、3)通知を受け取る方法（メールアドレスなど）を指定、以上だ。

Mesosのクラスタは通常のものでもセットアップが複雑である。そこでこの新サービスは、Mesos、フレームワークMesosphere、およびそのほかの関連ソフトウェアを、デベロッパがより容易に利用できるようにする。

MesosphereのファウンダFlorian Leibertによると、今では多くのアプリケーションにとって、データセンターがその動作環境、すなわちコンピュータだ。そこで今ではほとんどのアプリケーションが分散システムの上で動く。しかし分散している各部分を結びつけたりリソースの割り当てなどを管理する操作は、まだ手作業で行われているところが多い。そこでMesosの仕事はそういう作業に付随する複雑性を抽象化し、ユーザが複数の分散ノードから成るデータセンターを、まるで一台のコンピュータのように簡単に扱えるようにする。ユーザは、これまでのように、アプリケーションのどの部分をサーバクラスタのどこにセットアップするか、などで悩む必要がなくなる。固定的静的にサーバを割り当てるのではなく、Mesosはサーバ群の共有プールを作り、そのリソースを必要に応じて動的に割り当てる。

今ではAirbnb、Vimeo、Hubspot、TwitterなどがMesosを利用している。

Mesosは稼働時のクラスタ管理を楽にしてくれるが、最初に行うMesosクラスタのセットアップは、ZooKeeperやHadoop Distributed File System(HFDS)などのソフトウェアパッケージをインストールして、それらのあいだの接続関係を構成するなど、相当に面倒な作業である。しかもそのあとには、Chronos、Hadoop、Marathon、Jenkinsなどのフレームワークもインストールしなければならない。

しかしElastic Mesosを使うと、AWS上のMesosphereのセットアップ過程の全体が15分以下で完了する。現状ではデベロッパは、6インスタンスのクラスタか、または18インスタンスのクラスタを選ぶ。小さい方はAWSの現在の料金で1時間1.44ドルを要するが、Mesosを試用するには好適だ。大きい方は1時間4.32ドルで、本番利用に向いている。なおMesosphereの構成オプションは、今後もっと柔軟性に富むものになる予定（今は2タイプのクラスタのみ）だ。Mesosそのものはクラスタのノードを増やすだけで単純にスケールできるが、Elastic Mesosからはそれが今のところできない。…その辺を、今後改良する予定だ。

Mesosphereのサービスは無料で利用できるが、AWSのインスタンスには課金が発生する。

Mesos付きクラスタのセットアップが完了したら、その上でHadoopやApache Spark（あるいはそのほかのMesosフレームワーク/アプリケーション）を動かせる。

Leibertによると、こうやってMesosを楽に試用できるようになると、デベロッパは自分独自のMesosフレームワークを作りやすくなるだろう。Mesosなどの新しい技術を試すためにデータセンターを自由に使えるデベロッパはあまりいないと思われるが、Elastic Mesosを使えばクラスタを簡単に動かして、自分のフレームワークをほんの数時間でテスト開始できるようになるだろう。

〔参考記事: （１）、（２）、（３）。〕

[原文へ]
（翻訳：iwatani(a.k.a. hiwa)）

サーバクラスタのためのオペレーティングシステムMesosを開発すMesosphereがアプリケーションコンテナDockerをサポート

Mesosは、サーバのクラスタを効率的に管理し、リソースの隔離も行うオープンソースのプロジェクトだ。今は主に、プロジェクトの生誕の地であるTwitterとAirbnbなどで使われている。Googleにも”Borg”と呼ばれるよく似たシステムがあり、それはMesosが登場するかなり前に単独で開発され、データセンターの稼働の最適化に利用されてきた。

今Mesosは、TwitterとAirbnbのエンジニアだったFlorian Leibertと元AirbnbのエンジニアTobias Knaupが作ったスタートアップMesosphereで開発されている。オープンソース系のスタートアップの例に漏れずMesosphereも、関連サービスを将来的な収益源として考えているが、Leibertによると、今はMesosのエコシステムの育成と、そのコンセプトの普及に注力している。

Mesosは今ではApache Foundationがホストしているが、発端はカ大バークリー校の研究プロジェクトで、研究グループの一人、当時博士課程の学生だったBenjamin Hindmanが、それをのちにTwitterに持ち込んだ（彼は今Twitterの上級技術者だ）。

Mesosの基本的な考え方は単純明快だが、それはかなり前に時流から外れてしまっていた。それはつまり、アプリケーションの各部向けにそれぞれ専用のサーバクラスタをセットアップするのではなく、むしろサーバのプールを作っておいて、それを各部…Hadoop、Webサーバ、etc.…が共有し自分を動かす、という今のMesosのアーキテクチャだ。アプリケーションはお互いを邪魔することなく、むしろリソースを必要に応じて動的に割り当てる。たとえばビッグデータ分析の仕事が終わったら、リソースをトラフィックの多いWebサーバに回す、とか。

もっと概念化して言うと、Leibertの説明では、いろんなプロセスが並行で動くデータセンターをマルチコアのCPUにたとえると、Mesosはいわば、そのCPUの動作を管理するオペレーティングシステムのカーネルだ。オペレーティングシステムはカーネルの外側にいろんな実働部隊を要するが、今それらの部位の開発にMesosphereは取り組んでいる。たとえばAirbnb時代にLeiberが作りChronosと名づけたスケジューラは、伝統的なcronに代わって、Mesos上で動く各サービスの開始と停止（とエラー処理）を自動化する。またMarathonは、いわばMesosにおけるinit.dとして、始動プロセスの役を担う。その後のサービス（Chronosなど）が利用する、開始、停止、スケーリングなどの基本的なプロセス管理タスクは、MarathonがAPIとして提供する。

背後でChronosとMarathonが動くことを前提として、チームは今日（米国時間9/26）、Mesosが動かして管理するアプリケーションコンテナDockerを発表した。デベロッパは自分のアプリケーションをこの軽量でポータブルなコンテナに収めることによって、展開を…新しいマシン上の展開でも…自動化できる。つまりMesosのレベルで言えば、クラスタ上のアプリケーションの展開が大幅に簡易化される。彼らのブログ記事によると、“アプリケーションをDockerに入れてMesosに渡すことにより、オンプレミスやクラウド上の多様なアプリケーションを展開し動かすための、真にエラスティックで効率的で首尾一貫性のあるプラットホームが約束される”。Leibertによると、アプリケーションがDockerを着ているとクラスタ全域にわたるサービスの発見が容易になる。つまり、クラスタをセットアップしたらそれで終わり、ではなく、いろんなサーバがお互いを見つけられる必要があるのだ。

Mesosなどクラスタシステム上のサービス～アプリケーションをDockerのようなもので抽象化することは、Leibertによると、過去にもいろんな人が試みたが、その実現はとても困難だった。しかしMesosphereの6人のチームは、Mesosを誰よりも熟知しているので、アプリケーションコンテナの組み込みに成功できた。

以上のようなビルディングブロックが揃ったところで、チームが次に挑戦するのは、Mesosを新人ユーザでも使いこなせるための、ユーザフレンドリーなユーザインタフェイスの構築だ。その仕様は、Mesosのコミュニティからの要望に基づき、またその具体的な部位もユーザからの求めに応じて加えていく予定だ。

[原文へ]
（翻訳：iwatani(a.k.a. hiwa)）

サーバクラスタのためのオペレーティングシステムMesosを開発すMesosphereがアプリケーションコンテナDockerをサポート

[原文へ]
（翻訳：iwatani(a.k.a. hiwa)）

関連記事

アプリケーションのアーキテクチャの革命

アプリケーションの構成部位としてのデータセンター

そしてデータセンターアプリケーションのためのオペレーティングシステムが