グーグルがポーランドに新しいクラウドリージョン開設

Google(グーグル)は米国時間9月28日、ポーランドのワルシャワにクラウドの新たなリージョンを開設し、中欧と東欧の顧客へのサービスを充実させると発表した

Googleはこれまでもデータセンターの物理的な供用域の拡大に努めており、今回の動きもその一環だ。数日前に同社は、今後2年間でヨーロッパだけでもそのデータセンターのプレゼンスに33億ドル(約3600億円)を支出すると発表したばかりだ。

Google Cloudには現在、20のリージョン(各地域で独立したクラウド領域)と61のアベイラビリティーゾーン(リージョン内で独立したクラウド領域)がある。Googleのそのほかのリージョンとほぼ同様に、ワルシャワには3つのアベイラビリティーゾーンがあり、Google Cloudの標準的コアサービスのすべてをローンチする。それらは、Compute Engine、App Engine、Google Kubernetes Engine、Cloud Bigtable、Cloud Spanner、そしてBigQueryだ。

ポーランドに新しいリージョンを立ち上げるために同社は、Domestic Cloud Provider(DCP)をパートナーとする。この地元のクラウドプロバイダーはChmury Krajowejとも呼ばれ、Polish Development FundとPKO Bank Polskiのジョイントベンチャーだ。DCPはこの国におけるGoogle Cloudの販売代理店になり、Googleのインフラストラクチャを利用するマネージドサービスを構築する。

Google CloudのCEOであるThomas Kurian(トーマス・クリアン)氏は「ポーランドは今急ピッチでデジタル化を加速しており、今やソフトウェアエンジニアリングの国際的なハブだ。DCPとの戦略的パートナーシップおよびGoogle Cloudのワルシャワ新リージョンはともに、ポーランドのデジタル経済振興に向けての我々の積極的関与を表しており、ポーランドの企業にとって可用性の高い有意義なアプリケーションを顧客のために作っていくことが、なお一層容易になる」と語る。

[原文へ]

(翻訳:iwatani、a.k.a. hiwa

Atlassianがデータセンターアプリケーションをコンテナに入れて管理を容易に

5月20日〜23日、Linux Foundation主催で行われたKubeCon + CloudNativeConカンファレンスの大量の発表の中で、特に目立ったのがAtlassianだ。

同社はデベロッパーの効率的な仕事を支える開発ツールでよく知られている企業だが、最近ではクラウドインフラストラクチャのプロバイダーとしても台頭してきた。でも、このコンテナ化の時代においては、AtlassianといえどもKubernetesの栄光の輝きをその肩に浴びざるをえない。そこで同社はカンファレンス初日の5月20日に、チャネルパートナーのPraqmaがAtlassian Software in Kubernetes(ASK)をローンチしたことを発表した。それは、エンタープライズがJira Data Centerなどのオンプレミスアプリケーションを、Kubernetesを利用してコンテナとして動かし管理できる、という新しいソリューションだ。

Praqmaは現在、ASKをオープンソースで提供している。

同社は今日の発表の中で言っているが、データセンターアプリケーションを動かして高い可用性を確保することは、今日までの方法では膨大な作業になる。AKSを使ってアプリケーションをコンテナ化すれば、スケーリングと管理は容易になるはずだ。ダウンタイムも避けやすくなる。

Praqmaのチームはこう説明する。「ASKでは可用性が鍵だ。自動化によって、ミッションクリティカルなアプリケーションは何が起きても動き続けるようになる。もしもJiraサーバーが落ちたら、Data Centerアプリケーションは自動的にトラフィックを健康なサーバーへリダイレクトする。アプリケーションやサーバーがクラッシュしたら、Kubernetesが新しいアプリケーションを起動して自動的に解決する。Jiraのゼロダウンタイムアップグレード、というものもある(正常稼働を続けながらのアップグレード)」。

AKSはスケーリングと多くのアドミンタスクを担当し、オープンソースのGrafanaとPrometheusをベースとするモニタリングも提供する。

さまざまなベンダーが、今ではコンテナを最良のディストリビューションメデイアとして使っている。エンタープライズが既存のアプリケーションをコンテナに移行させていくと、同じシステムにある、サードパーティベンダーからの既存のオンプレミスアプリケーションも同様に管理できると思うようになる。一部のベンダーにとっては、これによってサーバーごとのライセンスからユーザーの人数割りのライセンスへの移行を意味するかもしれない。その意味ではこれはビジネス上の含意もあるけど、でも一般的には、多くのベンダーにとって論理的な動きだ。

[原文へ]

(翻訳:iwatani、a.k.a. hiwa

Facebook、アジア地域初となるデータセンターを構築予定

Facebookが、初めてアジアにデータセンターを構築する。Facebookのアナウンスによれば、シンガポールに11階建てを建築する予定であるとのこと。サービスパフォーマンスおよび効率性の向上を狙ってのことだとのこと。費用はシンガポールドルで14億ドル見込みで、米ドルにすると10億ドル程度となる。

なお、この新しいデータセンターで用いる電源は、100%再生可能エネルギーとなるのだそうだ。さらに新しいStatePoint Liquid Coolingを利用し、水資源および電力の消費を最低限に抑えるようになっているとのこと。

Facebookによれば新データセンターの構築により、数百名の雇用を創出し、シンガポールおよびアジア地域におけるプレゼンスの拡大を実現することができるとしている。

建設予定データセンターの外観予想図

アジア太平洋地域における月間利用者数は8億9400万となており、全利用者中40%を占めている。これは地域ごとにみれば最高の割合となっている。ただし、収益面では他地域の後塵を拝している。Facebookの直近四半期のデータによれば、アジア太平洋地域での売上額は23億ドルで、全体の18%となっており、アメリカからの売り上げの半分にも満たない。サービスの効率性をあげることで、利用者シェアと売り上げシェのギャップを埋めたい考えもあるのだろう。

なお、アジアにデータセンターを構築する動きは他にもあり、Googleはシンガポールに3つめとなるデータセンター設立を予定しているようだ。Googleは、シンガポール以外に、台湾でもデータセンターを運営している。

原文へ

(翻訳:Maeda, H

Google、データセンターの空調管理をAIに一任

データセンターの中は暑くてうるさい——そしてサーバーをオーバーヒートから守ることは運用コストの大きな部分を占めている。業界の大物、Facebook、Microsoft、Googleらがさまざまな方法で冷却コストの節減を目指しているのも当然だ。Facebookは可能な限り外部の空気を冷やす。Microsoftは水中データセンターを実験中。そしてGoogleは、同社のAIモデルを使っていっそうの節約を目論んでいる。

数年前、Googleは傘下のDeepMindを通じて、データセンターに最適な冷却方法を運用者に提供するために、機械学習の利用を探ってきた。しかし、当時はまだシステムは推奨するだけで実施するかどうかは人間のオペレーターが判断していた。今後その人たちは、午後の昼寝時間を長くとれるようになる。モデルが十分に進歩した結果、AIを備えたシステムに冷却システムの制御を任せられるとチームが判断したからだ。もちろん、オペレーターは今も介入できるが、AIが中止の決定をくださない限り、システムは無人運転を続ける。

  1. DME_DCIQ_v09-01.max-2000x2000

  2. DME_DCIQ_v09-02.max-2000x2000

  3. DME_DCIQ_v09-03.max-2000x2000

  4. DME_DCIQ_v09-04.max-2000x2000


新しい冷却システムは現在複数のGoogleデータセンターに設置されている。5分毎に、システムがデータセンター内の数千個のセンサーから値を取得しその情報を元に最適な行動を選択する。もちろん、そこには様々な抑制と均衡が働いているので、Googleのデータセンターがこのために崩壊する可能性は低い。

多くの機械学習モデルと同じく、システムはデータを収集すればするほど賢くなる。現在、これまでのデータセンターのエネルギー利用と比べて平均30%のエネルギー節約を実現している。

ひとつ指摘しておくべきなのは、Googleはわずかな節約のためだけなく、これを自社の機械学習サービスの宣伝のひとつと考えていることだ。つまるところデータセンターでうまくいくなら、大きなオフィスビルディングにも適用できるはずだ。「長期的には、このテクノロジーをほかの環境にも適用し、より大規模な空調にも役立てる可能性があると考えている」、とDeepMind今日の発表文に書いている。

[原文へ]

(翻訳:Nob Takahashi / facebook

Googleがシンガポールに三つめのデータセンターをオープン、将来の膨大なインターネット人口を想定

Googleは、東南アジアにおけるインターネットの成長が今後も持続すると推測し、今後の成長市場対応としてシンガポールに三つめのデータセンターを開くことになった。

それは同社がシンガポールに同国で二つめのデータセンターを開設してから三年後にあたる。その3年間に同社の推計では東南アジアの7000万の人びとがインターネットを初体験した。それにより、当リージョンのインターネットユーザーは3億3000万人になったが、東南アジアの総人口は6億5000万だから、成長の余地はまだまだ大きい。

ローカルなデータセンターの目的は、必ずしもその至近の近傍に奉仕することではない。アジアのデータセンターがアメリカのトラフィックを扱うこともあるが、しかしローカルな容量を増やしたということは、Googleのサービスや、Googleのクラウドで事業を営む企業にとって、その特定のリージョンのインターネットユーザーにより高速なサービスとトラフィックを提供できることを意味している。だからそれは、地元の利益であるだけでなく、Googのビジネスにとっても重要だ。Google Cloudのこの地域の著名なユーザー企業には、Singapore AirlinesやNinjavan, Wego, Go-Jek, そしてCarousellなどがいる。

この検索超大手のデータセンターは、東南アジアでは台湾にもある。最初は、台湾とシンガポールの共通の拡張先を香港に求める、という案があったが、用地を確保できず2013年に計画はぽしゃった

Googleの最初のシンガポールデータセンターは2011年にオープンし、Googleによると、今度の三つめを合わせるとシンガポールにおける総支出額はおよそ8億5000万ドルになる。 これに台湾を含めると、総支出額は10億ドルを超える。

関連記事: 東南アジアは世界で三番目に大きいインターネット市場だ…Googleらの調査報告より

[原文へ]
(翻訳:iwatani(a.k.a. hiwa

Facebookがデータセンター内ネットワークを新型スイッチとともに40GBから100GBにアップグレード中

front_full-loaded

Facebookは今、同社のデータセンター内の光ファイバーネットワークを40GBから100GBにアップグレードしようとしている。同社のトップ・オブ・ラック・スイッチ(ひとつのラック上のすべてのサーバーを接続するスイッチ)Wedge 100は今日(米国時間11/8)すでにOpen Compute Projectに受諾され、またすべてのラックをデータセンター内で接続する次世代100GスイッチプラットホームBackpackもベールを脱いだ。

FacebookのDirector of Software Engineering for NetworkingであるOmar Baldonadoによると、同社がこの、より高速なネットワーキング技術を必要とする理由はいくつかある。しかしその最大の要因は、ライブと録画双方のビデオのサポートを拡大することだ。さらに、360度の写真やビデオも含まれる。Facebook自身の内部的なデータセンタートラフィックも、ユーザー体験の改善のために、アナリティクスなどのデータへの需要がデベロッパー部門から増えており、それにも対応しなければならない。

しかし100Gは、今でもまだ、高速ネットワーキングの最先端技術だ。もちろん今それに取り組んでいるのはFacebookだけではない。たとえばLinkedInも最近、オレゴン州のデータセンターを将来100Gにする計画を発表した。Facebookが他と違うのは、サーバーの設計やネットワーキング技術、およびそれらを支えるソフトウェアを、業界全体のためにオープンにすることに、コミットしていることだ。

  1. iso_front_1.jpg

  2. iso_back_1.jpg

Baldonadoによると、40Gから100Gへの移行で生ずる問題の一つが、新しいデバイスの“電力大喰らい”癖、そして冷却の困難さだ(彼は、“ゲーム用PCをオーバークロックでずっと使うようなもの”、と言った)。“それだけのハイスピードはどうしても必要だけど、そのためにはスイッチだけでなく、データセンター全体としての対応が必要になる”、と彼は語る。“だから業界のあらゆる部分…サーバーのベンダ、NICのメーカー、光りファイバーのメーカー、などなど…と協働しなくては、これだけのスケールアップは実現できない”。

Backpackの能力が前の“6-pack”スイッチの2.5倍だとしても、その電力消費量も2.5倍なのだ。

Facebookは、BackpackスイッチもOpen Compute Pojectに出す予定だ。それは今、社内テストの段階から徐々に、同社のデータセンターに実装されつつある。

[原文へ]
(翻訳:iwatani(a.k.a. hiwa))

Facebook、テキサス州フォートワースに100%再生可能エネルギーベースのデータセンターを構築

fort-worth-data-center-rendering

Facebook5箇所目のデータセンターを建設するとのアナウンスを行った。場所はテキサス州フォートワースだ。Facebookではいつものことながら、既にこのデータセンター専用のFacebookページも開設されている。

フォートワースのデータセンターは、オレゴン、アイオワ、ノースカロライナ、およびスウェーデンに続いての立地となる。データセンターの電源はすべて再生可能エネルギーによって賄われる。このためにFacebookはテキサス州の、データセンターから90マイルほどの場所に1万7000エーカーの風力発電施設を新たに建築する。

Facebookはデータセンターの効率化にも力をいれている。

たとえば一般的なクラスター形式のサーバー構成を見なおして、すべてのサーバーポッドがひとつのネットワーク内で機能する仕組みなどを実現している。オレゴンのデータセンターと同様に、センターの冷却は外気を用いて行うようになっており、これだけでも大幅にエネルギーを節約することができる。

Facebookによると、これまでに行ったインフラの効率化によってこの3年間で少なくとも20億ドルを節約していることになるのだそうだ。

尚、これまでのデータセンター同様に、フォートワースのデータセンターのサーバーデザインもOpen Compute Projectにてオープンソース化される予定だ。

原文へ

(翻訳:Maeda, H

OpenStackのJunoリリースはビッグデータとネットワーク仮想化が目玉

パブリックやプライベートのクラウドを構築するための基盤となるオープンソースのソフトウェアOpenStackは、業界の多様な大物たちが支えている。その同社が今日(米国時間10/16)、最新リリースJunoをローンチした。

いつもと同じくこのリリースにも、このプラットホームのサービスすべてにわたるアップデートが含まれている。それらはクラウドコンピューティングからストレージサービス、アイデンティティ管理、大量のデータを処理するためのツールなど、多岐にわたる。しかし今日のリリースのハイライトは、ビッグデータクラスタの配備を自動化する新たなデータ処理サービスが加わったこと、Object Storageのポリシーコントロールの粒度の柔軟化、そして、主に通信業界のOpenStackユーザから求められていたネットワーク機能の仮想化(network function virtualization, NFV)が初めてサポートされたことだ。

OpenStack FoundationのCOO Mark Collierによると、このリリースにはOpenStackのユーザとオペレータの意向が色濃く反映している。その最強の例が、たぶんNFVだろう。“これは、OpenStackにとってとても大きな機会になるだろう”、とCollierは言う。通信企業や自前のネットワークを持つ大企業などは、NFVによってネットワーキングサービスの多くを高価なプロプライエタリのハードウェアからコモディティの(==安価な日用品的)サーバに移せる。それは巨額なコスト節減をもたらすが、しかしそのためのソフトウェアには非常に高度な安定性と、リアルタイムの高パフォーマンスが要求される。

Collierはこう述べる: “もしもぼくが通信企業で音声通話用のハードウェアシステムをソフトウェアに移行させたいと思ったら、そういう仮想化を行うレイヤで通話が絶対に落ちないことを事前に確証する必要がある”。そこで今回の最初のリリースでは、高パフォーマンスの安定供給に力を入れ、さらに今後のリリースでは機能の多様化を図りたい、という。

OpenStackのJunoリリースには、新しいデータ処理サービスが加わる。これによって、ビッグデータ分析のためのHadoopやSparkクラスタの配備と管理が自動化される。このサービスは単純なApache Hadoopのサービスとしてスタートしたが、その後徐々に、HortonWorksやClouderaのHadoopサービス、それにSparkも加えていった。

また、上でも触れた、OpenStackのObject Storageのポリシーの粒度をより細かく管理できることも、多くのユーザにとって重要だ、とCollierは指摘する。これによってユーザは、複数のバックエンドやリージョンにまたがるデータの保存、複製、そしてアクセスを、より緻密にコントロールできるようになる。たとえばこれからは、一つあれば十分なバックアップを、三箇所に分割して作る必要がなくなる。

さらに今回のアップデートでは、OpenStackの複数のクラウド間で認証を統一できるようになる。たとえばCERNのようなOpenStackユーザは、自分のプライベートクラウドを持ちつつ、それの容量をパブリックなサービスで増強できる。しかもこれからは、研究者が自分の単一の認証データで、それら二つのクラウドにアクセスできるようになる。

このJunoリリースには、新しい機能が合計310、バグフィクスが3200箇所ある。詳しいリリースノートは、ここで見られる。

[原文へ]
(翻訳:iwatani(a.k.a. hiwa))


クラスタ管理のMesosphereがデータのスケーラビリティのためにグラフデータベースのOrlyAtomicsを買収

分散プロセス(クラスタ群)の生成と、それらが適正に動くためのリソース管理をデベロッパ/アドミンに代わってやってくれるMesosphereが、分散/並列データベース技術(グラフデータベース)のOrlyAtomicsを、どうやら人材獲得を目的として買収した。OrlyAtomicsの4名の技術者は、ただちにMesosphereのチームに加わる。買収の価額などは、公表されていない。

Mesosphereは、オープンソースのMesosプロジェクトに便利なユーザインタフェイスを着せたサービスで、‘データセンターのオペレーティングシステム’を自称している。このMesosユーザインタフェイスの下では、どんなに複雑大規模なデータセンターでもまるで1台のPCのように簡単に効率的に管理できてしまうことが、メインの売りだ。一方OrlyAtomicsは、スケーラビリティのたいへん高いデータベース技術だ。クラスタ管理とデータベースでは一見互いに無関係なようだが、Mesosphereの協同ファウンダでCEOのFlorian Leibertによると、その下部構造は共通点がとても多い。

まずどちらもルーツがオープンソースで、どちらもC++で書かれている。だからOrlyAtomicsの連中はMesosphereに来たその日から一緒に仕事ができる。しかしLeibertによると、そういうレベルの互換性がすべてではない。プログラミングの技能以上に重要なのが、データ構造のスケーラビリティについて理解を共有することだ。

“大規模なシステムを管理し、大規模な分散システムの稼働状態を管理することは、言うは易く行うは難しの典型だ”、と彼は説明する。彼によると、OrlyAtomicsの連中が、これまでのMesosphereに欠けていたユニークな、そして願ってもないスキルセットを持参してくれたのだ。同社はOrlyAtomicsの知財をひとかけらも買い上げていないが、いずれにしてもオープンソースだから必要ならGitHubにアクセスすればよい。OrlyAtomicsのCEOだったPatrick Reillyは、いずれは同社の技術をMesosphereに合体させたい、と言っている。それはもちろん、データベースのプロジェクトを、という意味ではない。

“自分たちが築いてきたグラフストレージというビジョンには、今でも愛着がある。グラフデータベースによって人びとは、新しいクリエイティブなデータの利用方法に目覚めるだろう。これからはデータベースを作るのではなく、そういう機能をAPI的なプリミティブ集合として作っていく。もちろん、OrlyのオープンソースデータベースをMesosの上で動かしてみたいけどね”、とReillyは語る。

いずれにしても、Leibertによれば、Mesosphereにとって関心があるのはOrlyAtomicsの既存のプロダクトではなく、彼ら独特の技術能力と、彼らとの今後の協働関係だ。“プロダクトはそのままうちで利用できるものではない。むしろ貴重なのは、彼らがそれらを作りながら獲得した専門的知識と技術だ。それは巨大な分散システムが陥りがちな無秩序状態をすっきりまとめることに、関係がある”、とLeibertは言う。

どちらもC++で書かれているので、MesosphereとしてはOrlyAtomicsのチームがこれまでの経験から獲得した技能をMesosphereのプロダクトに持ち込んでくれることを期待している。Leibert曰く、“彼らはレイテンシを抑えスループットを上げることに邁進してきた。うちが大規模分散システムで実現したいと思っている価値も、まさにそれだ”。

Reillyのチームにとっても、魅力はそこにあった。彼曰く、“C++はパフォーマンスが高いから好きだ。Mesosに来てから最初のほんの数時間で、OrlyとMesosのコードを合体させると良さそうなところを、何箇所も見つけた。アプリケーションが何千もの専用コンテナに分散していて、それらが数十箇所ものデータセンターにまたがって動き、しかもそれらの全体がまるで一台の大きなコンピュータへと癒合しているようなMesosphereの世界は、すごくエキサイティングだ”。

LeibertがOrlyとの交渉を始めたのは4週間前だが、でも彼らは過去にすでに数週間、Mesosphereで仕事をした経験があるので、決心も早かった。Mesosphereの社員はわずか27名と少ないので、新しい社員を入れるにしても、相性がきわめて重要だった。

Mesosphereの社員たちは、一般の新入社員の場合と同じようにOrlyのチームを評価し、うまくやっていける、と判断した。

一方Reillyのチームは、Mesosphereのプロジェクトの大きさに感動し、また自分たちがそこに持ち込める貢献にもわくわくしていた。Reillyは曰く、“技術者はチャレンジすることが好きだが、大きな、そして複数のデータセンターの集まりを一台のコンピュータと見立てて、それのオペレーティングシステムを作るなんて、とてつもなくすごい。Mesosphereのコードベースを調べ始めてすぐに、そこがまるで自分の家のように感じた”。

Mesosphereから見ると、Orlyには同社の長期的な目標の実現に欠かせないものがある。“データセンターのためのオペレーティングシステム、という抽象を構築していくためには、データのコーディネーションが何よりも重要だ。彼らは、まさにそれをやっていたのだ”、とLeibertは語る。

オープンソースプロジェクトOrlyAtomicsは、ソーシャルディスカバリサイトTaggedで生まれた。後者は今、全世界に3億3000万のユーザがいるといわれる。Taggedはある時点で、データの大規模なスケーラビリティを実現するためのソリューションが必要になり、そこからOrlyAtomicsが生まれた。それはまさに、今のMesosphereが必要としているものだった。

[原文へ]
(翻訳:iwatani(a.k.a. hiwa))


サーバクラスタのためのオペレーティングシステムMesosを開発すMesosphereがアプリケーションコンテナDockerをサポート

Mesosは、サーバのクラスタを効率的に管理し、リソースの隔離も行うオープンソースのプロジェクトだ。今は主に、プロジェクトの生誕の地であるTwitterAirbnbなどで使われている。Googleにも”Borg”と呼ばれるよく似たシステムがあり、それはMesosが登場するかなり前に単独で開発され、データセンターの稼働の最適化に利用されてきた。

今Mesosは、TwitterとAirbnbのエンジニアだったFlorian Leibertと元AirbnbのエンジニアTobias Knaupが作ったスタートアップMesosphereで開発されている。オープンソース系のスタートアップの例に漏れずMesosphereも、関連サービスを将来的な収益源として考えているが、Leibertによると、今はMesosのエコシステムの育成と、そのコンセプトの普及に注力している。

Mesosは今ではApache Foundationがホストしているが、発端はカ大バークリー校の研究プロジェクトで、研究グループの一人、当時博士課程の学生だったBenjamin Hindmanが、それをのちにTwitterに持ち込んだ(彼は今Twitterの上級技術者だ)。

Mesosの基本的な考え方は単純明快だが、それはかなり前に時流から外れてしまっていた。それはつまり、アプリケーションの各部向けにそれぞれ専用のサーバクラスタをセットアップするのではなく、むしろサーバのプールを作っておいて、それを各部…Hadoop、Webサーバ、etc.…が共有し自分を動かす、という今のMesosのアーキテクチャだ。アプリケーションはお互いを邪魔することなく、むしろリソースを必要に応じて動的に割り当てる。たとえばビッグデータ分析の仕事が終わったら、リソースをトラフィックの多いWebサーバに回す、とか。

もっと概念化して言うと、Leibertの説明では、いろんなプロセスが並行で動くデータセンターをマルチコアのCPUにたとえると、Mesosはいわば、そのCPUの動作を管理するオペレーティングシステムのカーネルだ。オペレーティングシステムはカーネルの外側にいろんな実働部隊を要するが、今それらの部位の開発にMesosphereは取り組んでいる。たとえばAirbnb時代にLeiberが作りChronosと名づけたスケジューラは、伝統的なcronに代わって、Mesos上で動く各サービスの開始と停止(とエラー処理)を自動化する。またMarathonは、いわばMesosにおけるinit.dとして、始動プロセスの役を担う。その後のサービス(Chronosなど)が利用する、開始、停止、スケーリングなどの基本的なプロセス管理タスクは、MarathonがAPIとして提供する。

背後でChronosとMarathonが動くことを前提として、チームは今日(米国時間9/26)、Mesosが動かして管理するアプリケーションコンテナDockerを発表した。デベロッパは自分のアプリケーションをこの軽量でポータブルなコンテナに収めることによって、展開を…新しいマシン上の展開でも…自動化できる。つまりMesosのレベルで言えば、クラスタ上のアプリケーションの展開が大幅に簡易化される。彼らのブログ記事によると、“アプリケーションをDockerに入れてMesosに渡すことにより、オンプレミスやクラウド上の多様なアプリケーションを展開し動かすための、真にエラスティックで効率的で首尾一貫性のあるプラットホームが約束される”。Leibertによると、アプリケーションがDockerを着ているとクラスタ全域にわたるサービスの発見が容易になる。つまり、クラスタをセットアップしたらそれで終わり、ではなく、いろんなサーバがお互いを見つけられる必要があるのだ。

Mesosなどクラスタシステム上のサービス~アプリケーションをDockerのようなもので抽象化することは、Leibertによると、過去にもいろんな人が試みたが、その実現はとても困難だった。しかしMesosphereの6人のチームは、Mesosを誰よりも熟知しているので、アプリケーションコンテナの組み込みに成功できた。

以上のようなビルディングブロックが揃ったところで、チームが次に挑戦するのは、Mesosを新人ユーザでも使いこなせるための、ユーザフレンドリーなユーザインタフェイスの構築だ。その仕様は、Mesosのコミュニティからの要望に基づき、またその具体的な部位もユーザからの求めに応じて加えていく予定だ。

[原文へ]
(翻訳:iwatani(a.k.a. hiwa))


サーバクラスタのためのオペレーティングシステムMesosを開発すMesosphereがアプリケーションコンテナDockerをサポート

Mesosは、サーバのクラスタを効率的に管理し、リソースの隔離も行うオープンソースのプロジェクトだ。今は主に、プロジェクトの生誕の地であるTwitterAirbnbなどで使われている。Googleにも”Borg”と呼ばれるよく似たシステムがあり、それはMesosが登場するかなり前に単独で開発され、データセンターの稼働の最適化に利用されてきた。

今Mesosは、TwitterとAirbnbのエンジニアだったFlorian Leibertと元AirbnbのエンジニアTobias Knaupが作ったスタートアップMesosphereで開発されている。オープンソース系のスタートアップの例に漏れずMesosphereも、関連サービスを将来的な収益源として考えているが、Leibertによると、今はMesosのエコシステムの育成と、そのコンセプトの普及に注力している。

Mesosは今ではApache Foundationがホストしているが、発端はカ大バークリー校の研究プロジェクトで、研究グループの一人、当時博士課程の学生だったBenjamin Hindmanが、それをのちにTwitterに持ち込んだ(彼は今Twitterの上級技術者だ)。

Mesosの基本的な考え方は単純明快だが、それはかなり前に時流から外れてしまっていた。それはつまり、アプリケーションの各部向けにそれぞれ専用のサーバクラスタをセットアップするのではなく、むしろサーバのプールを作っておいて、それを各部…Hadoop、Webサーバ、etc.…が共有し自分を動かす、という今のMesosのアーキテクチャだ。アプリケーションはお互いを邪魔することなく、むしろリソースを必要に応じて動的に割り当てる。たとえばビッグデータ分析の仕事が終わったら、リソースをトラフィックの多いWebサーバに回す、とか。

もっと概念化して言うと、Leibertの説明では、いろんなプロセスが並行で動くデータセンターをマルチコアのCPUにたとえると、Mesosはいわば、そのCPUの動作を管理するオペレーティングシステムのカーネルだ。オペレーティングシステムはカーネルの外側にいろんな実働部隊を要するが、今それらの部位の開発にMesosphereは取り組んでいる。たとえばAirbnb時代にLeiberが作りChronosと名づけたスケジューラは、伝統的なcronに代わって、Mesos上で動く各サービスの開始と停止(とエラー処理)を自動化する。またMarathonは、いわばMesosにおけるinit.dとして、始動プロセスの役を担う。その後のサービス(Chronosなど)が利用する、開始、停止、スケーリングなどの基本的なプロセス管理タスクは、MarathonがAPIとして提供する。

背後でChronosとMarathonが動くことを前提として、チームは今日(米国時間9/26)、Mesosが動かして管理するアプリケーションコンテナDockerを発表した。デベロッパは自分のアプリケーションをこの軽量でポータブルなコンテナに収めることによって、展開を…新しいマシン上の展開でも…自動化できる。つまりMesosのレベルで言えば、クラスタ上のアプリケーションの展開が大幅に簡易化される。彼らのブログ記事によると、“アプリケーションをDockerに入れてMesosに渡すことにより、オンプレミスやクラウド上の多様なアプリケーションを展開し動かすための、真にエラスティックで効率的で首尾一貫性のあるプラットホームが約束される”。Leibertによると、アプリケーションがDockerを着ているとクラスタ全域にわたるサービスの発見が容易になる。つまり、クラスタをセットアップしたらそれで終わり、ではなく、いろんなサーバがお互いを見つけられる必要があるのだ。

Mesosなどクラスタシステム上のサービス~アプリケーションをDockerのようなもので抽象化することは、Leibertによると、過去にもいろんな人が試みたが、その実現はとても困難だった。しかしMesosphereの6人のチームは、Mesosを誰よりも熟知しているので、アプリケーションコンテナの組み込みに成功できた。

以上のようなビルディングブロックが揃ったところで、チームが次に挑戦するのは、Mesosを新人ユーザでも使いこなせるための、ユーザフレンドリーなユーザインタフェイスの構築だ。その仕様は、Mesosのコミュニティからの要望に基づき、またその具体的な部位もユーザからの求めに応じて加えていく予定だ。

[原文へ]
(翻訳:iwatani(a.k.a. hiwa))


日立がWesternに売ったHGSTがハードディスクにナノテクを応用して容量を倍増

HGST-1.2Tbit-cropped-2013SPIE[4]

モバイルプロセッサに詳しい人は、Qualcommなどが作る現世代のチップを比較して論じるとき、32nm vs. 28nm(nmはナノメーター)なんて話をよく聞いているだろう。それはプロセッサのサイズを言い表す言葉で*、この数字が小さいほど電力消費が少なく、素子を小型化でき一定スペースに多量の回路を詰め込めるので機能も性能も上がる。〔*: この数字はVLSIの配線の太さ(幅)ないし配線間の間隔の幅のこと。〕

またディスクドライブでは、一つのビットを記録する磁性体単位の大きさ(パターンサイズ)を20nmよりも小さくするのは難しい、と言われている。ディスクドライブも、プロセッサと並んで、ムーアの法則が当てはまる分野だったが、どちらもそろそろ、限界に突き当たろうとしている。ところが今日、Western Digitalが日立製作所から買収したハードディスク企業HGST発表した画期的な技術によれば、10nmのパターンを作ることが可能だという。その工程は“ナノリソグラフィー(nanolithography)”(ナノサイズの平版印刷)と呼ばれ、これによりハードディスクドライブの最大容量を今の倍にすることができる*。〔*: 2×2=4倍ではない。原文のコメント参照。〕

HGSTのこのナノプロセスは、テキサス州オースチンのシリコン加工スタートアップMolecular Imprints, Inc.との共同開発で、これまで広く使われていたフォトリソグラフィー(photolithography)(写真製版平版印刷)技術を使わない。感光剤を用いる写真的な製版では、プロセスのサイズを光の波長より小さくすることはできない。HGSTの研究担当VP Currie Munceによると、HGSTの技術では将来的に10nm以下にすることも可能、という。

HGSTは今の2010年代内に一般市販製品の完成を目指している。そのための低価格化と安定性能を達成できれば、‘ストレージ欲’に限度のない今日の顧客たちが、こぞって採用するだろう。とくにWebは、クラウドサービスの増加と、Facebook、Apple、Amazonなどのビッグ企業のデータセンターの大型化がこれからも続くから、ストレージの費用効率とスペース効率はきわめて重要だ。HGSTのナノリソグラフィープロセスでは、磁性体の同じ面積のストレージ能力が従来の倍になるのだから、ざっと言って、効率も倍になることになる。

このプロセスは、顕微鏡レベルのちょっとした粗(あら)を冗長性によって回避できるディスクストレージに向いているようだ。Munceによれば、HGSTのナノリソグラフィーはモバイル用プロセッサなど、ナノレベルのVLSIの製造には向いていない。

“プロセッサでは、回路パターンに粗(あら)があることは絶対に許されない。ハードディスクドライブでは、つねにエラー修正コードが動いているし、パターンの欠陥を特殊な信号処理で補うこともできる”、と彼は説明する。

しかしそれでも、ハードディスクとメモリの方面では、今から5〜6年先にHGSTの画期的な技術が、クラウドコンピューティングやモバイルデバイスを中心として、テク業界全般に大きな影響を与えていくだろう。

[原文へ]
(翻訳:iwatani(a.k.a. hiwa))