Facebookがデータセンター内ネットワークを新型スイッチとともに40GBから100GBにアップグレード中

front_full-loaded

Facebookは今、同社のデータセンター内の光ファイバーネットワークを40GBから100GBにアップグレードしようとしている。同社のトップ・オブ・ラック・スイッチ(ひとつのラック上のすべてのサーバーを接続するスイッチ)Wedge 100は今日(米国時間11/8)すでにOpen Compute Projectに受諾され、またすべてのラックをデータセンター内で接続する次世代100GスイッチプラットホームBackpackもベールを脱いだ。

FacebookのDirector of Software Engineering for NetworkingであるOmar Baldonadoによると、同社がこの、より高速なネットワーキング技術を必要とする理由はいくつかある。しかしその最大の要因は、ライブと録画双方のビデオのサポートを拡大することだ。さらに、360度の写真やビデオも含まれる。Facebook自身の内部的なデータセンタートラフィックも、ユーザー体験の改善のために、アナリティクスなどのデータへの需要がデベロッパー部門から増えており、それにも対応しなければならない。

しかし100Gは、今でもまだ、高速ネットワーキングの最先端技術だ。もちろん今それに取り組んでいるのはFacebookだけではない。たとえばLinkedInも最近、オレゴン州のデータセンターを将来100Gにする計画を発表した。Facebookが他と違うのは、サーバーの設計やネットワーキング技術、およびそれらを支えるソフトウェアを、業界全体のためにオープンにすることに、コミットしていることだ。

  1. iso_front_1.jpg

  2. iso_back_1.jpg

Baldonadoによると、40Gから100Gへの移行で生ずる問題の一つが、新しいデバイスの“電力大喰らい”癖、そして冷却の困難さだ(彼は、“ゲーム用PCをオーバークロックでずっと使うようなもの”、と言った)。“それだけのハイスピードはどうしても必要だけど、そのためにはスイッチだけでなく、データセンター全体としての対応が必要になる”、と彼は語る。“だから業界のあらゆる部分…サーバーのベンダ、NICのメーカー、光りファイバーのメーカー、などなど…と協働しなくては、これだけのスケールアップは実現できない”。

Backpackの能力が前の“6-pack”スイッチの2.5倍だとしても、その電力消費量も2.5倍なのだ。

Facebookは、BackpackスイッチもOpen Compute Pojectに出す予定だ。それは今、社内テストの段階から徐々に、同社のデータセンターに実装されつつある。

[原文へ]
(翻訳:iwatani(a.k.a. hiwa))

Microsoftが次世代型クラウドハードウェアの設計をオープンソース化…コミュニティのコラボレーションに期待

80527689-6b4f-4ac8-bb93-25556376560c

Microsoftが今日、同社の次世代型ハイパースケール(hyperscale, 自動スケーリング)クラウドハードウェアの設計をオープンソースにし、それをOpen Compute Project(OCP)に寄贈した。Microsoftが2014年に参加したOCPには、Facebook, Google, Intel, IBM, Rackspaceなど、多くのクラウドベンダがいる。これまでの2年間で同社はすでに、サーバーやネットワーキング、データセンターなどの設計をいくつか寄贈している。

同社がProject Olympusと呼ぶこのオープンソース事業は、完成した設計をオープンソースにして寄贈する通常のやり方と違って、設計がまだ最終的な商用化のレベルに達していない。つまり、設計過程にコミュニティがコラボレーションしていくことを、前提しているのだ。

f07cb659-c3a7-41d0-83d4-e6d5b265a117

Azureでハードウェアインフラストラクチャを担当するゼネラルマネージャーKushagra Vaidが、今日の発表声明で述べている: “私たちは、これまでにも、OCP Foundationやオープンソースコミュニティとの密接な協働関係から、非常に多くのことを学んだ。しかしそこで理解した重要なことは、現在のオープンソースハードウェアの開発が、オープンソースソフトウェアほどアジャイルでもなく、頻繁な反復型でもないことである”。そこで、コミュニティに設計への初期的アクセスを与えることによって、Microsoftは“新製品の市場化までの時間を縮小し、投資費用を縮減する”ことを、期待するのだ。

Project Olympusの設計に含まれるのは、新しいマザーボードと、電池内蔵により高可用性の電源装置、高密度ストレージ拡張能力のあるサーバーシャシー、および、複数の(ときに多様な)マシンを載せるサーバーラック群に行き渡る電源配布ユニットだ。既存のデータセンターとその構成のもとで、すぐに使えるために、モジュール性を重視した設計になっている。

OCP servers at Facebook

FacebookのOCPサーバー

Open Compute Project FoundationのCTO Bill Carterは、今日の声明文でこう述べている: “Microsoftはオープンソースハードウェアの開発に、新しい時代を切り拓いた。コラボレーションと市場化の方法に新しい姿を持ち込んだProject Olympusは、OCPとオープンソースデータセンターハードウェアの、これまでの歴史になかったものである”。

Microsoftは、FacebookなどそのほかのOCPメンバーと同様、自己のデータセンターにおいてOCPのハードウェアを広範囲に利用している。Microsoftによると、同社が購入したサーバーの90%以上は、OCPに寄贈された仕様に基づいている。OCPを創始したFacebookでは、ほとんどすべてのサーバーがOCPマシンだ。Googleも今年初めにOCPに参加したが、クラウドプラットホームのマーケットリーダーであるAmazonは、まずそもそも、未だにオープンソースに向けての動きがなく、今後についても不明である。

[原文へ]
(翻訳:iwatani(a.k.a. hiwa))

Google、オープンコンピュートプロジェクトに参加

google_data_center_2

Googleは今日(米国時間3/9)、オープンコンピュートプロジェクト (OCP)に参加したことを発表した。OCPはFacebookを始めとする複数の企業が5年前に設立したプロジェクトで、オープンソースハードウェアを通じてIT基盤開発を推進することを目的としている。例えばFacebookは、同社のサーバーやデータセンターのハードウェアの作り方をオープンソース化する。

過去数年間、Googleも自社のデータセンターの作りについて一部の情報を公開してきたが、 今回さらにFacebookらと共に、OCPオープンラックプロジェクトに参加する。このプロジェクトの目的は、48V電源をデータセンターのラックに供給することだ。Googleは、48Vのラック電源に2010年から取り組んでおり、その過程で前世代の12Vシステムより30%エネルギー効率が良くなったと言っている。

「業界がこれらの同じ問題の解決に取り組み、機械学習用GPUのような高負荷を扱うようになってきた今、OCPで協力して新たな設計を標準化することが理にかなっている」とGoogleの技術プログラムマネージャー、John Zipfelが今日の発表に書いている。「われわれはこれが次世代電源アーキテクチャーを採用する人全員に役立ち、Googleと同じ節電と費用削減を実現するものと信じている」。

Googleはこれを、OCPへの取り組みの第一歩にすぎないと言う。Google広報担当者は本誌に、Googleは今後も「管理ソフトウェアやハイパースケールコンピューティング向けストレージディスクドライブ等の新しい分野のOCPプロジェクト」についても探究を続ける予定だと話した。Googleは先月発表したように、データセンターのディスクドライブ環境の改善には特に関心が高い。

ちなみに、今日OCP関連の行動を起こした会社はGoogleだけではない。Microsoftは2014年からプロジェクトに参加しており、本日同社も、Arista、Broadcom、DellおよびMellanoxと共に、様々なネットワークコンポーネントをプロジェクトに提供することを発表した

[原文へ]

(翻訳:Nob Takahashi / facebook

Open Compute Projectのスイッチハードウェアの自由で多様な構成を支える共通プラットホームOpen Network Linux

shutterstock_306988172

Big Switch NetworksFacebookとNTTが今日(米国時間10/7)、Open Compute Project(OCP)のスイッチハードウェアのために、Open Network Linuxと呼ばれる統一的なオペレーティングシステムを共同開発することを発表した。

舌を噛みそうな名前だけどこのプロジェクトは、FacebookのようなWebスケールの企業でも、あるいはそのほかの企業でも、とにかくOpen Compute Projectのオープンソーススイッチを利用する企業を助けることが目的であり、技術者たちはこのプラットホームをベースとして、スイッチの転送(forwarding)アルゴリズムを、自分の用途や考え方に合わせて構成していく。

これまで、このOCPプロジェクトはいろんな部位のばらばらな集まりで、エンジニアがそれらを縫い合わせる必要があった。Open Network Linuxはこれらの部位をひとつにまとめ、自由な組み合わせと構成で使えるようにする。また無用に複雑な部分を簡素化する。

このプロジェクトの始まりは18か月前にさかのぼり、そのときはBig Switch Networksがスイッチ用OSの最初の部分をOCPに提供した。Big Switchの協同ファウンダKyle Forsterは、“スイッチOSは複雑怪奇な野獣だ”、と言っている。それには二つの大きな部位があり、それらはプラットホームのコードと、転送エージェント(forwarding agent)だ。OCPのスイッチのハードウェアの設計は、Facebookが提供している。

なるべく簡単に言うと、プラットホームは、Linuxという名前が示すようにベースとなるオペレーティングシステムのコードで、その上でスイッチを作り上げているさまざまな部位を構成する…フロントパネルのLED、環境センサ、ファンのドライバ、などなど。そしてBig SwitchのCTO Rob Sherwoodによると、エンジニアはこのベースコードの上で転送エージェント部位を作っていくが、スイッチがネットワークと対話するときの方式はエージェントが独自に定義する。

そしてそこに、企業による違いや差別化要因ができる。プラットホームのコードが安定すれば、エンジニアはそれが無事に使えることを単純に期待するが、転送エージェントは別だ。“パケット転送エージェントに関しては、誰もが独自の考え方を持っている”、とSherwoodは述べる。

今日の発表によって、これからは誰もが自分好みのエージェント部位を作り、それをスイッチソフトウェア全体のスタックにプラグインできる。三社のパートナー…Big Switch Networks、Facebook、NTT…は今週後半に、この能力をデモする。そのとき見せるのは、転送エージェントの三種類の参考実装だ: FacebookのFacebook Open Switch System(FBOSS)、NTTのL3 Routing、そしてBig Switch NetworksのOpenFlow

これらの参考部位は、エンジニアが自分のエージェントを作り始めるときのたたき台になる。将来的には、オープンソースのプロジェクトとして寄贈されるものもあれば、プロプライエタリにキープされるものもあるだろう、とSherwoodは語る。

Open Compute Projectとは?

Facebookがハードウェアの内製を志向したときにOpen Compute Project(OCP)という第三者機関を作り、そこに設計やソフトウェアをコントリビュートする、という方式を選んだ。その最初のものが、Facebookのトップオブラック(top of rack)スイッチ、別名The Wedgeだ。

OCPには二つのねらいがある。ひとつは、大企業がその公共性を意識して、Webスケールのハードウェアの創造から学んだことを、広く共有すること。もうひとつは、Facebookの外部のエンジニアたちからの貢献を期待することだ。

Big Switch Networksは、OCPのハードウェアに関心があるが、それらをインストールしたり実装するスキルや人材のいない企業を、助ける役目だ。

たしかに特殊で複雑なプロジェクトだが、しかし基本はあくまでもオープンソースのプロジェクトであることだ。オープンソースという基盤の上で企業がソリューションを構築していく。OCPはその過程を助ける。オープンソースのコードが基盤にあれば、エンジニアたちは各自が勝手に車輪を再発明する必要がなく、しかしその上に咲く花の部分では、自由な創造と差別化を追究できる。

このプロジェクトも、まさにそうだ。

[原文へ]
(翻訳:iwatani(a.k.a. hiwa)。

Facebook、オープン・コンピュート・プロジェクトで10億ドル以上を節約

Facebookは独自に省エネ性能の高いサーバーを設計したことで莫大な利益を上げているようだ。

今日(米国時間1/28)、CEOのマーク・ザッカーバーグはOpen Computeサミットで「Open Computeデザインにもとづいてインフラを構築することにより、の3年間でわれわれは10億ドル以上の経費節減に成功している」と述べた。

Facebookは2011年4月にOpen Computeプロジェクトをスタートさせた。その後参加者はIT産業全体に広がり、サーバー、データセンターのグリーン化に大きく貢献するようになった。現在のメンバーにはIntel、AMD、Bloomberg、Box、Cumulus Networks、IBM、Microsoftなどが含まれる。

Open Computeプロジェクトは大量のエネルギー節約を実現しているが、それはとりも直さずFacebookが支払う電気料金の節約になっている。ザッカーバーグはサミットの壇上でティム・オライリーと対談し、「昨年だけで40万軒の家庭の年間使用電力、あるいは5万台の自動車に相当するエネルギーを節約できた」と誇らしげに明かした。

最近のアメリカの家庭の月平均間電力使用量は903kW/h、料金はkW/hあたり0.1209ドルということなので、Facebookは年間およそ5200万ドル前後の電力料金を節約できたことになる。

省エネが実現できただけでなく、Open ComputeプロジェクトのおかげFacebookは多数のベンダーから簡単に同一の機器を購入できるようになった。サプライチェーンの多様化はFacebookの調達コストを下げるのに寄与しているはずだ。また優秀なエンジニアをスカウトする際にも有利に働くだろう。

もっと広い観点から見れば、Open Computeはまだインターネットの恩恵に浴していない世界の50億人に安価なデータ・アクセスを提供しようとするInternet.orgのプロジェクトを助けるものだ。世界の人々を助けながらコストを削減し、さらに帝国を強化しようというのがFacebookの目論見だろう。

[画像 The Register, Karl Fruend]

[原文へ]

(翻訳:滑川海彦 Facebook Google+


アプリケーションのクラウド化の進展でサーバの売上が初めて落ち込む

Gartner Researchの調査報告によると、今年の第一四半期では、世界のサーバの売上高が前年同期比で5%減少し、IBMやHPなど上位五社(Dellを除く)がとくに大きく落ち込んだ。サーバの台数では、0.7%減少した。

しかしサーバの売上の減少は、意外ではない。近年雨後の筍したクラウドアプリケーションは今では数千件の規模に達し、その世界へのデベロッパたちの移行も急激に進んでいる。しかしそれらのアプリケーションがいくら増えても、大きなワークロードに対応できるパワーアップされたx86サーバに住み込むだけだから、サーバの新規売上には貢献しない。今のデベロッパは、サーバではなくクラウドに対して仕事をする。大企業も、昔のように高価なマシンを金に糸目を付けず潤沢に買い込むことはなくなった。

Gartnerの報告書では、x86サーバの台数は当四半期でほぼ横ばい、売上額では1.8%増加した。しかしサーバの売上は、機種の問題というよりベンダが今直面している問題だ。上位5社の売上は2013Q1で軒並み減少し、ただ一社Dell…x86専門!…だけが14.4%の増加を見た。

RISC/ItaniumのUnixサーバは前年同期比で台数が38.8%減、売上では35.8%減少した。メインフレームは世界全体で売上が3.6%上昇し、相変わらずのしぶとさを見せている。

ここにGoogleやFacebookやAmazonなどの名がないのは、彼らがサーバの買い手だからだ。クラウドサービスのベンダは、サーバの提供者のように見えて、実はサーバを買う側だ。しかも彼らは、車にたとえるとロールスロイスのような高級機を買うのではなく、必要な機能だけを実装した無駄のない安価なマシンをQuantaのようなところから一括大量仕入れしているから、サーバの売上データにあまり貢献しない。ちなみに今では、サーバの全世界売上7台のうち1台がQuantaで買われている

Open Compute Projectというディスラプティブな(革新的で破壊的な)プロジェクトも、無視できない。これはFacebookが率いるオープンハードウェアの運動だが、サーバやネットワークスイッチのオープンソース化を推進し、古い体質のサーバ業界にダメージを与えようとしている。Quantaも、今ではOpenCompute仕様のプロダクトの販売により力を入れようとしている。

サーバビジネスの現状は、来(きた)るべき未来を示唆している。ロールスロイス的サーバ機ベンダのカモだった大企業も、これからは超安値のサーバ市場と今急速に評価を高めつつあるオープンソースムーブメントに、適応して行かざるを得ない。

[原文へ]
(翻訳:iwatani(a.k.a. hiwa))


データセンターがインターネットのイノベーションを支えうるためにはオープン化が急務

これからは、ハードウェアのオープン化が進む。それは必然だ。データセンターのハードウェアも、例外ではない。Tim O’ReillyがOpen Compute Summitで述べたように、データセンターがインターネットのイノベーションのペースに対応できるためには、データセンターにもイノベーションが必要だ。その最初のステップはハードウェアをオープンにして、そこを流れるデータの量や速度に合わせて誰もが楽に確実に調整やハッキングができるようにすることだ。

Facebookのハードウェアデザインとサプライチェーン担当VP Frank Frankovskyは、Open Compute Projectを推進しているスタッフの一人だ。彼によると、Facebookはそのデータセンターを完全に内製することもできた。しかし、データセンターの設計をオープンにした方が、確実にイノベーションのペースが上がる。Facebookだけでなく、市場全体において。

ただしイノベーションのペースを左右する重要な要因は、人びとがどれだけ密につながっているかだ。結びつきを強めるためのデバイスの革新も、これからますます必要である。そしてデータセンターは、それらのためのハブになるべきものだ。

先週Open Compute Summitの会場でFrankovskyをつかまえ、即席のインタビューをした。彼の話を聞くと、オープンなハードウェアというものがどういうものか、よく理解できる。またハードウェアのオープン化を支える各種のオープンソースプロジェクトも勃興しており、この新しいオープンソース運動に関する信号は、需要側だけでなく供給側にも届きつつある。

[原文へ]
(翻訳:iwatani(a.k.a. hiwa))