タグ: cloud platform

GoogleがSony Pictures ImageworksとパートナーしてオープンソースのVFXレンダーマネージャーをローンチ

Googleが今日（米国時間1/24）、Sonyの視覚効果やアニメーションのスタジオSony Pictures Imageworksとの提携により、オープンソースのレンダーマネージャーOpenCueを発表した。OpenCueは実際のレンダリングをせず、そのさまざまなツールでレンダリング工程を各ステップに分解し、スケジューリングと管理を行なう。ローカルとクラウド両様の、大規模なレンダリングファームが使用するツールセットだ。

Googleはもちろん、そんなワークロードをクラウドに持ち込むことに関心があり、ハリウッドのスタジオに同社のCloud Platformを使わせる努力を続けてきた。たとえば昨年はそのためにロサンゼルスにクラウドのリージョンを立ち上げ、また2014年にはクラウド上のレンダラーZyncを買収した。さらに同社は、Academy Software Foundationの創立メンバーでもある。それは映画産業のためのツールに特化したオープンソースのファウンデーションだ。Sony Pictures Entertainment/Imageworksは創立メンバーではなかったが、創設から数か月後に参加した。

Cue 3は元々、Imageworksがおよそ15年前から社内で使っていたキューイングシステム（タスクの待ち行列の作成〜発進〜管理を行なうシステム）だ。Googleは同社と協働して、そのシステムをオープンソースにした。それは両社協働により、最大コア数15万にまでスケールアップした。

今日の発表声明でGoogleのプロダクトマネージャーTodd Privesはこう述べている: “コンテンツのプロダクションが全世界的かつ継続的に加速している中で、視覚効果のスタジオは高品質なコンテンツの需要に対応するためにますますクラウドに目を向けるようになっている。オンプレミスのレンダーファームは今でも重用されているが、クラウドが提供するスケーラビリティとセキュリティはスタジオに、今日のハイペースでグローバルなプロダクションスケジュールに対応できるための、必要なツールを与える”。

なお、Sonyがオープンソースに手を出すのはこれが初めてではない。同社はこれまでにも、OpenColorIOやAlembicなどのツールをオープンソースでコントリビュートしている。

画像クレジット: Sony Pictures Imageworks

[原文へ]
（翻訳：iwatani(a.k.a. hiwa）

OpenStackの第13リリースMitakaは大企業のプロダクションユースの増加に対応して管理性とユーザー体験に注力

dsc09941-1

OpenStack Foundationが今日（米国時間4/7）、そのオープンソースのエンタープライズクラウドプラットホームの13回目のリリース、Mitakaをローンチした。

多くの点でこの新しいリリースは、2010年にRackspaceとNASAから孵化したこのプロジェクトの、さらなる成長ぶりを見せている。重要な機能を新たにたくさん加えることよりも（今回も多いことは多いが）、焦点はこのプラットホームをクラウドの運用者にとって管理しやすくすることと、全体的なユーザー体験の改良に置かれている。

“焦点の置きどころを変えたのは、ほぼ2年前ぐらいから、大企業や大きな組織がOpenStackを彼らのITの最前線で使い始めているからだ”、とOpenStack FoundationのCOO Mark Collierは語る。

そういう大型ユーザー、AT&TやComcast、SAP、Time Warnerなどは、デプロイが容易であることを強く求める。どう転んでもOpenStackが相当複雑なプロジェクトであることに変わりはないから、ユーザーはまず、デプロイに関してさまざまな意思決定を迫られる。そう強調するCollierによると、そのため今では、このプラットホームのコアなコンポーネントはなるべくデフォルトの設定で行けるようにして、ユーザー元におけるセットアップや構成の努力を省力化している。それらのデフォルトは、OpenStackの大型ユーザーの多くが開発してきたベストプラクティスに基づいている。そのひとつの例であるOpenStackの”Keystone“アイデンティティサービスは、アドミニストレーターがActive Directoryなどのアイデンティティサービスを統合でき、またセットアップのプロセスを単純化している。

さらにCollierによると、この新しいリリースはユーザー体験の改良にも力を入れ、デベロッパーがOpenStack用のより良質なアプリケーションを書けるようにしている。たとえばデベロッパーは、これからはOpenStackの統一化クライアントを利用できるので、ワンセットの呼び出しでプラットホーム上にさまざまなリソースを作ることができる。今回のMitakaリリースはSDKもアップデートし、デベロッパーがOpenStackの”Neutron”ネットワーキングスタックをずっと容易に使えるようにしている（その一部はまだ開発途上ではあるが）。

ここ数年の動きの中でCollierにとってとくに意外だったのは、多くの通信企業が今では、ネットワーク機能のソフトウェアによる仮想化を採用するためのデファクトの方法としてOpenStackを利用し、これまでのようにプロプライエタリで高度に専用機化されているハードウェアを使わずに、情報のルーティングを行っていることだ。とくに彼が注目したのは、たとえば今のAT&Tの顧客は、電話をかけるたびに、なんらかの形でOpenStackに触（さわ）っている可能性が高いことだ。AT&T以外にも、Deutsche Telekom, Telefonica, (AOLとTechCrunchの親会社)Verizonなどの著名企業が、今やOpenStackのユーザーだ。

Collierがもうひとつ強調するのは、OpenStackに対する関心の多くが、これまでは、それをプライベートクラウドの構築に利用している企業に由来していたが、しかし今では、とくにアジアとヨーロッパで、OpenStackをパブリッククラウドのデプロイに使用している企業もたくさんあることだ。ただし合衆国は、まだそこまで行っていない。DreamHostやRackspaceなど、OpenStackによるパブリッククラウドに力を入れているところも少なくはないが、ユーザー数で言えばAWSが圧倒的に大きいのだ。

[原文へ]
（翻訳：iwatani(a.k.a. hiwa））

Google、SparkとHadoopのマネージドサービス、Cloud Dataprocを提供開始

google-servers-datacenter

Googleは、Google Cloud Platformのビッグデータサービス群に新たな製品を今日追加する。新サービスのGoogle Cloud Dataprocは現在ベータ版で、データ処理エンジンのSparkやHadoopフレームワークをバーチャルマシン上で直接管理し、Googleプラットフォーム上のデータパイプラインを統合するCloud Dataflowのような完全マネージド型サービスとの中間に位置する。

Google Cloud Platformの製品管理責任者、Greg DeMichillieは私に、DataprocユーザーはHadoopクラスターを90秒以内に立ち上げることが可能で ― 他のサービスより著しく速い ― Googleはクラスター上のバーチャルCPU料金を毎時1セントしか課金しないと言った。これはバーチャルマシンとデータストレージを運用するのにかかる費用に上乗せされるものだが、DeMichilleはGoogleの低価格のプリエンプティブル・インスタンスを利用すれば計算コストを若干節約できると言った。課金は分単位で、最低10分から。

Dataprocでここまで速くクラスターを立ち上げられることから、ユーザーは必要に応じて一時的クラスターを設定することができる上、マネージド型のためGoogleがユーザーに代って運営できる。

「この分野ではあらゆる規模に適合する製品はない。これは当社の総合的ポートフォリオにとって極めて重要な製品だと考えている」とDeMichilleは言った。

KciNhA1_PKSnFIsuVnhhvwmCPGiLfaOfGhPfBAT0I7eykLJI3f1SQcyhRyZs1b5LOUe1yA=s2048

このサービスは標準的なSparkおよびHadoopのディストリビューション（微調整あり）を使用しているため、事実上どの既存Hadoopベース製品とも互換があり、ユーザーは現行業務を容易にGoogleの新サービスに移行できるはずだ。

DeMichillieとGoogleのビッグデータ製品マネージャー、James Maloneは私に、Googleは同社のネットワークインフラのおかげでサービスのスピードを保証できるが、加えてSparkの問題（同社がこのサービスに利用しているオープンソースのYARNリソースマネージャーに関連する）を修復し、最適なイメージを構築したことも貢献していると話した。

DeMichillieは、一部のユーザーはデータパイプラインや処理アーキテクチャーの完全制御を望んでおり、そのために各自のバーチャルマシンを運用、管理したがるだろうと認識している。彼は、Dataprocのユーザーにとって独自インフラを設定するのと比べて実質的なトレードオフはないと考えている。

当然ながら、DataprocはGoogleの他のクラウドサービス、BigQuery、Cloud Storage、Cloud Bigtable、Cloud Logging、およびCloud Monitoringとも統合されている。

[原文へ]

（翻訳：Nob Takahashi / facebook）

Google、低価格で高速な「コールドデータ」サービス “Nearline” をスタート


Googleは今日（米国時間3/11）新しいタイプのクラウドストレージサービスを開始 した。これは、スタートアップからエンタープライズまで多くの企業のオンラインストレージに対する考え方を変える可能性を持つものだ。Googleのクラウドストレージ “Nearline”を使って、企業は自社や顧客のアクセス頻度の低いデータ（バックアップ、ログ、古い写真等）を、1ギガバイト当たり0.01ドルで保管することができる。

「コールドストレージ」は新しい概念ではない。しかし、AmazonのGlacier等、他のコールドストレージサービスが、凍結されたデータを再び利用できるまでに何時間もかかるのに対して、GoogleはNealineのデータを3秒以内にアクセスできることを約束している。

Googleのクラウドプラットフォーム製品管理責任者、Tom Kershawは今週私に、オンラインストレージとオフラインストレージのコストの違いは減小するべきだと信じていると語った。

オンラインサービスは常に比較的高価だが、例えば巨大なメールサービスを運用していると、顧客は自分の全メールを瞬時に検索したいと考える。古いメッセージをオフラインストレージに置き、ユーザーにバッチ処理が終るまで1時間待ってくれとは言えない。

同じように、企業によっては自社のログファイルをできるだけ長く保存していたい（しなければならない）。しかし、オフラインに移動すれば過去データを高速に分析できなくなる。

Nealineを使うことで、Googleは通常のオンラインストレージとコールドストレージの境界を曖昧にして、企業がデータを削除したりファイルをコールドストレージに移動したりせずに済ませたいと考えている。

「われわれは何も捨てなくて済む経済的なサービスを作りたかった」とKershawは私に言った。「Googleは物事を保存するのがかなり得意だが、どんな組織も自分のデータを身近に置けるようになるべきだ」

Kershawによると、Googleがこれを競争力のある価格（AmazonのGlacier相当）で提供できるのは、すべてのデータを一つのシステムでホスティングできるからだという ― オンラインであろうと「ニアライン」であろうと。このようなシステムの共通性は独特のものだと彼は主張する。

従来からストレージ会社は2種類の異なるシステムを構築してきたが、オフラインストレージで最も難しく最も高くつくのが、実は2つのシステム間でデータを移動することだった。そこでNearlineでは、バックエンドにGoogleの通常のストレージ製品と全く同じシステム、全く同じ暗号化やセキュリティー機能を使用した。さらにAPIもGoogleの標準オンラインストレージサービスと共通にした。

Googleは多くの初期ユーザーがこのサービスを写真、ビデオ、文書等の保管に使うことを想定している。多くの企業は、万が一ユーザーが欲しがった時のためにこうしたデータをオンラインで持っている。

市場をいっそう広げるために、GoogleはVeritas/Symantec、NetApp、Geminare、Iron Mountainらとパートナー契約を結んだ。いずれの会社もGoogleの新サービスを多くのエンタープライズ顧客に提供することになるが、中でもIron Mountainは、ユーザーがハードディスクを送付すると安全にNearlineにアップロードしてくれるというユニークなサービスだ。

[原文へ]

（翻訳：Nob Takahashi / facebook）


MirantisとGoogleがパートナーしてKubernetesをOpenStackでサポート

OpenStackのエコシステムでメジャーになったMirantisが今日（米国時間2/24）、GoogleとパートナーしてKubernetesをOpenStackのプロジェクトでサポートする、と発表した。Kubernetesは、コンテナ化したアプリケーションを管理するためのオープンソースのツールだ。このサポートでは、OpenStackのアプリケーションカタログMuranoを使って、KubernetesベースのクラスタとそれらのDockerコンテナの展開と構成が容易にできるようにしている。

OpenStackのアドミンがMuranoを使うと、ほんの数クリックでKubernetesを展開できる。Mirantisによると、この新しい機能によりOpenStackで開発をするデベロッパは、自分のワークロードをOpenStackとそのほかのクラウドコンピューティングサービス（GoogleのCloud Platformなど）とのあいだで移動できる。Googleはこの点について、顧客には自分のアプリケーションをオンプレミスと公開クラウドのハイブリッドにするための、多様なオプションが可能になる、と言っている。

OpenStackとMuranoと、OpenStackのオーケストレーションサービスHeatにより、Kubernetesのクラスタに必要なすべてのリソースの配備が自動的に行われる。クラスタのスケールアップ/ダウンも容易になる。そのため、クラスタをOpenStack内蔵のファイヤーウォールやロードバランシング、モニタリングなどのツールと良好に統合できる。

今日の発表は、GoogleのKubernetesの普及と浸透が非常に広範囲であることを示す一つの例だ。しかしそれはまた同時に、OpenStackのエコシステムの成長が急速であることも物語っている。そのオープンソースのモデルによりデベロッパは、プロジェクトを変化するニーズに柔軟に適応させられる。ソースがオープンでなければ、それは難しい。

OpenStackのMark Collierが、ぼく宛のメールで次のように言っている: “OpenStackが急速にエンタプライズクラウドのスタンダードになった理由の一つは、それがオープンでプラッガブル（いろんなモジュールを自由に差し込み差し替え…着脱…可能）な設計だからだ。だからDockerやKubernetesのような新しい技術が登場しても、それらの統合を素早くできる。今回のKubernetesの統合によって、Googleのすでに実証済みのコンテナスケーリングエンジンが持つ利点を、OpenStackのコンピューティングとストレージとネットワーキングのオーケストレーションに持ち込むことができる。OpenStackはすでに、Walmartなどの企業が、Cyber Mondayのような大きなイベントで頼りにしている”。

[原文へ]
（翻訳：iwatani(a.k.a. hiwa)）


ビッグデータプログラミングを単純化するGoogleのCloud DataflowがClouderaの協力でApache Sparkに統合

Googleの今日（米国時間1/20）の発表によると、同社はHadoopのスペシャリストClouderaとパートナーして、Googleのデータ処理プログラミングフレームワークCloud DataflowをApacheのクラスタ化データ処理エンジンSparkに統合する努力を開始する。

デベロッパがGoogleのCloud Dataflowを使うと、低レベルのクラスタのことを気にする必要なく、データ処理パイプラインを開発しモニタできる。例によってGoogleは次のように強調する: このデータ処理SDKはインターネット上で大規模なデータ集合を処理するための同社の内部的ツールから生まれたものである。データ処理のタスクはいつも同型であるとはかぎらないので、クラウドやオンプレミスを使い分けながらいろいろなデータ処理エンジンを使う必要がある。しかしCloud Dataflowというプログラミングインタフェイスを使えば、理想的には、データアナリストはパイプラインがその上で動くアーキテクチャの違いを気にすることなく、同一のシステムを使ってさまざまなデータ処理パイプラインを作れる。

GoogleがクラウドサービスとしてのDataflowを発表したのは昨年の夏だが、それはインフラがGoogle自身のプラットホーム…Compute Engine、Cloud Storage、およびBigQueryだった。しかしちょうど1か月前に同社はこのサービスのJav SDKをリリースして、デベロッパがそれをほかの言語や環境に統合できるようにした。そして今回はClouderaの協力によりそれと同じことを、SparkをデータエンジンとするオープンソースのDataflowとして実装しようとしている。それによりデベロッパはCloud Dataflowを、自分たちのローカルマシン上、（まだ非公開アルファだが）Googleのクラウドサービス上、そしてSparkの上でも使えるようになる。

Googleは今日の発表の中で、こう述べている: “Dataflowを利用するプログラムはデータをより有効に利用できるようになり、しかもその便宜を、クラウドやオンプレミスなど多様な環境で享受できる”。

SparkバージョンはGitHub上で入手できる。Clouderaはそれを、試験と実験に限定される“育成プロジェクト”と見なしている。本番利用のリスクは、デベロッパの自己責任となる。GoogleもDataflowをアルファと見なしているので、SDKは今後変わる余地がある。

[原文へ]
（翻訳：iwatani(a.k.a. hiwa)）


ビッグデータが入ったHDDをGoogleに送ると80ドルでクラウドにアップしてくれる

Googleのクラウド・ストレージに新しいサービスが加えられた。デベロッパーはハードディスクをGoogleに送って、インターネット経由では非常に時間がかかるような大量のデータをクラウドにアップロードしてもらうことができるようになった。料金はHDD1台あたり 80ドルの定額だ。

Googleによれば、この方法はインターネット接続より大幅に速くまた安価だという。現在限定ベータテスト中なので対象はアメリカ国内に住所を持つユーザーに限られる。

AmazonのAWSやGoogleのクラウド・プラットフォームは巨大なデータセットを保管、解析するのに好適なサービスだ。しかしGoogleのエンジニアのLamia Youseffが指摘するとおり、巨大データ（往々にして100TB以上になる）の転送がボトルネックになっていた。公衆インターネット回線を利用した場合、時間も料金もかかる。たとえば5TBのデータを100Mbpsの回線でアップロードしようとすると1日か2日かかってしまうし、多くのデベロッパーはそもそもそんな高速回線を持っていない。

実はAmazonに非常によく似たサービス〔日本から利用可能〕があり、料金もHDD1台あたり80ドルと同額だ。しかしなんでも従量制にするAmazonらしく、転送作業時間に応じた料金がかかる。5TBのデータをeSATAのHDDからS3にアップロードする場合、Amazonの計算よれば、別途45ドルが課金される。この点Googleの定額制の方がはるかにお得だ。ただしAmazonはクラウド上のデータをHDDにエクスポートするサービスも実施しているが、今のところGoogleにはない。

[原文へ]

（翻訳：滑川海彦　Facebook Google+）