Google、低価格で高速な「コールドデータ」サービス “Nearline” をスタート


Googleは今日(米国時間3/11)新しいタイプのクラウドストレージサービスを開始 した。これは、スタートアップからエンタープライズまで多くの企業のオンラインストレージに対する考え方を変える可能性を持つものだ。Googleのクラウドストレージ “Nearline”を使って、企業は自社や顧客のアクセス頻度の低いデータ(バックアップ、ログ、古い写真等)を、1ギガバイト当たり0.01ドルで保管することができる。

「コールドストレージ」は新しい概念ではない。しかし、AmazonのGlacier等、他のコールドストレージサービスが、凍結されたデータを再び利用できるまでに何時間もかかるのに対して、GoogleはNealineのデータを3秒以内にアクセスできることを約束している。

Googleのクラウドプラットフォーム製品管理責任者、Tom Kershawは今週私に、オンラインストレージとオフラインストレージのコストの違いは減小するべきだと信じていると語った。

オンラインサービスは常に比較的高価だが、例えば巨大なメールサービスを運用していると、顧客は自分の全メールを瞬時に検索したいと考える。古いメッセージをオフラインストレージに置き、ユーザーにバッチ処理が終るまで1時間待ってくれとは言えない。

同じように、企業によっては自社のログファイルをできるだけ長く保存していたい(しなければならない)。しかし、オフラインに移動すれば過去データを高速に分析できなくなる。

Nealineを使うことで、Googleは通常のオンラインストレージとコールドストレージの境界を曖昧にして、企業がデータを削除したりファイルをコールドストレージに移動したりせずに済ませたいと考えている。

「われわれは何も捨てなくて済む経済的なサービスを作りたかった」とKershawは私に言った。「Googleは物事を保存するのがかなり得意だが、どんな組織も自分のデータを身近に置けるようになるべきだ」

Kershawによると、Googleがこれを競争力のある価格(AmazonのGlacier相当)で提供できるのは、すべてのデータを一つのシステムでホスティングできるからだという ― オンラインであろうと「ニアライン」であろうと。このようなシステムの共通性は独特のものだと彼は主張する。

従来からストレージ会社は2種類の異なるシステムを構築してきたが、オフラインストレージで最も難しく最も高くつくのが、実は2つのシステム間でデータを移動することだった。そこでNearlineでは、バックエンドにGoogleの通常のストレージ製品と全く同じシステム、全く同じ暗号化やセキュリティー機能を使用した。さらにAPIもGoogleの標準オンラインストレージサービスと共通にした。

Googleは多くの初期ユーザーがこのサービスを写真、ビデオ、文書等の保管に使うことを想定している。多くの企業は、万が一ユーザーが欲しがった時のためにこうしたデータをオンラインで持っている。

市場をいっそう広げるために、GoogleはVeritas/Symantec、NetApp、Geminare、Iron Mountainらとパートナー契約を結んだ。いずれの会社もGoogleの新サービスを多くのエンタープライズ顧客に提供することになるが、中でもIron Mountainは、ユーザーがハードディスクを送付すると安全にNearlineにアップロードしてくれるというユニークなサービスだ。

[原文へ]

(翻訳:Nob Takahashi / facebook


MirantisとGoogleがパートナーしてKubernetesをOpenStackでサポート

OpenStackのエコシステムでメジャーになったMirantisが今日(米国時間2/24)、GoogleとパートナーしてKubernetesをOpenStackのプロジェクトでサポートする、と発表した。Kubernetesは、コンテナ化したアプリケーションを管理するためのオープンソースのツールだ。このサポートでは、OpenStackのアプリケーションカタログMuranoを使って、KubernetesベースのクラスタとそれらのDockerコンテナの展開と構成が容易にできるようにしている。

OpenStackのアドミンがMuranoを使うと、ほんの数クリックでKubernetesを展開できる。Mirantisによると、この新しい機能によりOpenStackで開発をするデベロッパは、自分のワークロードをOpenStackとそのほかのクラウドコンピューティングサービス(GoogleのCloud Platformなど)とのあいだで移動できる。Googleはこの点について、顧客には自分のアプリケーションをオンプレミスと公開クラウドのハイブリッドにするための、多様なオプションが可能になる、と言っている。

OpenStackとMuranoと、OpenStackのオーケストレーションサービスHeatにより、Kubernetesのクラスタに必要なすべてのリソースの配備が自動的に行われる。クラスタのスケールアップ/ダウンも容易になる。そのため、クラスタをOpenStack内蔵のファイヤーウォールやロードバランシング、モニタリングなどのツールと良好に統合できる。

今日の発表は、GoogleのKubernetesの普及と浸透が非常に広範囲であることを示す一つの例だ。しかしそれはまた同時に、OpenStackのエコシステムの成長が急速であることも物語っている。そのオープンソースのモデルによりデベロッパは、プロジェクトを変化するニーズに柔軟に適応させられる。ソースがオープンでなければ、それは難しい。

OpenStackのMark Collierが、ぼく宛のメールで次のように言っている: “OpenStackが急速にエンタプライズクラウドのスタンダードになった理由の一つは、それがオープンでプラッガブル(いろんなモジュールを自由に差し込み差し替え…着脱…可能)な設計だからだ。だからDockerやKubernetesのような新しい技術が登場しても、それらの統合を素早くできる。今回のKubernetesの統合によって、Googleのすでに実証済みのコンテナスケーリングエンジンが持つ利点を、OpenStackのコンピューティングとストレージとネットワーキングのオーケストレーションに持ち込むことができる。OpenStackはすでに、Walmartなどの企業が、Cyber Mondayのような大きなイベントで頼りにしている”。

[原文へ]
(翻訳:iwatani(a.k.a. hiwa))


ビッグデータプログラミングを単純化するGoogleのCloud DataflowがClouderaの協力でApache Sparkに統合

Googleの今日(米国時間1/20)の発表によると、同社はHadoopのスペシャリストClouderaとパートナーして、Googleのデータ処理プログラミングフレームワークCloud DataflowをApacheのクラスタ化データ処理エンジンSparkに統合する努力を開始する。

デベロッパがGoogleのCloud Dataflowを使うと、低レベルのクラスタのことを気にする必要なく、データ処理パイプラインを開発しモニタできる。例によってGoogleは次のように強調する: このデータ処理SDKはインターネット上で大規模なデータ集合を処理するための同社の内部的ツールから生まれたものである。データ処理のタスクはいつも同型であるとはかぎらないので、クラウドやオンプレミスを使い分けながらいろいろなデータ処理エンジンを使う必要がある。しかしCloud Dataflowというプログラミングインタフェイスを使えば、理想的には、データアナリストはパイプラインがその上で動くアーキテクチャの違いを気にすることなく、同一のシステムを使ってさまざまなデータ処理パイプラインを作れる。

GoogleがクラウドサービスとしてのDataflowを発表したのは昨年の夏だが、それはインフラがGoogle自身のプラットホーム…Compute EngineCloud Storage、およびBigQueryだった。しかしちょうど1か月前に同社はこのサービスのJav SDKをリリースして、デベロッパがそれをほかの言語や環境に統合できるようにした。そして今回はClouderaの協力によりそれと同じことを、SparkをデータエンジンとするオープンソースのDataflowとして実装しようとしている。それによりデベロッパはCloud Dataflowを、自分たちのローカルマシン上、(まだ非公開アルファだが)Googleのクラウドサービス上、そしてSparkの上でも使えるようになる。

Googleは今日の発表の中で、こう述べている: “Dataflowを利用するプログラムはデータをより有効に利用できるようになり、しかもその便宜を、クラウドやオンプレミスなど多様な環境で享受できる”。

SparkバージョンはGitHub上で入手できる。Clouderaはそれを、試験と実験に限定される“育成プロジェクト”と見なしている。本番利用のリスクは、デベロッパの自己責任となる。GoogleもDataflowをアルファと見なしているので、SDKは今後変わる余地がある。

[原文へ]
(翻訳:iwatani(a.k.a. hiwa))


ビッグデータが入ったHDDをGoogleに送ると80ドルでクラウドにアップしてくれる

Googleのクラウド・ストレージに新しいサービスが加えられた。デベロッパーはハードディスクをGoogleに送って、インターネット経由では非常に時間がかかるような大量のデータをクラウドにアップロードしてもらうことができるようになった。料金はHDD1台あたり 80ドルの定額だ。

Googleによれば、この方法はインターネット接続より大幅に速くまた安価だという。現在限定ベータテスト中なので対象はアメリカ国内に住所を持つユーザーに限られる。

AmazonのAWSやGoogleのクラウド・プラットフォームは巨大なデータセットを保管、解析するのに好適なサービスだ。しかしGoogleのエンジニアのLamia Youseffが指摘するとおり、巨大データ(往々にして100TB以上になる)の転送がボトルネックになっていた。公衆インターネット回線を利用した場合、時間も料金もかかる。たとえば5TBのデータを100Mbpsの回線でアップロードしようとすると1日か2日かかってしまうし、多くのデベロッパーはそもそもそんな高速回線を持っていない。

実はAmazonに非常によく似たサービス〔日本から利用可能〕があり、料金もHDD1台あたり80ドルと同額だ。しかしなんでも従量制にするAmazonらしく、転送作業時間に応じた料金がかかる。5TBのデータをeSATAのHDDからS3にアップロードする場合、Amazonの計算よれば、別途45ドルが課金される。この点Googleの定額制の方がはるかにお得だ。ただしAmazonはクラウド上のデータをHDDにエクスポートするサービスも実施しているが、今のところGoogleにはない。

[原文へ]

(翻訳:滑川海彦 Facebook Google+