Google Cloud Launcherで、よく使われる120あまりのオープンソースパッケージを素早くデプロイできる

GoogleとBitnamiが今日、GoogleのCloud Platformで立ち上げる新しい機能により、デベロッパは120あまりのポピュラーなオープンソースアプリケーションをCloud Platformへデプロイできる。GoogleとBitnamiがパックした120あまりのアプリケーションには、WordPress、Drupal、Redis、MongoDB、Gitlab、Djangoなどのほか、RubyやLAMPアプリケーション、Puppetなどのためのインフラストラクチャスタックも含まれる。

Googleが言うようにVMベースのソリューションをセットアップするとき、デベロッパはサービスのさまざまな部位を構成するために多くの時間を費やす。しかしこのCloud Launcherを利用すると、必要なアプリケーションやサービスを指定するだけで、数クリックでその作業が完了する。

GoogleのプロダクトマネージャVarun Talwarが今日の発表声明の中でこう述べている: “デベロッパは設計やコーディングに時間を割くべきであり、ライブラリを見つけてデプロイしたり、依存性を調整したり、バージョニングの問題を解決したり、ツール類を構成したり、といった作業は、デベロッパの貴重な時間を奪う”。

Googleはこれらのパッケージの多くを今後、同社のCloud Monitoringサービスに統合する予定だ。

なおGoogleはすでに、Casandra、MongoDB、Drupal、Joomlaなど一連の人気アプリケーションに関しては、これと同様の”click-to-deploy“(クリックツーデプロイ)サービスを提供している。今回の新しいサービスは、この既存の機能にBitnamiのパッケージを足したもののようだ。

[原文へ]
(翻訳:iwatani(a.k.a. hiwa


Googleのリアルタイム・メッセージングサービス「Cloud Pub/Sub」が公開ベータに


本日(米国時間3/4)Googleは、Cloud Pub/Subの公開ベータ版を初めて公開する。これは同社のバックエンド・メッセージングサービスで、デベロッパーがマシン間でメッセージをやりとりしたり、スマート端末からデータを収集したりする作業を楽にするものだ。基本的には、クラウド上のスケーラブルなメッセージング・ミドルウェアで、デベロッパーはホストサービスに関わらずアプリケーション間で素早くメッセージを交換できる。Snapchatは、Discover機能で既にこれを利用しており、Google自身も、クラウドモニタリングサービス等のアプリケーションに利用している。

Pub/Subはかなりの期間アルファ版だった。Googleは昨年のI/Oデベロッパーカンファレンスで、初めて(静かに)これを披露したが、大きく取り上げることはなかった。これまで同サービスはプライベートアルファだったが、今日からは全デベロッパーが使える。

Pub/Sub APIを使うと、デベロッパーは最大1万件のトピック(アプリがメッセージを送る先の実体)を作ることができ、1秒間に最大1万通のメッセージを送れる。Googleは、「毎秒100万メッセージのテストにおいても」通知は1秒以内に送られると言っている。

このサービスの典型的な利用ケースは、Googleによると、ネットワーククラスタの負荷バランス、非同期ワークフローの実装、複数システムへのロギング、多種デバイスからのデータストリーミング等だ。

ベータ期間中は無料でサービスを利用できる。ベータが終了すると、デベロッパーは、最初の1億APIコールまでは、100万コールにつき0.40ドルを支払う。それ以上メッセージを送りたいユーザーは、次の24億コールまでは100万コールにつき0.25ドル、それ以降は100万コールにつき0.05ドルを支払う。

Pub/Subがベータになった ― そしてGoogleが正式版の価格まで発表した ― ことで、今年の夏のGoogle I/Oあたりでは正式公開となりそうだ。

[原文へ]

(翻訳:Nob Takahashi / facebook


DockerアプリケーションをGoogleのクラウドプラットホーム上で展開運用するための管理サービスをアルファで立ち上げ

Googleが今日(米国時間11/5)、Google Container Engineというもののアルファテストを開始する、と発表した。それは、Googleのクラウドプラットホームの上でDockerによるコンテナを使用するアプリケーションを構築し運用するユーザに提供する、もろもろの管理サービスだ。

Dockerは今のデベロッパ界隈でいちばんホットな技術であり、デベロッパとの会話の中で必ず登場する名前だ。GoogleのCloud Platformのチームも、そのプラットホーム全体ををDockeベースで行くことに決め、顧客であるデベロッパが分散アプリケーションをより容易に構築運用できるようにしたい、と考えている。

基本的に今度の新サービスは、GoogleのオープンソースプロジェクトKubernetesをベースとする”Cluster-as-a-Service”のプラットホームだ。言い換えると、デベロッパは自分のクラスタを、Googleがその巨大なデータセンター向けに開発した独自のコンテナ技術を利用して管理できる。ユーザのアプリケーションは通常、複数のDockerコンテナで構成されるが、Kubernetesはそれらの動的(==ランタイムの)管理を助ける。

Googleによると、自社のクラウドプラットホームの“高速ブートと効率的なVMホストとシームレスな仮想化ネットワークの組み合わせ”は、“コンテナベースのアプリケーションを稼働させるための理想的な場所”だ、という。競合他社はこれに異議を唱えるだろうが、Dockerコンテナアプリケーションに対してこのレベルの管理サービスを提供しているところは、まだほかにない。

Googleは最初5月に、同社のManaged VM service(管理サービスを伴うVMサービス)の一環としてDockerイメージのサポートを開始した。これらの管理つきVMは今アルファを終えようとしており、自動化スケーリングのサポートが加わったことによりデベロッパは、Googleのプラットホーム上でDockerコンテナを、難しい作業を伴わずに利用できる。アルファやベータのGoogle的な定義では、ベータは、アクセス制御なし、課金なし、ただし技術的サポートに関するSLA(service level agreement)もなし、という意味だ。

そして今回のDockerクラスタ管理サービスはまだアルファだから、機能は不十分だし、不測のシステム事故はいつでもありえる。

[原文へ]
(翻訳:iwatani(a.k.a. hiwa))


GoogleのクラウドプラットホームもついにBaaSを提供へ…Firebase買収でリアルタイム機能を充実

Googleが今日(米国時間10/22)、アプリ/アプリケーションのためのバックエンドサービスFirebaseを買収したことを発表した。データの保存とシンクをリアルタイムで行う、などのタスクをiOSやAndroid、それにWebのアプリケーション向けに提供するので、デベロッパの開発努力を相当楽にしてくれる。今現在の登録ユーザはおよそ11万名のデベロッパで、サービスはそのまま継続し、多様なプラットホームへの対応も維持される。〔*: デベロッパはますます、BaaSの利便性を求める。参考記事: モバイル-クラウドエンタプライズ。〕

ほぼ3年前にローンチしたFirebaseは、Googleに加わったことでサービスの大幅なスケールアップが可能になった、としている。同社曰く: “Googleの技術力とリソースと技術的インフラがあれば、もっともっと多くのことをもっともっと早くできる”。Firebaseのチームはまた、自分たちが今のGoogleにない部分を補う、と見ている。この買収によって、Googleの顧客はアプリケーションを早く書けるようになり、FirebaseのユーザはGoogleのインフラにアクセスできる。

Googleにとってこの買収は技術と人材の獲得が目的のようだが、しかしそれと同時に、Firebaseの10万あまりのデベロッパがGoogleのクラウドプラットホームのユーザになるメリットもある。

GoogleがFirebaseから得た機能の紹介は、11月4日に行われるイベントGoogle Cloud Platform Liveで行われる。買収が完了したのはごく最近と思われるが、買収結果をGoogle Cloud Platformに導入するのは、前から相当早いのだ。

Googleが同社のクラウドプラットホームを充実させるために行う重要な買収は、今回が三度目だ。最初はモニタリングサービスのStackdriveを買収して、それをすぐに統合、そして次は、映画のデジタルプロダクションのための特殊効果をCGIするZyncだった。

これまで、Andrew LeeとJames Tamplinが創業したFirebaseは、2012年のシードラウンドで約700万ドル、2013年のシリーズAで560万ドルを調達している。

 

[原文へ]
(翻訳:iwatani(a.k.a. hiwa))


Googleが同社のクラウドで映画の視覚効果の制作もできるためZync Renderを買収

Googleが今日(米国時間8/26)、 Zync Renderを買収したことを発表した。 Zync Render(ZYNC)は、映画スタジオなどがクラウドで視覚効果(visual effects, ビジュアルエフェクト)を描く(レンダリングする)ためのサービスだ。同社の技術はStar Trek: Into DarknessLooperなどで利用されている。Googleがここを買収したねらいは、映画スタジオなどに同社のCloud Platformを、彼らの制作の場としてもっと使ってもらうためだ。

現在ZYNCはAmazonのEC2向けに最適化されているが、これからはGoogleのCloud Platformに統合される。ZYNCによると同社の技術は1ダース以上もの長編商業映画や、数百ものコマーシャルに利用され、その全描画時間は650万時間にもなる。

Googleが今日述べているように、映画の特殊効果を描画するためには、とても強力なインフラストラクチャを必要とする。多くのスタジオが自社独自のレンダーファームを持っていて、クラウドサービスは主に、制作効率化のための容量拡大として利用される。しかしそういう専用のコンピューティングインフラを持ってないところや、自社でやりたくないところは、エフェクトのレンダリングもクラウドからのコンピューティングサービスに依存したい。

Googleは、課金は分単位と言っているが、サービスのそれ以外の詳細はまだ明らかでない。ZYNCの側は、“Google Cloud Platformのような大規模で安定性の高いインフラを使えるなら、これまでよりもさらに良いサービスを顧客に提供できる。大きな仕事も十分にできるし、提供パッケージの種類も増やせる、料金もよりリーズナブルにできるだろう”、と言っている。

なお、Amazonはこれまで何度も、うちは視覚効果をレンダリングするためのプラットホームとして最適だ、と主張してきた。同社は、ZYNCも仕事をしたStar Trek: Into Darkness — における、Atomic Fictionの仕事ぶりに関するケーススタディーまで発表している。Microsoftもときどき、うちのクラウドは映画制作にも最適、と売り込みの言葉を述べている。

[原文へ]
(翻訳:iwatani(a.k.a. hiwa))


GoogleのCloud PlatformがSSDによるパーシステントディスクとHTTPロードバランシングを提供

あと数日でGoogleのデベロッパカンファレンスGoogle I/Oが始まるが、同社はそれを待つこともなく今日(米国時間6/16)、同社のCloud Platformの二つの新しい機能をローンチした。今日のGoogleの発表によると、その二つは何(いず)れもデベロッパが前から要望していたもので、ひとつはHTTPのロードバランシング、もうひとつはSSDを使ったパーシステントなストレージだ。どちらも今はプレビューなので、テストしてみたいデベロッパはここで申し込む。

毎秒のI/Oの頻度がものすごく高いアプリケーションを抱えるデベロッパは、前からSSDを要望していたが、今度からは月額0.325ドル/GBでそれを使えるようになる。これまでのパーシステントストレージは0.04ドルだったから、相当に高い。ただしI/O操作そのものへの課金はない。AmazonのEC2のインスタンスにはSSDを使うものもあるが、それらにはパーシステントストレージの機能はない。

ディスクベースのパーシステントストレージでは、1GBのリードが約0.3IOPS、ライトが1.5IOPSだったが、SSDベースではリード、ライトともに最大30IOPSとなる。最大持続スループットも、SSDは相当に高い。

 

HTTPのロードバランシング機能は、Googleによると、最大で1秒あたり100万リクエストまでスケールできる(ウォームアップ時間なし)。コンテンツベースのルーティングをサポートし、Googleがとくに強調するのは、複数のリージョンにまたがってロードバランスできることだ。グローバルなサービス提供者がレイテンシを下げたいとき、助かるだろう。また複数のインスタンスにまたがるロードでレイテンシを抱えていたデベロッパも、そのリクエストを最適化できる。いずれの場合もアプリケーション自身は一つのIPアドレスにアクセスするだけなので、ロードバランスをとくに意識しない。だから使いやすい機能だ、とGoogleは言っている。

ただしこのロードバランシングは当面、SSLプロトコルをサポートしない。SSLを利用したいデベロッパは、Googleの既存の、プロトコルベースのロードバランシングシステムを使わなければならない。

[原文へ]
(翻訳:iwatani(a.k.a. hiwa))


Googleのリアルタイムビッグデータ分析サービスBigQueryが大幅値下げと能力アップ

非常に大きなデータ集合を高速に分析するためのGoogleのクラウドツールBigQueryが今日(米国時間3/25)、最大85%という大幅値下げをした。そしてそれと同時に、Amazon Kinesisなどの競合サービスと互角に戦うための重要な新機能も加えた。もうすぐデベロッパたちは、最大で毎秒10万行までのリアルタイムデータをBigQueryに送り、リアルタイムで分析してもらえるようになる。

これで、リアルタイム分析に依存する多種多様なサービスにとって、BigQueryが使うツールの候補になる。今日行われるCloud PlatformのイベントでGoogleは、電力会社がこのツールを使うと、地域の電力利用状況をリアルタイムで刻々分析しながら、数分後の停電の可能性を検知できる、という例を見せる。あるいは電力会社はBigQueryを使って数マイル範囲内のメーターの今の状態を知り、過去5分間に電気の利用がなかったところを判別できる。

そのほか、マーケティングや金融業などでも、データやログ、さまざまな計測値などをリアルタイムで分析できる。

ビッグデータ分析の世界でGoogleのサービスは、比較的安い。オンデマンドのクェリは1テラバイトあたり5ドル、毎秒5GBの予約クェリは月額料金が“わずか”2万ドルだ。これらの額は、ほかのサービスプロバイダよりも75%安い、とGoogleは主張している。

BigQueryのこれまでのリアルタイムストリーミング機能はあまり強力ではなくて、 その最大消化能力は1テーブルあたり毎秒1000行だった。それで十分なアプリケーションもあるが、それはAmazon Kinesisの足元にも及ばない。

[原文へ]
(翻訳:iwatani(a.k.a. hiwa))


Google App EngineのユーザにIaaS的な自由度を与える新フレームワークManaged Virtual Machines

Googleは今日(米国時間3/25)、同社のCloud Platform上の新サービスとしてManaged Virtual Machines(管理つきの仮想マシン)をローンチする。それは、デベロッパが自分のアプリケーションをクラウドでホストする際に選ぶオプションのメニューに、柔軟性を持たせるためだ。これまでのオプションは、Compute EngineのようなIaaSを使うか、あるいはApp EngineのようなPaaSを使うかという選択肢がメインだったが、Virtual Managed Machinesは、同社によると、両者の良いとこ取りを提供する。

Webアプリケーションやモバイルアプリのためのバックエンドの置き方動かし方として、Google Compute EngineやAmazonのEC2のようなサービス(IaaS)を使ってクラウド上のサーバを完全に自由に管理するか、あるいはParseやGoogle App Engineのようないわゆるホスティングサービス(PaaS)におまかせするか、という選択肢がある。PaaSを選ぶとサーバの管理は楽になるが、勝手にサービスの大幅な構成変更をする(データベースを変えるなど)などの柔軟性はない。

Google Cloud Platformのプロダクト担当Greg DeMichillieが先週語ったところによると、上記二つのどっちにすべきか、という見込み客からの質問が多い。GoogleはCompute EngineとApp Engineで両方を提供しているが、“App EngineのユーザがApp Engineではできないことが必要になって途方に暮れる、ということも多い”、という。

Managed Virtual Machinesなら、二つのうちどっちかを選ぶ、という必要はない。DeMichillieが比喩的に言う“ラインの外側に色を塗りたくなったら”、App Engineを使ってる状態でサービスの一部をManaged Virtual Machine(s)の上で動かせばよい。ユーザは、MVMの上なら何でもインストールでき、アプリケーションのスケーリングなどは引き続いてApp Engineが面倒見る。サービスの展開をCompute Engineで開始したユーザも、サービスの一部をいつでもApp Engineに移行でき、そのためにはYAMLファイルをちょっと書き換えるだけでよい。

[原文へ]
(翻訳:iwatani(a.k.a. hiwa))


Googleのクラウド・コンピューティングとクラウド・ストレージの新料金表

今日(米国時間3/25)サンフランシスコで開催されたGoogleのクラウドプラットフォーム・イベントで、ほとんどすべてのクラウド・サービスの料金の大幅値下げが発表された。また料金体系の簡素化や自動的に適用される長期利用割引などの新しいシステムも導入された。

Google Compute Engineは上の表のように、すべてのサイズ、リージョン、クラスで32%料金が引き下げられた。App Engineの料金も30%引き下げられ、料金体系の簡素化が図られた。

クラウド・ストレージの料金は68%値下げされて1GBあたり月額0.026ドル、DRAストレージの場合は1GBあたり0.02ドルとなった。Googleによれば、この料金は4500TBを専有するユーザーに適用されたいた大口割引よりもさらに安いという。

今日はクラウドSQLやクラウドDBなど、他のクラウド・ストレージの料金についての値下げ発表はなかったが、おそらく近日中にこれらも値下げされるか、あるいは今回値下げされたストレージに統一されるだろう。

長期利用割引を考慮に入れなくても新料金は多くのライバルより安い。予約インスタンスなど一部ではAmazonのEC2の料金をも下回るものとなった。

【中略】

これまでGoogle、Amazon、Microsoftは互いに相手の動向をうかがってクラウドサービスの料金を決めてきた。Googleの大幅値下げ攻勢で、これらライバルも値下げに動くことになるだろう。Amazonは今週サンフランシスコでAWS Summitカンファレンスを開催するが、どういう発表があるか注目だ。

[原文へ]

(翻訳:滑川海彦 Facebook Google+


Google、クラウド・プラットフォームで全面攻勢―大幅値下げ、新サービスをローンチ

今日(米国時間3/25)、Googleはサンフランシスコで開催したCloud Platform Liveイベントクラウドプラットフォームに関して多数の重要な発表を行った。Amazon Web Service(AWS)が依然としてデファクト・スタンダードとなっているこの分野で、Googleが競争力を大きく高めるべく攻勢に出たという印象だ。

しかし「攻勢に出た」というだけでは言い足りないかもしれない。Googleはクラウド系のほぼすべてのサービスで劇的な料金引き下げを発表した。

たとえば、クラウドコンピューティングのCompute Engineの料金はすべてのサイズ、リージョン、クラスにわたって32%値下げされた。クラウド・ストレージは68%引き下げられ、オンデマンドのGoogle BigQueryに至っては85%の値下げとなっている。

Googleはクラウド・サービスの料金はムーアの法則でハードウェアの価格が低下するのに歩調を合わせて来なかったと指摘した。しかし今後Googleはムーアの法則に合わせて料金を引き下げていくという。実はこれまでGoogleのクラウド・サービスの料金は他のベンダーと比較してそれほど安くなかった。しかし今後は料金の引き下げ競争でもトップを走る構えだ。

Googleはまた料金体系を単純化した。Amazonの料金体系は複雑なことで悪名高い。Googleはその反対を目指すという。たとえばAmazonの場合、割引を受けるためには前払いでインスタンスを予約する必要があるが、今回Googleは長期利用割引というシステムを導入した。これはユーザーが1ヶ月の25%以上の期間にわたってクラウド・サービスを利用すると自動的に割引が適用になるというものだ。

さらにGoogleはバグのトレーシング機能やクラウド・コンソールから直接アプリケーションを修正できるオンライン・コード・エディタなどデベロッパーの生産性を向上させる新たなツールを多数発表した。

Managed Virtual MachinesのローンチによってGoogleはクラウド上での開発に一層の柔軟性を与える。GoolgeのApp Engineはスケール性は高いが、機能に制限があり、Compute Engineには事実上、機能の制限がないが、管理運用にスキルが必要だった。これに対してデベロッパーは新たなバーチャルマシンを利用することで双方の「いいとこどり」ができるという。

GoogleはまたAmazonのRoute 53のライバルとなるクラウドDNSを発表した。Googleによれば、Google Cloud DNSはサービスとしての権威DNSサーバを提供するものだという。Googleクラウド・サービスのユーザーはネットワーク・インフラを運営するためにすでに利用しているコンソールからDNSも管理できるようになるということだ。

またCompute EngineではWindows Server 2008 R2の限定プレビューも開始され、Red Hat Enterprise LinuxSUSE Linux Enterprise Serverがラインナップに加わった。

エンタープライズや多量のデータ処理を必要とするスタートアップのためのBigQueryも今日から料金が85%引き下げられる。このプラットフォームは毎秒最高10万行のデータを処理でき、その分析結果はほぼリアルタイムで利用できる。Amazonがすでにリアルタイムでのビッグデータ処理サービスに力を入れており、しかも大量データ処理はGoogleが得意中の得意とする分野であるにもかかわらず、Googleは今までこの種のサービスにあまり力を入れていなかった。

クラウド・サービスに対してGoogleがどこまで本気なのかという一抹の疑念があったとすれば、それは今日のイベントで完全に払拭されたといってよいだろう。Googleは多少出遅れたとはいえ、既存のビジネスモデルに固執しているわけではないことが示された。一度動き出せばGoogleは圧倒的な技術力と巨大なリソースにものを言わせて小規模なベンダーがとうてい太刀打ちできないようなサービスを提供する。今回のGoogleの動きのもっとも大きな影響は、AmazonやRackspaceを始めとする既存のプレイヤーにさらなるイノベーションを迫ることになった点だろう。

Googleが今日のイベントを3月26日にやはりサンフランシスコで開催されるAmazonのAWSサミット・カンファレンスの直前に設定したのはもちろん偶然ではない。 当然Amazonも大きなサプライズを用意していることだろうが、Googleのたくみな動きはAmazonを後手に回らせた印象を与えること成功した。

[原文へ]

(翻訳:滑川海彦 Facebook Google+


Googleの大規模データベースCloud SQLサービス、ついに正式公開―SLA、暗号化、サポートを提供

Googleは2年半ものプレビュー期間を経て、 完全な機能を備えた大規模MySQLデータベース・サービスCloud SQLをとうとう正式公開した

正式公開されたGoogleの企業向けサービスの常としてCloud SQLにも99.95%の稼働率を保証するSLAが提供される。Googleは20%のアクセス失敗が1分以上続いた場合ダウンタイムと認めるという。これはなかなか気前のよい基準だ。

さらにCloud SQLに格納されるユーザーデータは自動的に暗号化される(ただしバックアップの暗号化は依然として「近日公開」となっている)。 Googleのデータセンター間のCloudSQLトラフィックも暗号化され、ユーザーとの間のトラフィックにはSSLが利用できる

デフォールトの最小インスタンスでも500GBのデータが扱える(従来は250GBだった)、Googleによれば、このデータは複数のゾーンに複製され、追加料金なしに自動的にバックアップが取られる。ただしCloudSQLのバーチャルマシンは最小構成の場合0.125GBのRAMしか割り当てられないので、これで500GBのデータが処理できるかどうかはユーザーが判断しなければならない。

Cloud SQLの料金体系は次のようなものだ。まずストレージとネットワーク・アクセスのコストを別にしたオンデマンドのバーチャルマシンは1時間あたり0.025ドルだ。多くのユーザーが利用開始にあたって選択すると予想される最小パッケージは1日あたり0.36ドルでRAMが0.125GB、 ストレージが0.5GB、I/Oが20万回提供される。ハイエンドのインスタンスとなると、たとえば、16GBのRAM、10GBのストレージ、3200万回のI/Oで1日あたり46.84ドルとなる。

Amazonの類似したサービス、RDS for SQL Serverの料金はオンデマンドのマシン1台について1時間あたり0.024ドルだ。

Cloud SQLの他に、NoSQLデータベースをクラウドで利用したいデベロッパーのためにGoogleは巨大データセット用のBigQueryデータベースとGoogle Cloud Datastore(こちらはまだプレビュー版)を提供している。Cloud Datastoreは2013年のGoogle I/Oで発表された。Cloud SQLの例にならうなら、こちらのプレビュー期間はまだしばらく続きそうだ。

[原文へ]

(翻訳:滑川海彦 Facebook Google+


Google Cloud Platform–Cloud Storage上でHadoopを簡単に使えるためのコネクタを提供開始

かねてからGoogle Cloud StorageはHadoopに対応しており、デベロッパはデータをここに置くことによって、分散コンピューティングによる高度なデータ分析ができる。そして今日(米国時間1/14)Googleは、新たなコネクタをリリースして、Google Cloud Platform上でのHadoopの利用が、より容易にできるようにした。

クラスタやファシステムの管理をそのGoogle Cloud Storage connector for Hadoop(HadoopのためのGoogle Cloud Storageコネクタ)がデベロッパに代わって行うので、デベロッパは物理レベルの面倒な管理業務から解放され、データの処理に専念できる。

Googleが2003年に開発したGoogle File Systemは、今ではHadoopの土台だ。HadoopはApache Software Foundation(通称Apache)が管理するオープンソースの分散コンピューティング環境で、データをサーバのクラスタ上に分割分散して分散処理によるデータ分析を行う。今ではHadoopのまわりに、多様なソフトウェアやサービスから成るエコシステムが形成され、ClouderaやHortonworksなど多くの企業がそれを支えている。

Google Connector for Hadoopは、Googleの最新のクラウドストレージシステムColossusを使用する。また、シンプルなコネクタライブラリを使用して、Hadoopに直接Google Cloud Storageへアクセスさせ、データ処理を行わせる。

Googleは、このコネクタの利点をいくつか挙げている。HadoopのクラスタをGoogle Cloud Storageが一か所で管理するので、デベロッパはHadoopの使用をすぐに開始できる。Google本体のスケーラビリティを利用するので、可利用性がつねに高い。データのコピーを持つ必要がないので経費節約になる…つまり、バックアップ用にコピーを作るなどは、Google Cloud Storage自身が勝手にやってくれる。

今やHadoopは、ビッグデータ分析の分野における主流派だ。先月の記事でも書いたように、Hadoopは、Twitterなど、毎日ペタバイトのオーダーでデータを処理するインターネット企業にとって欠かせない技術だ。また一般企業でも、処理する情報量の爆発的な増大とともに、やはりHadoopを利用せざるをえなくなっている。

しかしHadoopを本格的かつ有効に利用するためには複雑な技術課題が多く、高度な経験知識をもった技術者を何人も必要とする。そこで今回のGoogle Cloud Storage Connector for Hadoop(Hadoop用のGoogle Cloud Storageのコネクタ)のようないわば‘仮想技術者’がいろいろ登場することによって、Hadoopを誰もが気軽に使えるものに、していく必要があるのだ。

[原文へ]
(翻訳:iwatani(a.k.a. hiwa))


GoogleのBigQueryにリアルタイムのストリーミング挿入と時限クェリが加わる

Googleが今日(米国時間9/18)、BigQueryの大型アップデートを発表した。それはクラウドからのサービスで、大量のデータをSQLで分析し、とくに、リアルタイムデータの分析に適している。今日からBigQueryのユーザはイベントをデータベースに、行単位でストリーミングできる。そのためのAPIが今日から提供される。

Googleの説明によると、これによって、従来のようにデータをバッチでアップロードするだけでなく、データが発生し可利用になるたびにリアルタイムでそれらを保存できる。BigQueryが行うビッグデータのバルクロード機能はもちろん使えるが、デベロッパがこの新しいリアルタイム機能を試せるために、2014年1月1日までは無料で使える。そのあとは、データベースに10000行挿入するたびに1セントを払う。データ保存料は1ギガバイトあたり月額0.08ドル、クェリ(バッチクェリ)は処理後のデータ1ギガバイトにつき0.02ドルだ。

この新しい機能は、Googleによれば、リアルタイムで常時大量のデータが発生するオンラインショップや、何百万ものユーザや接続デバイスにサービスを提供するWebアプリケーションに向いている。

また、最前の24時間内の特定範囲のデータだけを調べる、というクェリが新たにサポートされた。BigQueryのクェリは基本的に全列スキャンだが、ほんとうは一部だけ見たいというユーザにとっては時間と費用の無駄だった。リアルタイムデータでは、とくにそんなニーズが多いだろう。たとえば、数時間(数日)前まで分かればよい、とか。

今日のアップデートではさらに、SUM()、COUNT()、AVG()、STDDEV_POP()といった新しいウィンドウや統計機能、そして過去のクェリを見ることのできるブラウザツールも提供された。

[原文へ]
(翻訳:iwatani(a.k.a. hiwa))


Google Cloud Storage, アップデートでAmazon S3と肩を並べる–Object Lifecycle Managementの導入など

Googleが今日(米国時間7/22)、同社のCloud Storageサービスの新たな機能を3つ発表してAmazonのWeb Services(AWS)に機能的に接近してきた。AWSのS3と同じく、GoogleのCloud StorageもこれからはObject Lifecycle Management(オブジェクトライフサイクル管理)を提供してオブジェクトを削除するタイミングを指定できるようになり、またストレージとCompute Engineの間のレイテンシを減らすためにファイルをどのリージョンに保存するかをデベロッパが指定できるようにした。

以上の機能はまだ実験段階だとGoogleは言っているから、Google Cloud Storageの通常のSLA(サービスレベルアグリーメント)は適用されない。

Googleは曰く、ユーザがDurable Reduced AvailabilityのCloud StorageバケットとCompute Engineのインスタンスを同じリージョンに置くことは、両者が同じ“ネットワークファブリック”を共有することを意味する。これによってレイテンシが減り、きわめてデータ集約的なアプリケーションのための帯域が増大する。Googleが合衆国で提供しているリージョンは複数あり、ユーザは任意に選べる(East 1-3、Central 1、2、West 1)。

しかしながら、Googleによれば、ユーザはこれからもデータを合衆国でホストするかEUでホストするかを任意に指定でき、またデータを複数のリージョンに分けて置くこともできる。ユーザのアプリケーションが、コンテンツの配布が主で、コンピューティングが少ないなら、このやり方のほうが良い、とGoogleは言っている。

Object Lifecycle ManagementによってGoogleは、AWSのユーザにとっては長年おなじみだった機能を提供する。すなわち、デベロッパはファイルの期限切れルールを指定でき、期限切れになったら自動的に削除させられる。これらのルールはGoogleでもAWSの場合と同じく、簡単なXMLドキュメントで管理し、全体的な機能もAmazonのサービスと趣を一にしている。

さて、第三の新機能は、複数の大きなオブジェクトを並列でアップロードするGsutil 3.4により、ファイルのアップロードが速くなったことだ。今回のアップデートでは、複数の大きなファイルを自動的に複数の接続上でアップロードすることにより、TCPのスループットを上げる。この機能は自動的に有効になるので、デベロッパが自分のワークフローをあれこれいじる必要はない。また、並列アップロードでも不十分なぐらいデータが多すぎるときには、ハードディスクをGoogleに送れることを、忘れないようにしよう。

[原文へ]
(翻訳:iwatani(a.k.a. hiwa))


Google、Cloud Playgroundを公開―デベロッパーがクラウドでの開発を体験できるブラウザ・ベースのプラットホーム

GoogleのCloud Platformは複雑なウェブ・アプリを走らせるためのフル機能の環境に成長してきた。しかしちょっと試してみるのには敷居が高いのも事実だ。まずSDKと各種のツールをローカルのマシンにインストールする必要がある。

しかし今日(米国時間6/24)、Googleはブラウザ・ベースのCloud Playgroundをリリースした。これによってデベロッパーは開発環境をそっくりインストールする必要なしに各種のサンプル・コードが実際のAPIでどのように動作するのか手軽にテストしたり、コードを同僚と共有したりできるようになった。

Googleによれば、Cloud PlaygroundはGoogle Cloud Platformで提供されるサービスを体験して遊ぶことができる環境だという。 これにはGoogle App EngineGoogle Cloud StorageGoogle Cloud SQLが”含まれる。

現在のところ、Cloud PlaygroundはPython 2.7のApp Engineアプリだけをサポートしている。ただし実験的サービスなので、突然終了となる可能性もあることに注意。

試してみるには単にCloud Playgroundのページを訪問するだけでよい。先に説明を見たければはじめにを見るとよいだろう。ここにはRun/Modifyという大きなボタンが表示されており、ここで提供されているサンプル・コードをそのまま、あるいは編集してから実行することができる。Cloud Playgroundそのものには膨大なサンプル・アプリがアップされており、オープンソースのApp Engineのテンプレートをクローンして自分のプロジェクトをすぐにスタートさせることができる(GitHub Python2.7)。〔登録にあたっては携帯電話に認証コードを送ってもらう必要がある。メールあるいは音声のいずれかを選べる。音声はたいへん聞き取りやすく、2度繰り返される。〕

このサービスで作成されるのはすべてオープン・ソース・プロジェクトであり、ブラウザ・ベースの基本的なコード・エディタとデベロプメント・サーバーの役割を果たすmimicという Python App Engineアプリが提供される。

[原文へ]

(翻訳:滑川海彦 Facebook Google+


Google App Engineがバージョンアップ, いよいよクラウドサービスに本腰

GoogleのGoogle App Engineが今日(米国時間6/12)から1.8.1となり、たくさんの新しい機能が盛り込まれた。中でもとくに注目すべきは、待望の検索APIとプッシュツーデプロイ機能だ。後者はGitのpushコマンドのようにコードをリポジトリにプッシュする。

これらの新しい機能は、Googleがクラウドサービス市場にいよいよ本格的に参入すると暗黙裡に宣言したような、多忙なGoogle I/Oからの必然的な流れだ。今回の発表までGoogleは、Google Cloud Platformについて沈黙していた。しかし一般公開した今では、毎週のように新機能を発表し、これまでバラバラに存在していた各種Web機能の新たな統一を推進している。

今日はGoogle App Engineに関しても、同様の趣旨のアップデートが行われた:

検索 API: リリースから約1年になる検索APIをGoogleはプレビュー段階へ移し、一般公開に備えている。この検索APIを使ってデベロッパは、プレーンテキスト、HTML、アトム、数値、日付、地理的な位置など、各種の構造化データを、自分のアプリケーションの中でGoogle的に検索できる。本誌が先週報じたように、Googleはその操作とストレージに対する課金を開始する。料金表は、ここにある。料金は、一般公開に向けて変わるかもしれない。

ソースのプッシュツーデプロイ(Push-to-Deploy): App Engine は新たにPythonとPHPのアプリケーションの展開をGitのツールを使ってサポートする。したがってデベロッパはアプリケーションの展開をGitのリポジトリにプッシュするときと同様に、容易に行える。

Google Cloud Storageのクライアントライブラリ: App EngineからGoogle Cloud Storageへのアクセスが、Cloud Storage Client Libraryのプレビューリリースにより改良される。Googleのブログ記事によると、そのクライアントライブラリにはFiles APIの機能性の多くが含まれ、それらがなお一層ブラッシュアップされてデベロッパの良質な利用体験を保証する。将来的には、重複を防ぐためにFiles APIは非推奨となる。Cloud Storage Client Libraryは、今後もアップグレードされる。

タスクキュー: この、要望の多かった機能により、デベロッパはタスクを迅速に任意のTask Queueに入れてしまえる。アプリケーションの本流がブロックしないので、リクエストの処理がより効率的になる。

データストア: Googleによると、Google Cloud Datastoreには二つの重要な変更が行われた。まず、デフォルトの自動IDのポリシーが散在型になった。またNDBライブラリが’DISTINCT’クェリをサポートする。

1.8.1の新機能とバグフィクスの完全なリストは、Googleのリリースノートにある。

[原文へ]
(翻訳:iwatani(a.k.a. hiwa))


Google Cloud PlatformはAWSなどとどこが違うのか

先週のGoogle I/Oで一般公開が発表されたGoogle Cloud Platformをめぐって、誤解があるようだ。しかしそれは、今度できた新しいプラットホームではない。むしろそれは、Googleがこれまで何年も使ってきたものだ。それは、Googleの基盤だ。それは、GoogleをGoogleたらしめているものだ。そしてそれが今初めて、デベロッパや企業に公開されようとしている。

Google Platformは、誰もがそれを利用できるようになったという点が新しい。これまでは、限られた人たちしかアクセスできなかった。

Google Cloud Platformが公式にローンチしたのは、昨年のGoogle I/Oでだ。だからまだ、Google I/OのようなイベントではGoogleの新しいサービスであるかのように騒がれる。しかしその機能集合は、Amazon Web Services(AWS)に比べると見劣りがする。サービスレベルアグリーメント(service level agreement, SLA)の深さでは、Windows Azureにかなわない。PaaSを導入しようとしている顧客には、ほかにも、Openshift、Red Hatといった選択肢があり、自社でオープンクラウドを構築したければOpenStackがある。ほかにも、IBM、HPなど、選択肢は数多い。

では何がGCPの強みか?

しかしGoogle Cloud Platformには、他にない強みが一つある。それは、企業が自分のデータセンターをそこに接続すれば質問の答が数ミリ秒で得られるネットワークだ。Googleが、3D地図や翻訳APIやGoogle Glassなどを提供できるのも、そんなネットワークがすでにあるからだ。

Google I/Oの分散データベースセッションのパネルでMongoLabの協同ファウンダWill Shulmanは、“それは猛烈に速い”、と言った。“顧客企業はインターネットに直接接続するのではなく、データセンターをGoogleのプライベートな分散バックボーンに接続するのだ”。

ネットワークが高速であることは、いくつかの重要な違いをもたらす。Google Compute Engineでは計算処理とストレージがそれぞれ別だが、ネットワークの速度が速いためにユーザは一つのもののように感じる。一台の、巨大なスーパーコンピュータを自分のプログラムから使っているような感覚だが、実はそれは数千台ものサーバに分散しているコンピューティング&ストレージサービスなのだ。

また、ネットワークが速ければ、一定時間内に処理できるデータ量も多くなるから、コストに関しても有利だ。

Googleの料金体系には、このようなネットワーキング効果が織り込み済みだ。そのやり方はクラウドプロバイダProfitBricksに似ており、ProfitBricksはInfniBandを使ってGoogleの10GBネットワークよりさらに大きな帯域を提供している。しかしそれでもGoogleのファイバネットワークとデータセンター最適化構成は、時間単位ではなく分単位の料金体系を可能にしている。

つまりGoogleのプラットホームでは、顧客がコアを倍にして、それまで1時間を要していたデータジョブを、同じ費用で30分で終えることができる。

Googleは、データセンターを生き物のように見ている。それらは孤立した島ではなく、接続されている。そのほかのデバイスやサーバや、ほかのデータセンターに、接続されているのだ。

サービスの実体がサーバではなくネットワークだとの認識から、Googleはネットワークに力を入れざるをえない。今や、世界はデータの群ではなく、データの織物(ファブリック)だ。しかし、ネットワーキングは高くつく。計算(CPU)コストとストレージコストがますます低下していく中で、ネットワーク費用はそれほど劇的に低下しない。昨年6月に行われたOpen Network SummitでGoogleのプロダクトマネージャAmit Argawalが、プレゼンでそう語った。

上のビデオでArgawalは、同じ10GBの接続パイプでも、合衆国国内の二地域間と、市場が急速に発展しているアジアの二か国間ではコストが大きく異なる、と言っている。デバイスは至るところにあり、今や使い捨て状態だ。スマートフォンを紛失しても、新たに買ってバックアップするのに30分もかからない。しかしデータはデバイスではなくクラウドにある。データに対するサービスはネットワーク上に住まう。だから、高速で対話的でなければならないのは、今やネットワークだ。ネットワークが速くないと、ユーザのエンゲージメントも滞る。高可用性が、このスタックのあらゆるレイヤに組み込まれていなければならない。

Googleではデベロッパの役割が大きい理由

ネットワーキングやそのほかの費用を抑えるために、Googleはオペレーションの最適化に絶えず努めている。インターネットのビジネスモデルは、無料または低額を要求する。したがってGoogleは、そのサービス上でデベロッパがアプリケーションを作る場合、それがGoogleの広告プロダクトの拡大に貢献し、Google Appsのようなローコストのサブスクリプションサービス(定額会費制サービス)であることを求める。

そしてそのためにGoogleがデベロッパを集める「場」が、Google Cloud Platformであり、そしてデベロッパたちはGoogleの明日の経営にも貢献するのだ。

Google I/OでGoogleは、デベロッパがGoogleのバックエンドを利用するために提供しているツールについて説明した。Google Mapsにも、Chromeにも、AndroidにもBigQueryにも、それらが組み込まれている。Google Glassも、いずれそうなる。

AWSにはリッチなデベロッパのエコシステムがあり、提供しているサービスもきわめて多様かつ深い。しかしAmazonにはGoogleのような自己同一性がなく、Google的なサービスのプロバイダでもない。AmazonになくGoogleにあるものは、デベロッパに提供できる豊富なデータ(とそれらを取り出すAPI)だ。それが、多くのデベロッパを抱える企業に対してもGCPの強力なセールスポイントになる。

たとえば分散データベース企業Cloudantなどにとっては、Google Cloud PlatformはAWSと並ぶ重要なコミュニティだ。“Google上のデベロッパは数が多いだけでなくどんどん増えている”、分散データベースパネルに同席した同社の協同ファウンダでチーフサイエンティストのMike Millerはそう語った。

Google App Engineは、デベロッパにとってのGoogleの魅力を象徴している。GoogleはGoogle I/Oで、Google App EngineでPHPをサポートする、と発表した。PHPを使ってWebサイトを構築している大量のデベロッパたちが、これからはGoogleを利用できることになる。3月にGoogleがTaleriaを買収したのも、動的(ダイナミック)プログラミング言語のサポートを拡大し、システムのスケールアウト(==分散化)のニーズに効率的に対応していくためだ。本誌のFrederic Lardinoisは、この買収についてこう書いている:

同社のサーバを使うと、アプリケーションのコードはそのままで、“より少ない台数でより多くのユーザを扱える”、という。また、“自分の好きな生産性の高い言語を使えるが、スケーラビリティとパフォーマンスはコンパイル言語並になる”、という。

そしてさらにGoogleは、Google App Engineの使いやすさの増大に努めている。たとえばバックエンドをサービスツールとして提供し(上述)、また管理機能の充実により、デベロッパがバックエンドのことを忘れてアプリケーションのコードに集中できるようにしている。

デベロッパでない人でもアプリを構築できるという“ヴィジュアルPaaS”サービスOrangeScapeなどにとっては、とくにこの点が重要だ。デベロッパから見ての、Google App Engineの利用インタフェイスの単純化、それにより同社はITチームの肥大を防げている、とCEOのSuresh Sambandamは言う。

Googleのネットワークは、一社が持つものとしてはおそらく世界最大だ。しかし同社の今後の最大の課題は、そのデータセンターの費用低減である。いわばGoogleは、同社のインフラストラクチャを公開してその分散ネットワークをより効率的に拡大し、しかもそれと同時に、多くのデベロッパを惹きつけてそのビジネスモデルをスケールしていかなければならないのだ。

[原文へ]
(翻訳:iwatani(a.k.a. hiwa))


Googleが新料金、新ツールとともにCloud Platformを一般公開―いよいよAmzon AWSと激突へ

今日(米国時間5/15)、 Googleは開催中のGoogle I/Oカンファレンスで Google Cloud Platformを一般公開したと発表した。これでいよいよ従量制クラウド・コンピューティング市場でAmazon Web Services (AWS)と本格的に競争できる巨大プレイヤーが登場したことになる。

現在Cloud Platformはあらゆるデベロッパー、企業に対して公開ずみだ。さらにGoogleは料金、利用できるインスタンスの種類などに改定を行った。

  • 分単位課金 インスタンスに対する課金は10分を最低時間として1分単位で計算される。これによりデベロッパーは実際の利用時間分だけに支払いを行えばよく、無駄がなくなった。
  • 共有コアインスタンス 低速、小規模な処理のために小型のインスタンスが提供される。
  • 高度なルーティング デベロッパーがオンプレミスのネットワークとGoogleのクラウドを直結するゲートウェイとVPNサーバーを構築するのを助ける高度なルーティングが提供される。
  • 大型パーシステント・ディスク 1基10TBの大型ディスクを提供する。Googleは「業界標準の10倍の容量」と表現している。

Googleはまた非リレーショナルなデータのための新しいDBMS、PHPのランタイムも新たに提供する。

昨年Googleはデベロッパーが自分のアプリをGoogleのインフラ上のLINUXバーチャル・マシンで走らせることができるというクラウド・コンピューティングのベータテストを実施した。これに参加するには招待を受けるか、Googleの営業チーム経由で申し込んで承認される必要があった。

続いて今年4月から、Compute Engineの月額400ドルのゴールド・サポート・プランに加入しているユーザーは招待や承認を受けなくてもベータテストに参加できるようになった。

Googleはまたインスタンスの利用料金を4%下げた(ストレージ料金は昨年11月に20%下げている)。

今年、GoogleはCloud Platformの普及に本腰を入れる構えだ。Google I/OではCloud Platform関連が25セッションも用意されている。これよりセッションの数が多いのはChromeとAndroidだけだ。

[原文へ]

(翻訳:滑川海彦 Facebook Google+