自社のクラウドストレージAPIをAmazon S3互換にしてAWSに挑戦するBackblaze

Backblazeは米国時間5月4日、同社のB2 Cloud Storageサービスを、AmazonのS3ストレージサービスとAPI互換にしたことを発表した

Backblazeは、手頃な価格のクラウドバックアップサービスとして業務を立ち上げた。ここ数年はストレージの専門知識を活用して、デベロッパー向けにB2 Coloud Storageというサービスを立ち上げてきた。大手のクラウドベンダーの同様の機能よりも、大幅に価格が安いのがウリだ。B2の料金は、1GBあたりで毎月0.005ドル(約0.5円)から。ちなみにAWSのS3は1GBあたり毎月0.021ドル(約2.2円)からとなっている。

ただしデベロッパーは、ストレージの料金が安いというだけでは、プロ​​バイダーを切り替えることができない。複数の異なるシステムをサポートするには、それなりのコストがかかる。

B2をS3に対してAPI互換とすれば、デベロッパーは単にストレージをBackblazeにリダイレクトするだけでいい。大規模なプログラムの書き換えは必要ない。

「ここ数年、多くの企業が、私たちの驚くほど使いやすいクラウドストレージを愛用してきました。それによって信じられないような成果を達成することができたのです」と、Backblazeの共同創立者でCEOのGleb Budman(グレブ・バドマン)氏は述べた。「今回、既存のツールとワークフローをそのまま使えるようにすることで、より多くの企業が私たちのストレージを利用できるようになることに、いっそうワクワクしています」。

現在のB2の顧客には、American Public Television、Patagonia、Verizon’s Complex Networksといった企業が名を連ねる(編注:VerizonはTechCrunchの親会社であるVerizon Media Groupの盟主)。Backblazeによると、B2サービスには合計で約10万の顧客がいる。今回の立ち上げに最初から参加しているパートナーとしてはCinafilm、ファイル転送およびストリーミングサービスを提供するIBMのAspera、ストレージ専門企業のQuantum、クラウドデータ管理サービスのVeeamなどが含まれている。

「パブリックなクラウドストレージは、ポストプロダクションのプロセスにとって不可欠な要素になっています。最新の機能強化により、ベンダーとしての私たちと顧客の双方にとってBackblazeのB2 Cloud Storageへのアクセス性が向上しました」と、Quantumの製品マーケティング担当上級役員、Eric Bassier(エリック・バシエ)氏は述べている。「新しいS3互換APIを使用して、Backblaze B2をStorNext互換のパブリックなクラウドストレージのターゲットリストに追加できます。それにより、ハイブリッドでマルチクラウドなワークフローを実現するための新たなステップを踏み出すことができるのです」。

原文へ

(翻訳:Fumihiko Shibata)

AWS S3の膨大な公開データを検索できるQuilt Dataが脱ステルス,無料利用も可

Quilt Dataを創ったKevin Moore(ケヴィン・ムーア)氏とAneesh Karve(アニッシュ・カーヴ)氏はこれまでの4年間、AWS S3のストレージ上にある大量のデータを素早く検索するプラットホームの構築に努めてきた。それはデータサイエンティストたちにS3のバケット内にデータを見つける方法を提供し、さらにそのデータを企業が利用できる形にパッケージすることが目的だ。米国時間9月19日、同社は無料のデータ検索ポータルとしてステルスを脱し、その企業向けサービスを提供するだけでなく、S3の23のリポジトリに存在する3.7PB(ペタバイト)の公開データへの貴重なアクセスを提供する。

それらの公開データに含まれるのは、一般的に利用できるAmazonのレビューのデータや衛星画像、およびそのほかの価値ある一般公開情報だ。使い方はそのほかの検索エンジンと同じくクエリを入力するだけだが、それはウェブや企業のデータリポジトリを検索するのではなく、AWSのS3ストレージに結果を見つける。

検索結果には、探していたデータだけでなく、データサイエンティストたちが機械学習のモデルの構築のために使う標準的なワークスペースであるJupyterノートブックなど、そのデータに関する情報も含まれる。データサイエンティストたちはこれを、自分の機械学習モデルを作るためのベースとして利用できる。

公開データには100億あまりのオブジェクトも含まれ、データサイエンティストにとってはありがたいリソースだが、Quilt Dataがこのデータのアクセスを提供するのは純粋な愛他主義からではない。それはQuilt Dataのプラットホームにできることを広くいろんな人に見せたいからであり、それによって企業に同社プロダクトの商用バージョンを使ってもらいたいからだ。

Screen Shot 2019 09 16 at 2.31.53 PM

Quilt Dataの検索結果と見つかったデータに関するデータ(画像提供:Quilt Data)

Quilt Dataは無料で利用できるが、Amazon Marketplaceで継続購入してもいい。その場合の料金はS3の1つのバケットにつき月額550ドルだ。優先的なサポートやカスタマイズ、教育・研修などのサービスが付随するエンタープライズバージョンもある。こちらは、S3の1つのバケットにつき月額999ドルだ。

同社は2015年に創業され、Y Combinatorの2017年夏季を受講した。これまでY CombinatorやVertex Ventures、Fuel Capital、Streamlined Ventures、そしてそのほかの匿名の投資家から420万ドルのシード資金を調達している。

[原文へ]

(翻訳:iwatani、a.k.a. hiwa

AppleはiCloudのデータをGoogle CloudとAmazon S3に保存している

AppleがiCloudのためにサードパーティーのクラウドサービスを利用していることはよく知られている。そしてCNBCは、Apple自身の文書に興味深い情報があることを発見した。現在Appleは、iCloudデータの保存にAmazon S3およびGoogle Cloudのストレージサービスを使っている。

去る2016年、CRNはAppleがクラウドストレージに関してGoogleと契約を結んだことを報じた。しかし、Appleの文書は初めてこの関係を正式に認めた。

この情報は2018年1月発行のApple iOS 11セキュリティー・ガイドに書かれている。そこにはユーザーのファイルが小さな断片に分割かつ暗号化されて保管されていると説明されている。暗号化キーとメタデータ情報はAppleの自社サーバーに保管される。しかし、暗号化されたファイル自身はサードパーティーのサービスに保管される。

ユーザーは、AmazonやGoogleが自分のiCloudデータを管理しているとは思いもよらないだろうが、暗号化キーがなければAmazonとGoogleはこれらのファイルをどうすることもできない。つまり、AmazonやGoogleにデータを見られる可能性は極めて低い。

「暗号化されたファイルの断片にユーザーを特定できる情報は含まれておらず、S3、Google Cloud Platformなどのサードパーティー製ストレージサービスを利用して保存される」と文書に書かれている。

かつてAppleは、Microsoft Azureとの提携関係に言及したことがある。文書の文言はいまひとつ明確ではない。Appleは名前を出さずに他のサービスも使っているかもしれない。

いずれにせよ、これはいわゆる「非対称競争」の好例だ。AppleとGoogleはスマートフォン市場のシェア争いで非常に激しい戦いを繰り広げているが、AppleはGoogleの顧客でもある。AppleはAmazonやMicrosoftとも別の分野で競合している。したがってAppleがライバルとの関係を完全に断ち切るためには、クラウドホスティングをいっそう強化する必要がありそうだ。

[原文へ]

(翻訳:Nob Takahashi / facebook

AWSがS3とGlacierに保存されたデータの照会を、簡単で高速にした

ラスベガスで開催中のre:Invent会議で、本日(11月29日)AWSは、S3クラウドストレージならびにGlacierコールドストレージサービスに対する、ささやかながら重要なアップデートを発表した

AWSのCEOであるAndy Jassyが基調講演で述べたように、同社の顧客は、AWSが豊富なデータベースとデータレイクサービスを提供しているという事実があるにもかかわらず、S3ストレージサービスに多くのデータを保存する傾向がある。つまり顧客たちは、S3をデータレイクとして利用しているのだ。

しかし、S3バケット上のオブジェクトの一部だけが必要であることも多い。例えば、小売店の1つについてのデータが必要なのだが、それは1つの大きなオブジェクトの一部であるとしよう。今回の新しいサービスによって、開発者たちは標準的なSQL式を用いて、S3とGlacierに保存されたオブジェクトの中のデータを照会することができるようになった。

Jassyは、S3上ではS3 Select(およびコールドストレージ上ではGlacier Select)と呼ばれるこの新しいサービスは、データアスセスの性能を400%高めるものだと語った。なぜなら照会を実行するために、完全なオブジェクトを引き出す必要がないからだ。

この機能は既に、S3ユーザーとGlacierユーザーの両方に公開されている。

[原文へ]
(翻訳:Sako)

AWS S3がデフォルトの暗号化オプションによりアドミンの苦労と負担を取り除く

顧客がデータを暗号化してないことによるAmazon S3のセキュリティ事故は、慢性的に多い。被害企業の中には、某国防総省納入企業や、本誌TechCrunchのオーナー企業Verizon、大手コンサルティング企業Accentureなどの著名企業もいる。というわけで今日AWSは、S3上のデータが(なるべく)確実に暗号化されるための、5種類のツールセットを発表した

まず、これからのS3には、デフォルトで暗号化する、というオプションがある。その名のとおり、このオプションを指定すると、S3に放り込むデータはデフォルトで暗号化される。アドミンが暗号化されてないファイルのバケットを作ると、それが拒絶される、ということもない…ただ黙って暗号化される。絶対安全とは言えないが、アドミンのうっかりミスで暗号化されなかった、という人的ミスはなくなる。

次に、さらに念を押すかのように、S3の管理コンソール上では、守秘設定のない、パブリックにオープンなバケットの横に、よく目立つ警戒標識が表示される。これによりアドミンは、エンドユーザーのうっかりミスに気づくことができる。

そしてアドミンは、Access Control Lists(ACLs)により、S3の各バケットやオブジェクトのアクセス許容者を指定できる。これまでのパーミッションはデータに付随して移動するが、このバケットレベルのパーミッションなら、別のアドミンが管理する別のリージョンにバケットが移っても大丈夫だ。パーミッションは、そのバケットのレプリカにも適用される。

さらにアドミンは、オブジェクトの複製をAWSのKey Management Service(KMS)が管理するキーで暗号化できる。つまり、アドミン自身が暗号化キーを管理しなくても、S3のデータを確実に暗号化することができる。

そして、万一事故が生じたときには、レポートが提供される。そこにはS3内の各オブジェクトの暗号化ステータスなどが載っている。それは、今後の人的エラー対策のための、基本資料ともなる。

絶対確実なセキュリティ対策はありえないにしても、今度発表されたS3のデータ保護対策により、アドミンが確実にそして容易に、暗号化されていない情報の混入を防ぐことができるだろう。

[原文へ]
(翻訳:iwatani(a.k.a. hiwa

AWS、S3の大惨事の原因を公開―ヒューマンエラーが発端だった

Mixed race person watching light column in cloud of blocks

AWSのS3クラウドストレージが4時間にわたってダウンした件は、当然ながら、強い批判を浴びた。AWSは検証レポートを発表し、この事件について原因と経過を詳しく説明した。技術的情報と将来に向けての防止策も含まれている。

直接の原因は、やや平凡な理由だが、ヒューマンエラーだった。あるエンジニア―ここではジョー(仮名)と呼んでおく―が間違ったコマンドを入力してしまったということだ。ジョーはあるサブシステムをシャットダウンするつもりだった。それ自体は日常行われるオペレーションだった。しかし月曜日、バージニア州北部データセンターではルーチンワークが大変な問題を引き起こした。

ジョーは正規の特権ユーザーであるため、システムをシャットダウンするコマンドを入力する資格があった。ただしこの作業はAmazonが「確立された手順書(established playbook)」に従ったもので、ここではS3サブシステムの少数のサーバーを停止することが意図されていた。ところがジョーは誤って多数のサーバーを停止するコマンドを入力してしまった。

素人の表現でいえば、地獄のような騒ぎが持ち上がった。

Amazonはもっと技術的な表現をしているが、問題のエラーはカスケードしてバージニア州北部データセンター全体に影響を与えることになった。ジョーのエラーは決定的に重要なサブシステムを停止してしまい、センターのデータ保存能力の大きな部分を失わせた。システムは再起動を余儀なくされたが、この間S3はリクエストを処理することができなくなった。AWS自身のダッシュボードも機能を失い(これはかなり恥ずかしい事態だ)、S3の稼働状態を確認できなくなった。

そして外部の世界も影響を感じ始めた。一般ユーザーはお気に入りのサイトが開かなかったり、アプリが異常な動作をしたりするのに気づいた。

昼頃、AWSはサービスの復旧に全力を上げていたが、なにぶんシステムの規模が大きすぎた。AWSは何年にもわたってダウンしたことがなく、従って全システムの再起動を行ったこともなかった。S3はいわば自分自身の成功の犠牲になった。再起動をかけるとシステムは安全性のチェックとメタデータの整合性の確認を始めた。ところがこれは予想外に時間を必要とした。

こうしたヒューマンエラーによる事故の再発を防ぐためにAWSでは運営手順に変更を加えるという。レポートによれば「この〔事故の原因となった〕ツールに修正を加え、作動速度を遅くし安全策を追加した。〔停止要求に対し〕配下の最小限のレベルにおけるサブシステムのみを停止させるようにした」という。これでジョーのような慌て者が同様のミスをするのは防げるだろう。

しかしAWSでは、もっと根本的にS3のサブシステムの構成の見直しも行っている。サブシステムをセル(cell)と呼ばれるさらに多数の区画に分割し、一挙に大量のサーバーが停止されないようにするという。これは過去にも試みられたことがあったはずだ。ともかくS3のサブシステムは許容可能な時間で再起動するには大きすぎた。

AWSのレポートは謝罪と改善の約束で締めくくられている。単純なヒューマンエラーで始まったものの、影響が連鎖反応で急速にデータセンター全体に拡大して大事故となった。AWSのシステムがこの種の深刻なエラーを想定せず、したがってそのカスケードを防ぐ機能が組み込まれていなかったのが惨事の根本的な原因だったようだ。

画像: Colin Anderson/Getty Images

[原文へ]

(翻訳:滑川海彦@Facebook Google+

Amazon S3が停止した日―アナリストは冗長性の重要性を指摘

NEW YORK, NY - DECEMBER 14: Jeff Bezos, chief executive officer of Amazon, listens during a meeting of technology executives and President-elect Donald Trump at Trump Tower, December 14, 2016 in New York City. This is the first major meeting between President-elect Trump and technology industry leaders. (Photo by Drew Angerer/Getty Images)

昨日(米国時間2/28)、Amazonのバージニア州北部データセンターに障害が発生し、 AWS S3クラウド・ストレージ・サービスが4時間近くダウンしたというニュースはご存知のことと思う。その結果、有名なウェブサイトやサービスが停止し、大きな混乱が起きた。

念のため断っておけば、今朝、Amazonのダッシュボードはすべて正常に動作中であることを示している。

影響を被ったサイトやサービスにとっては大事件だったものの、Amazon S3は長年にわたって信頼性が高いサービスだったことは指摘しておくべきだろう。またバージニア州北部データセンターがダウンしても他の13のリージョンではS3は正常に作動した。

今回のS3のダウンのようなクラウド・サービスのダウンをモニターしているCloudHarmonyによれば、S3の動作記録はサービスレベル合意書((SLA)が保証する基準を上回っていたということだ。SLAによればS3は99.9%の稼働を約束しており、下回った場合については返金に応じるとしている。CloudHarmonyの調査では、同社が2014年にクラウド・サービスのモニターを開始して以來、AWS S3は年間でほぼ100%の稼働率を達成している。S3の目立った障害は2015年8月のダウンだった。

CloudHarmonyはMicrosoft Azureの仮想マシンとオブジェクト保管も2月19日に5時間にわたってダウンしたが昨日のS3の場合のような注目は集めていないと指摘する。

クラウド・コンピューティングの専門家、ジャーナリストのBen Kepesは「シアトルのAWS本社では夕べは誰も眠れなかっただろう。しかしこの種のダウンはときおりどうしても起きてしまう」と述べた。Kepesによれば、「AWSは他の同種のサービスと比較して隔絶して大きいパブリック・クラウド・サービスだ。そのためダウンすると各方面に非常に大きな影響を与える。昨日のダウンはいかに多くのサードパーティーがAWSのインフラに依存していたかを印象づけた。残念ながら、こうしたサービスはときおりダウンすることがある。ユーザーはこうした場合に対処する方法を準備しておく必要がある」という。

Kepesは「どんな場所であろうとダウンが起きることはITのプロなら誰でも知っている」 と付け加えた。しかしクラウドは通常地味なサービスでありダウンしても関係者以外には注目を引かない。「世間では大騒ぎしているが、事実はどんな公共サービスであろうと落ちるときは落ちる」という。

Forresterのアナリスト、Dave Bartolettiも同意見だ。彼は今回の事件はクラウド・サービスのユーザーに警鐘を鳴らすものだという。「ストレージに冗長性を持たせることが必要だ。ユーザーはクラウドにデータを保管してサイトやサービスを構築する場合、複数のレイヤーを利用する必要がある。ストレージはS3の特定のリージョンのみに依存してはならない」という。

ただしこれらのアナリストも今回のダウンで被害を受けたユーザーを非難しているわけではない。しかし冗長性というのはIT専門家がシステムに組み込むことを必須としてきた要素で、クラウドの場合でもなんら事情は変わらないという指摘だ。

しかしMoor Insight & Strategyのアナリスト、Patrick Moorheadは今回のダウンについてもっと厳しい意見を持っている。今回のダウンタイムはけっきょくのところ数百万ドルの損害をもたらしたはずで、Amazonは顧客の貴重なデータを保管するサービスを提供するからにはもっと高い冗長性をシステムに組み込んでいる必要があったという。

「パブリック・クラウドだからといってこうしたダウンが起きていい理由にはならない。銀行オンラインでダウンがほとんど起きないのは障害耐性が高いアーキテクチャを組み込んだシステムが構築されているからだ」という。

こうした批判の当否はともあれ、インハウスであろうとAWSのようなクラウドであろうとデータセンターの事故はサイトやサービスにとって死活問題だということは明らかになった。どんなアプローチであれ「これで絶対安全」とはならない。だからといってAWSの責任が否定されるわけではないが、少なくとも過去の運用記録からみればS3はきわめて信頼性の高いサービスの一つであったことは間違いない。

t画像: Drew Angerer/Getty Images

[原文へ]

(翻訳:滑川海彦@Facebook Google+

AWSがストレージの料金を値下げ、コールドストレージはデータ取り出しに新たなオプションを提供

Perito Moreno Glacier

Amazon Web Services(AWS)が今日(米国時間11/22)、一部のストレージサービスの大幅値下げを発表した。また、コールドストレージサービスGlacierを利用するデベロッパーのために、新しい機能をいくつかローンチした。

新しい料金のうち、デベロッパーにとっていちばん気になるのはS3だろう。それはAWSのメインのクラウドストレージサービスだが、これまでの6種に代わって0-50TB; 50-500 TB; 500+TBの3種になる。そして多くのリージョンにおいてS3の料金は、約20%下がる。

AWSのコールドストレージサービスGlacierは、あまり使わないデータを安全に保存しておくための場所だが、こちらはさらに大幅な値下げが行われる。すなわちNorthern Virginia, Oregon, Ireland(アイルランド)の三つのリージョンでは、データ1GBあたり月額0.004ドルとなり、従来より43%の値下げだ。

Glacierのユーザーにとってもっと重要なのは、二つの新しいデータ取り出しオプションが加わったことだ。Glacierのセットアップは時間がかかるので、ユーザーはデータをすぐにダウンロードできない。それがコールドストレージの安い理由でもあるのだが、ユーザーはまさに“コールドな”ストレージとしてしか使えない。そこでAmazonは今度の新しい二つのオプションのひとつにより、特別料金でデータを早く取り出せるようにした。新しいオプションのもうひとつは、Glacierのデフォルトである3〜5時間より遅くてよければ、同じ料金でもっと多くのデータを保存できる。

最初の‘迅速(expedited)’オプションは、保存が1GBあたり0.03ドル、データ取り出し一回あたり0.01ドル払うと、1〜5分でダウンロードできるようになる。AWSによると、このオプションを有効に使えるのはGlacierに100TB以上のデータがあるユーザー、そのほかのユーザーにとっては従来からあるS3 Infrequent Access storageの方が良い、ということだ。Glacierのデフォルトの標準リクエスト料金は1GBあたり0.01ドル、1000リクエストあたり0.050ドルだ。

AWSは何でも分かりにくいが、この迅速取り出しには実はタイプが二つある。オンデマンドと、配備済み(provisioned)取り出しだ。オンデマンドは、上に述べたルールの方式だ。そして配備済み取り出しは、1ユニット100ドルで、毎5分間に3回までの迅速取り出しを、最大150MB/秒のスループットで行える。事前配備をしてない場合は、迅速取り出しはそのキャパシティがあるときのみ、リクエストに応じる。

Glacierからのデータ取り出しの時間が気にならないユーザーには、新たに‘バルクオプション’というものがある。それは時間が5〜12時間かかるが、費用は1GBあたり0.0025ドル、1000リクエストあたり0.025ドルだ。

これらの新し取り出しオプションを、GoogleのColdlineストレージサービスと比べるとどうだろう? こちらは、1GBあたり月額0.007ドルで保存、取り出しは1GBあたり0.05ドルだ。一部のリージョンではAWSの新しい料金体系より高いが、Googleの場合はデータへのアクセスが多くの場合リアルタイムだ。

[原文へ]
(翻訳:iwatani(a.k.a. hiwa))

バックアップサービスのBackblazeがAmazon S3の1/4の料金でクラウドストレージサービスを立ち上げ

backblaze-b2-08-storage-pod

Backblazeは消費者向けと企業向けのバックアップサービスでよく知られており、そのサービスのために同社が買うハードディスクの台数も話題になった。しかし今日同社は、これまでとはやや毛色の違うサービスBackblaze B2の非公開ベータを立ち上げた。それはAmazon S3や、あるいはMicrosoft AzureとGoogleのCloud Platformなどと価格で競合するクラウドストレージサービスだ。

Backblaze-B2-02-cloud-storage-cost-comparison

2007年にローンチして今では利益も出ている同社は、150ペタバイト相当のバックアップデータと1000万を超えるファイルをそのサーバ上に保存している。同社の協同ファウンダでCEOのGleb Budmanによると、そもそもBackblazeが独自のストレージサービスを始めたのも、当時自己資本のみの同社にとって既存のサービスが高すぎたためだ。

“これまでは毎年、時間と労力の90%がクラウドストレージの構築に投じられ、フロントエンドはわずか10%だった”。と彼は語る。そして、きわめて安定したバックエンドを持つようになった同社は、多くのユーザから、バックアップを預けるだけでなく、S3のようなAPIでそのバックエンドに自分で直接アクセスしたい、という要望が寄せられるようになった。

Budmanによると、Backblazeの技術者たちは一年がかりで、その要望に応えるためのソフトウェアを構築した。最初の頃は、わずかな数の社員たちが日々の成長への対応に追われていたから、こんな余技はまったく不可能だっただろう。でも今では、既存勢力と価格や可用性で十分勝負できるB2Bプロダクトを作れる、という気持になっている。

Backblaze-B2-04-screenshots-UI-CLI-API

Backblazeのサービスの料金は、AWSのとても遅いコールドストレージサービスAmazon Glacierの半額、通常のS3サービスの1/4だ。Budmanも、デベロッパがS3からBackblazeに乗り換えるとしたら、その動機は価格だ、と認める。彼によると、“ストレージが高すぎるために存在できないユースケースがいろいろある”、という。たとえばデータを世界各地に分散させて保存したいが、それをAWSだけでやろうとすると、自分で工夫してやる場合の倍の費用がかかるだろう。Backblazeの低料金なら、データの冗長コピーをAmazonに払う場合の15%の料金(約1/6弱)で保存できる。

当面Backblaze B2のユーザは、画像やビデオ、大量のドキュメントなどのデータを保存するだろうが、Budmanは、いずれ膨大な量の研究データなども保存されるようになる、と展望している。

Backblaze B2には無料プランもある(ストレージ10GBまで、読み出し1GB/日、書き込み帯域は無制限)。デベロッパにはAPIとコマンドラインインタフェイスが提供されるが、一般人のためのWebインタフェイスもある。

今はまだ非公開ベータだが、登録はここでできる。一般公開は今年の終わりごろの予定だ。

[原文へ]
(翻訳:iwatani(a.k.a. hiwa