HadoopのクラスタのパフォーマンスをチューニングするサービスPepperdataが、新たな投資家Wing Venture PartnersとCiti VenturesおよびSilicon Valley Data Capitalが率いるシリーズBのラウンドにより、1500万ドルの資金を調達した。これまでの投資家Signia VenturesとYahooの会長Maynard Webbも、このラウンドに参加した。これで同社の資金調達総額は2000万ドルになる。
Hadoopはビッグデータを処理/操作するための、定番的な、オープンソースのソフトウェア集合だ。Pepperdataは協同ファウンダのSean SuchterがかつてYahooの検索技術のチームリーダーで、そのときにHadoopを利用する初の商用システムを組み上げた（と同社の紹介ではなっている）。
そういった経験に基づいてPepperdataは、Hadoopのクラスタのパフォーマンスを最適化する。もう一人の協同ファウンダChad Carsonに言わせると、要するにHadoopは無脳なスケジューラだ。ジョブを順次動かすことはできるが、ユーザ企業のニーズやステータスに応じて適切なプライオリティを決める能力はない。
Pepperdataは、そのスケジューラを細かく調整し、Hadoopのジョブのプライオリティを決めて、リソースの割り当てを最適化し、ユーザ企業のサービスレベルの低下を防ぎ、その向上を導く。
社内の特定の部署が高いプライオリティを必要としているときでも、そのままでは低いプライオリティのジョブが実行されてしまうときがある。
“うちのシステムは低いプライオリティのジョブがCPUやネットワークやディスクの利用を占領しているのを見つけて介入し、高いプライオリティのジョブにそれらのリソースを回す”、とSuchterは説明する。
彼によると、それは力づくの処理ではなく、繊細な介入だ。低いプライオリティのジョブからリソースを完全に奪うのではなく、必要なぶんだけをプライオリティの高い方へ回す。
Carsonによると、同社のシステムはプライオリティの調整以外に、クラスタ全体の有効利用も図る。たとえば、メモリは2.5GBあれば十分なジョブが、4GBも割り当てられていたりする。Pepperdataはユーザのシステム全体のリソース利用状況を調べ、無意味に確保されているリソースを見つけたらそれらを可利用プールへ戻す。そうすることによって、システムの稼働効率を上げるのだ。
Pepperdataのインストールには15〜30分かかるが、ユーザはインストールした直後から30から50%のスループットの向上を体験する。それはPepperdataがリソースの割り当てを最適化した結果だ。
Pepperdataが新たな顧客のシステムにインストールされたら、同社はほぼ一週間、状況をモニタする。そして、モニタした結果に基づき、また顧客企業のジョブプライオリティに基づいて、システムのリソース利用のさらに細かい微修正〜最適化を図る。
これまでPepperdataの主な顧客はPepperdataの効用をすぐに理解できるHadoopの初期からのユーザだったが、最近では銀行やヘルスケアや通信など、特定の分野への売り込みに力を入れている。
2012年にSunnyvaleで創業したPepperdataは、最近ニューヨークにもオフィスを開いた。社員は約30名だが、技術と営業の両部門とも増員し、年内には50名程度となる予定だ。
同社は売上をクラスタのノード数で表しているが、これまで同社のライセンスを売ったノードは約1万に上（のぼ）る。