タグ: consumer reports

先月、消費者向けプロダクトのテストのパイオニア、Consumer Reportsが新MacBook Proのバッテリー駆動時間について3.75時間から19.5時間という.いささか奇妙な結果を発表した。Appleユーザーと関係者の間ではこの結果についてMacbook Proのバグあるいはベンチマークのバグを疑う声が上がっていた。最新の調査結果によると原因は双方にあった。

AppleとConsumer Reportsは正月休みを返上し、共同でバッテリー・テストの結果のばらつきがなぜこれほど大きくなったのか調査にあたった。調査のたびに結果が大幅に異なり、正確なバッテリー駆動時間を見積もることがきわめて難しかった。そこでベンチマーク・テストがを何度も繰り返された。

新Macbook Proのバッテリー駆動時間は旧モデルに比べて1倍から5倍にもなった。またMBPの初期購入者の一部もバッテリー駆動時間に関する不具合を訴えていた。そこでAppleはmacOSのアップデートの説明から「バッテリー駆動時間は変化なし」という説明を削除した。

しかし依然としてConsumer Reportsのベンチマークのばらつきの原因は不明だった。やがってConsumer Reportsのベンチマーク測定でSafariのローカル・キャッシュを無効に設定していることが大きなばらつきに関連していると判明した。Consumer Reportsのベンチマークでは、ローカル・キャッシュをオフにしているため、インターネットのサイトにアクセスするたびに新規にデータを読み込んでいた。Safariのキャッシュがオンの場合、アクセス先ページをローカルのHDDに保管するため、同じサイトにアクセスするつどデータをダウンロードする必要がない。

Appleは声明で「Consumer ReportsはSafariのブラウザー・キャッシュを無効に設定していた。これは隠された機能で、一般のユーザーがインターネットを利用する際に用いられる設定ではなく、一般的な利用状況を反映するものではない」と述べた。

この設定の意図について今日（米国時間1/10）、Consumer Reportsはブログ記事で説明した。これによると、Consumer ReportsはSafariに限らず、ブラウザーのベンチマークではキャッシュを無効にしてきたという。Consumer Reportsでは同じウェブサイトを繰り返し読み込むのではなく、数千の異なるウェブサイトをブラウズする状況が再現できるからだとしている。

一方でAppleはSafariがアイコンを読み込むコードにバグがあったことを発見した。このバグは直ちに修正されたので、ベンチマークの成績は改善されるはずという。

ではConsumer Reportsのベンチマークの方法はどうなのだろう？　バッテリー駆動時間を測定するのにウェブサイト閲覧を利用するのは良いアイディアに思える。現実の消費者の多くはノートパソコンを主としてインターネット・アクセスに利用している。ユーザーはサイトを開き、音楽を聞き、文書を作成し、動画をストリーミングしている。しかしテスト結果に大きな影響を与えるような設定を用いることには疑問が残る。Consumer ReportsはMacbookに限らず、ノートパソコンのベンチマークにあたってローカル・キャッシュを有効にすることを検討すべきかもしれない。

AppleはTechCrunchに次のようなコメントを送ってきた。【原文参照】

〔日本版〕Consumer Reportsではノートパソコンのバッテリー駆動時間のテストにあたってウェブ10ページをローカル・サーバーに保管し、ノートパソコンがシャットダウンするまでWiFi経由で繰り返し読み込ませていた。ローカル・キャッシュを有効に設定するとノートパソコンはキャッシュに保管されたページを読み出すことになり、異なるサイトをブラウズする状況を再現できない。CRの記事に詳しい説明がある。

[原文へ]

（翻訳：滑川海彦@Facebook Google+）