SunSpider Benchmark:予告された、悪意のある、誤解されたベンチマーク

スマートフォンのレビューへのコメントを読むと、SunSpiderベンチマークの使用に悪影響を及ぼすコメントが見つかります。 携帯電話でSunSpiderベンチマークを実行しても問題はありません。 それが使用される方法です。 SunSpiderベンチマークを使用して、電話を陸上で最速として宣言するのは誤りです。

SunSpiderベンチマークの結果はコンテキストに関係なく使用されます

SunSpiderは、DOMや他のブラウザAPIではなく、コアJavaScript言語のみをテストする「ベンチマーク」です。 SunSpiderベンチマークは、Webブラウザベンチマークとして設計されています。同じブラウザの異なるバージョン、および異なるブラウザを相互に比較するように設計されています。 開発者が異なる携帯電話のパフォーマンスを比較するために使用することを意図したものではありませんでした。 SunSpiderベンチマークは、特にJavaScriptの速度テストでもあります。 Webページの読み込み速度を決定するテストではありません。

JavaScriptはWebブラウザで使用され、イメージロールオーバーまたはWebページに埋め込まれた電卓のオンラインロールオーバーを作成します。 すべてのWebサイト、特にモバイルWebサイトがJavaScriptを使用しているわけではありません。 SunSpiderベンチマークをスマートフォンのパフォーマンスを判断する基準として使用することは、スマートフォンの1つの小さな側面を使用して、どれが最速かを判断することです。

それでも、これはスマートフォンのパフォーマンスの良いテストではないということですか?

SunSpiderベンチマークはハードウェアストレステストではありません

Apple iPhone 5とSamsung Galaxy S4 i9505からいくつかのSunSpider 1.0.1テストを実施しました。 これら2台の携帯電話から得たSunSpiderベンチマーク結果は次のとおりです(低いほど良い)。

Apple iPhone 5

  • Safari – 699.7ミリ秒
  • Chrome – 3684.4ミリ秒

Samsung Galaxy S4 i9505

  • ストックWebkitブラウザ– 1041.4ミリ秒
  • Chrome – 1146.1ミリ秒

Safariを搭載したApple iPhone 5

Chromeを搭載したApple iPhone 5

ストックWebkitブラウザ搭載のSamsung Galaxy S4 i9505

Chrome搭載Samsung Galaxy S4 i9505

さて、これらの結果の頭または尾を作ろうとするのはあなたに任せます。 iPhoneのSunSpider 1.0.1ベンチマークには格差がありますが、Webを閲覧するときの違いはほとんどわかりません。 どちらのWebブラウザーも高速のようです。 どちらかといえば、Chromeは実際には速いという印象を受けます。 一方、SunSpiderが実際にハードウェアストレステストでもWebページのロードテストでもないことを受け入れるかどうかを理解するのは十分簡単です。 ここで実際にテストしているのは、JavaScriptのレンダリングにおけるさまざまなブラウザーの効率です。 これが実際にSunSpiderベンチマークがテストしているすべてです。

SunSpiderの最適化は悪いことではありません

一部のレビュアーは、SunSpiderは最適化のターゲットになったため、有用なスマートフォンベンチマークではないと述べ始めました。 SunSpiderベンチマークパフォーマンスを向上させるための最適化において、スマートフォンメーカー、またはより具体的にはWebブラウザー開発者には何も問題はありません。 それがベンチマークがそもそも作成された理由です。

SunSpiderベンチマークパフォーマンスの向上は、JavaScriptパフォーマンスの向上の指標です。 そのためにそれ以上とはなりません。 スマートフォンのパフォーマンスやWebブラウザーのページ読み込み時間のベンチマークになることを意図したものではありませんでした。