NVIDIAのベンチマーク不正に対応した3DMark03アップデート 57
ストーリー by Oliver
数字が全てではない 部門より
数字が全てではない 部門より
Anonymous Coward曰く、"すでにあちこちのニュースサイトで取り上げているが、FutureMark社の3Dベンチマークソフト3DMark03のパッチが登場した。フルバージョンは追って登場とのことだ。で、これにはおまけがあり、要するにNVIDIAはチートしているとのこと。4gamer.netでも取り上げているが、3DMark03で高スコアが出る様に処理で手抜きしたドライバを使っていたみたいだ。いまどきベンチ対策ドライバねぇ?と思ってしまう。ZDNetにはnVIDIAサイドの反論が載っているが、どうも説得力に………ハッ!これはNVIDIAが3DMark03登場時から言っていた「ベンチマークごときではパフォーマンスを語るなど笑止。真の性能はゲームで見るのが一番」という主張を裏付けるデータなのかもしれない<g>"
ExtremeTechにスクリーンショット付きでこの騒動の元となったドライバの手抜きの検証記事が掲載されている。FutureMarkのオマケ(監査レポート)にもとっても詳しく、どのように不正が行なわれていたかスクリーンショットと共に解説されている。ベンチマークの本質を変更せずに、コードをちょびっと変更しただけで、NVIDIAの特定製品(GeForce FX 5900 Ultra)でスコアが25%近くもダウンしたそうだ。他社の製品でのスコアの変動は誤差の範囲内だったにもかかわらずだ。
そんなものかと思います。 (スコア:2, 興味深い)
少しでもRadeonに置いて行かれたくないので
画質を落として速度を稼いだりしてるようです。
いろいろ検証しましたが、まず間違いないでしょう。
そんなことよりも製品の質ではなく
ネガティブキャンペーンや、
3D系のゲームを作るところに技術協力として参加して
GeForce3と4でしかまともに動作しないエフェクトとか
バンバン入れていったりと
そういう方法でシェアを護ろうというのが気に入らないです。
Re:そんなものかと思います。 (スコア:0)
恣意的な私の場合、「これってリファレンスドライバと違うの?」と思ってしまったのですが・・・。
#識者のご意見求む
Re:そんなものかと思います。 (スコア:1)
リファレンスドライバですよ、それ。
リファレンスドライバというか、唯一のドライバというか...。ついにハードウェアデザインもそうなってしまったのですが、nVIDIAの場合(つーか、近年の売れ筋グラフィックカードの場合)ドライバ、ハードウェアともにリファレンス実装なものしかないよーなものです。そうしないとスピード/コスト面で最新のグラフィックスカードを作っていけないのでしょう。
ちなみに、nVIDIAチップ搭載のハードウェアデザインが唯一なのは他にも理由がありまして、FXからはリファレンスデザインで実装しないとチップを売ってくれないそうです [srad.jp]。
Re:そんなものかと思います。 (スコア:1)
Re:そんなものかと思います。 (スコア:1)
ドライバやハードウェアが統一方向に向かうのは、
仕方がない話かもしれません。
今までは、ゲーマーだけを相手にすれば良かった
のが、アプリケーションすべてに関わってくるこ
とになったのですから。
Re:そんなものかと思います。 (スコア:0)
>画質を落として速度を稼いだりしてるようです。
>いろいろ検証しましたが、まず間違いないでしょう。
は?
たぶん、わかってないだけなんだと思うんだけど、
自分で検証したにも関わらず伝聞調で書いてみたり、だいじょうぶか?
Re:そんなものかと思います。 (スコア:0)
>たぶん、わかってないだけなんだと思うんだけど、
>自分で検証したにも関わらず伝聞調で書いてみたり、だいじょ
>うぶか?
私は君自身の読解力が大丈夫か、と問いたいんだが……。
検証したので多分合ってるけどメーカーに裏は取ってないよ、
という意味以外にどう取るんだ?この場合の伝聞調は。
Re:そんなものかと思います。 (スコア:0)
自信がないのなら検証の意味なし。
そもそも、検証結果が↓では動作を理解できてないだけ。
>少しでもRadeonに置いて行かれたくないので
>画質を落として速度を稼いだりしてるようです。
ある意味合目的的なのかも? (スコア:1)
そういう人にとってベンチマークで高いスコアが出せるドライバというのはある意味目的にマッチしているようにも思えます ;-)
Re:ある意味合目的的なのかも? (スコア:0)
逆に言うと (スコア:1)
Re:逆に言うと (スコア:2, 参考になる)
今回のは、ドライバのチューニング以前の問題のような感じですね。指摘されている点のいくつかは、デフォルトのユーザカメラで見えないところでバックグラウンドのクリアを省いたり、クリッピングプレーンを動かしたり、特定のケースにオプティマイズされたハードウェアシェーダーを使ったりしているわけですが、それって普通、 データセットが決まればアプリケーションレベルでやる最適化のように思います。 そういう最適化をして、ジェネリックなエンジンに比べ数十パーセントの速度向上というのはよくある話です。 というより市販のゲームでは既にそれがやってあると考えて良いでしょう。
今回の場合、フリーカメラモードでそういう舞台裏が見えてしまったから問題になったわけです。でも、例えばドライバがものすごく賢くて、ドライバレベルでカメラ位置を参照してカリングするようなアルゴリズムが組まれていたら (したがってフリーカメラモードでも速度は落ちるが舞台裏は見えない)、 それはそれで有効な最適化と言えるんじゃないでしょうか。
Re:逆に言うと (スコア:1)
-- 哀れな日本人専用(sorry Japanese only) --
買い方 (スコア:1)
で、ベンチマークで良い数字が出たと言われると「うわ!コイツも変なチューニングしてんのかよ!買って失敗した…」なんてね。
私はゲームはあまりやらないし、殆どコード書きで使っているので、兎に角、画質が良くて目に負担が掛からないような物を求めますが、それはモニタやケーブルとで併せて考える必要があるし、数値化しにくく、下手すりゃオカルト的で「何を以って良い画質とするか」で論争にもなりますから、共通理解という点では難しいですよね。
以前ATiも (スコア:0)
まぁ、今回の話とはまた別なベンチ対策ドライバだとは思いますが。
# DOOMIIIが動けばなんでもいいよ。
Re:以前ATiも (スコア:1)
ATiの話ってのは、これ [hotwired.co.jp]かな?
Re:以前ATiも (スコア:0)
正しいベンチマーク (スコア:1)
目的とするアプリケーションプログラムでの性能を測るというのが本来の性能テストですから, "XXが動けばなんでもいい"というのは正しい姿勢ですね.
ベンチマークテスト専用プログラムでのテストなんて, 所詮は評論家と自分が何をやりたいのかも分からない素人のためのものでしょう.
Re:正しいベンチマーク (スコア:1, すばらしい洞察)
動けばなんでも良いなら、それは性能とは無関係の単なる動作環境。
性能にこだわりを持つのは「快適」に動かしたいからでしょ。
>ベンチマークテスト専用プログラムでのテストなんて, 所詮は評論家と自分が何をやりたいのかも分からない素人のためのものでしょう.
それに加えてメーカがこだわっているというのが、今回の件の本質だと思うが?
# つーか、色々な用途に使う奴が総合評価に使うという考え方はないんだろうか?
# 家のマシンは機能毎に複数台で役割分担なんぞさせてないけどなぁ。
# 貧乏人のひがみかねぇ。
Re:正しいベンチマーク (スコア:0)
快適に動かない(フレームレートや描画もひっくるめて)のなら「動く」とはいわない。
それは「起動する」というんだ。
Re:正しいベンチマーク (スコア:0)
ていうのは
これがあるからでは? ベンチマークで笛を吹き太鼓を叩く人(評論家)、踊らされる人(
Re:正しいベンチマーク (スコア:0)
・同じ価格ならちょっとでも性能のいいものを
と考えるのは普通ですからね。
実際のアプリでどうなるかの前に、カタログ値だけでも良くして
おきたいのが人情でしょう。
# 「ベンチマークというアプリ」の結果だけで購入の候補から
# 外されたらかなわないからね。
Re:正しいベンチマーク (スコア:0)
そりゃそうだ。だって、売らなきゃ金にならんからね。
「踊らざるをえない」ってのは顧客のニーズに応えるって事であって、物売る上では当たり前だろ。
# まあそりゃ、市
Re:正しいベンチマーク (スコア:1, 参考になる)
その辺が話をややこしくする原因なのかと。
#3DMark03がDirectX9世代のアプリケーションかどうかというのも、
#NVIDIA VS FutureMarkの争点のひとつではあるけど、一般認識として。
GeForceFXシリーズのミドル~バリュークラスには、
ATIの製品のほかにも身内にGeForce4Ti4200という厄介なライバルを抱えており、
(DirectX8世代のゲームパフォーマンスが伸びない)マイナス面を払拭するために、
次世代のプログラマブルシェーダー搭載というアピールは欠かせないわけで、
なんだかんだで3DMark03は無視するに出来ないということもあるんでしょう。
頼みの綱のDOOM3やS.T.A.L.K.E.R.も今年出るかどうか危ぶまれていますし。
#そんなもんゲームが出てから考えろよ、というのは正論だけど
#それはいわない方向で(汗
#GeForceFX5600/Ultraあたりの存在意義が完全に消滅してしまうし。
Re:正しいベンチマーク (スコア:0)
・AutoCADに最適化したドライバ
とか、
・3Dsに最適化したドライバ
のような最適化ドライバが、好評価につながるのは、買う目的がしっかりしているからですね。
このさい、いっそのこと
・3DMark2003最適化ドライバ
と明示すればよいのでは?(<うれしくない)
Re:正しいベンチマーク (スコア:0)
>と明示すればよいのでは?(<うれしくない)
品質を落として速度を稼ぐのは「最適化」ではなくズルです。
Re:正しいベンチマーク (スコア:0)
単純にそれを言い出すと、今有るカードでズルをしていない物って無いよね。
擬似的に3D表示しているところ多数なのだから。
特にゲーム等は速度の方が品質よりもお止められるはずでし、実際に適切な反応速度を得るために画像の質を落とすのは普通の事ですし。
Re:正しいベンチマーク (スコア:0)
OPEN GLに最適化したカードじゃなかったかと思うが
こーゆーのも既に実現してるって例で
Re:正しいベンチマーク (スコア:0)
覚えて無いっす)ですな。
NVIDIAのGeForceに対するOpenGL特化版のはQuadroですわ。
#仕事上、こんなんばっかり詳しくなったのでAC
Re:以前ATiも (スコア:0)
これからはベンチマークを行う方にモラルを求めよう (スコア:0)
#いや、そっちは別のコメントで散々やるし。
ベンチマークを行っている方のモラルとかを問題にする方も健全
さを手に入れる手法だと思います。
今回特定のベンチマークが出ているけど、そのようなものは大概
公開されているし、常番というものが有る。そういうものしか使
わない雑誌やサイトって仕事のモラルが低くないか?
なんで、独自のベンチマークとか作らないのだろうか? みんな同
じベンチマークを使うからこういう問題が起きるのでしょう。
確かに独自で全部やるのはコストとかに問題が起きるかもしれな
いがそれなら併用にするとかすれば良いのだ。
#例えば一個の機能だけを抜き出すベンチマークでも追加すれば記
事の厚みがますと思う。
そういう質の高い情報を最近のPC雑誌は売らなさ過ぎると思う。
それとも質が悪くても安くしないと買わない読者が悪いのか?
ps.
話の筋はずれるが、ポストペットのベンチとかを見るとちゃんと売
る気のある人間は考えていると思えるのだ。
Re:これからはベンチマークを行う方にモラルを求めよ (スコア:3, 参考になる)
# それでも複数人の計測が100分の1秒まで一致したりして、微妙に職人芸の雰囲気を醸し出したり(笑)
専用のベンチマークプログラムを開発すりゃいいやん、というツッコミがあると思いますが、特定の機器の個々の要素で優劣を出しても、他にボトルネックがあったら現実の操作感は変わらないわけで、それでメーカーから不必要なあら探しをしていると言われたらたまったものではないわけです。というのも、PC雑誌は売上ではなく広告収入で生計を立てているから。
WinMarkや3DMarkのような、個々の機能にフォーカスしつつも割と複合要素的な結果を出すベンチマークプログラムがありがたがられるようになったのは、1)ユーザにも検証可能、2)メーカーから突っ込まれた時に責任回避できる、この両方の理由があるためです(と、個人的には思っています)。
# 我々はそれに依存したくなくて、補助的な手段に留めていましたが、果たして読者にとっては標準的ベンチプログラムとストップウォッチ計測のどちらが「補助的」だったかは不明
両方の要求に応える手として3DMarkやポスペベンチやFF11ベンチを全部やる方法もありますが、時間的体力的に厳しいです。何せ新製品をテストしようとしたらブツが来るのもぎりぎりだし、作業中に最新ドライバがリリースされたり、あるいは最新ドライバでやってみると結果が妙に悪くて旧ドライバで測り直しつつテスト条件の辻褄合わせに頭捻ったり(実話)、修羅しゅしゅしゅ。
Re:これからはベンチマークを行う方にモラルを求めよ (スコア:1)
2)力が無い。
3)人材が無い。
まず1)だけど,海外の PC Magazine 誌とかだと
検証用のラボみたいなの持ってたりするって話じゃないですか。
日本のでそんな話,聞いた事ありません。教えて偉い人(笑)
続いて2)ですが,日本の PC 系メディアって広告主に阿って
余程酷くない限りバグや問題点の指摘とか出来難い体質な気が,ね。
その昔(笑),中村さん家の正ちゃんが「Win3.1 出来が悪いぞゴルァ」と言ったら
「電脳曼荼羅事件」 [asahi-net.or.jp]になったなんて事もあるし。
ンな状況で,自前のベンチ用意して悪データ出した日には干されます:)
3)は,ここ10年くらいか PC 系雑誌の細分化が随分と進んだじゃないですか。
結果として人材も分散してそういった能力を持った人が居なくなってるのでは。
昔は DOS/V Magazine と Super ASCII,あと「ざべ」読んでりゃ
ある程度は事足りた気がする・・・
Re:これからはベンチマークを行う方にモラルを求めよ (スコア:0)
まあそんなことを言い出すと、何が信用できるのかという話になりますが。
TPC-Cなんかでも実はデータセットが決まってないんで、各社も
Re:これからはベンチマークを行う方にモラルを求めよ (スコア:0)
あれが終わっちゃったのも特に2)あたりに原因があるのかねぇ…
Re:これからはベンチマークを行う方にモラルを求めよ (スコア:1)
>公開されているし、常番というものが有る。そういうものしか使
>わない雑誌やサイトって仕事のモラルが低くないか?
使わない、というよりも、使うしかない、というのが正直なところのような。
Benchmarkソフトの知名度も、ユーザーが重視する以上、しかたのないことでは。
あ、知名度を押し上げてるのも雑誌やサイトか。
うーむ、難しいですなぁ。
でも、公開されていて且つ知名度のあるBenchmarkソフトを使うことで、
消費者も容易に測定し検証できる、というのは重要だと思います。
もちろん、評価にあたってはいろいろなベンチマークをして、
各スコアをつき合わせて総合的な評価をすべきだとは思います。
3Dの性能のみ評価する、ということなら3DMark2001SE/3DMark03/
SPECviewperf/各GameDemo等。
そういえば、ZiffDavisの3D WinBenchは2000からUpdateされてないけど、
Veritestに買収されてからはもうやる気ナシなのかなぁ。
--- 人生あるがまま
Re:これからはベンチマークを行う方にモラルを求めよ (スコア:1)
掲載された結果を比較しにくいということはありますね。
あるベンチマークだとポイントなので数値が大きい方が高性能、
また別のベンチマークでは処理時間を計るので数値が小さい方が
高性能、しかも処理内容が違うので、ポイントでも直接に比較が
できない、という状態だと、結局1カ所の結果の中でしか我々は
評価できません。
一つの雑誌しか取り上げないようなマイナーな製品だと、他の
製品との比較が難しくなりますね。
そういう意味では、デファクトスタンダードなベンチマークにも
存在価値はあると思います。
Re:これからはベンチマークを行う方にモラルを求めよ (スコア:0)
グラフィックカードを買っちゃう奴もなー
あのう… (スコア:0)
Re:あのう… (スコア:1)
(笑)とか、某ちゃんねる方面で見かける(w)みたいなものかと。
Re:あのう… (スコア:0)
ATIの不正よりもっと昔… (スコア:0)
作られてたとかいう話が何年か前にあったと思いますけど、
あれは本当だったんですか?
Re:ATIの不正よりもっと昔… (スコア:0)
そういうもんです。
Re:ATIの不正よりもっと昔… (スコア:0)
>作られてたとかいう話
不当っつーか、丸を描くのがチョー早かったんじゃなかったっけ。
HDBench以外の何に役立つのかフメーですが(;´ー`)y──┛~~
Re:ATIの不正よりもっと昔… (スコア:0)
ベンチマーク専用チューニングのハシリだったと思います。
ある世代から突然ベンチの値が跳ね上がってびびった記憶アリw
ATiは? (スコア:0)
32bitじゃなければダメなのならATiもインチキということに・・・
Re:ATiは? (スコア:1)
Re:ATiは? (スコア:0)
元々 3DMark で方向性の不一致から nVIDIA のパフォーマンスが発揮されず業を煮やして対策をやっちゃったって感じなのでしょうか。
前まで ATi がへこんでつまらないと思っ
ゲームなんて…… (スコア:0)
Re:ゲームなんて…… (スコア:1)
// 不謹慎だな…スミマセヌ。
This cookie has a scrap of paper inside. It reads:
If you can't learn to do it well, learn to enjoy.