評価法のほうは、まあその通りかな。いままでベンチマークを公開するというと、企業の威信を賭けて、世界のトップスコアをたたき出す(SPECとかね)感じがあったんだ。
再現手順公開の必要性は、企業だけでなくて、コミュニティのMLなんかみてても感じたことがあるよ。あと詳細に手順書が公開されたことは今まであったかな。TPCとかは、レギュレーションルールはむちゃむちゃ詳細だけど、実装は定義してないしね。SPECjAppServer2004は実装は有償でレギュレーションルールも詳細だけど、line by lineの手順はやってみないと分からない世界だった。
なんといいますか (スコア:0)
一例として公開した。というだけのことでござんしょ。
タレコミ文にかなりの違和感があるのだけど、
中の人がタイトルのことだけ気にしてたのなら痛いなあ。
ベンチによる評価となれば、その方法、環境、手順などを公開するのは
むしろ常識であって欲しい。
ビジネスとしてOSSを扱う時の評価手順の見本を示したことが肝なわけで
結果はどうと言うものでもない。
チューニングこそ大事だ、なんてガキじゃないんだから。
Re:なんといいますか (スコア:1)
評価法のほうは、まあその通りかな。いままでベンチマークを公開するというと、企業の威信を賭けて、世界のトップスコアをたたき出す(SPECとかね)感じがあったんだ。
再現手順公開の必要性は、企業だけでなくて、コミュニティのMLなんかみてても感じたことがあるよ。あと詳細に手順書が公開されたことは今まであったかな。TPCとかは、レギュレーションルールはむちゃむちゃ詳細だけど、実装は定義してないしね。SPECjAppServer2004は実装は有償でレギュレーションルールも詳細だけど、line by lineの手順はやってみないと分からない世界だった。
結果はどうという物でもないのは、その通りだと思う。
で、この一件で一般な僕らが便利に使えそうなのは、ベンチマークよりツールじゃないかと思ったんだが。DAVとか、自分のマシンでもやってみたいじゃないか。
でも、僕のDebianの環境だとコンパイルに失敗しちゃうのは秘密だ:) 弄りすぎてヘッダがおかしいのかなぁ。
Re:なんといいますか (スコア:0)
sid + 2.6.9の環境では同じく通りませんね。いじった記憶はないのに…
Re:なんといいますか (スコア:0)
起きた出来事を記述することと自分の主観述べることを
もうちょい切り分けたらどうかと。
リンク先見るまでことの輪郭が掴めなかったぞ、と。
成果自体