TRONの日記: PS3/Linuxでスーパーコンピュータをリプレース 182
日記 by
TRON
CNET JapanやWiredの記事によると、University of Massachusetts DartmouthのDr.Gaurav Khannaが8台のPS3とLinuxを組み合わせて、理論重力波の研究で数値計算の処理にスーパーコンピュータ(Blue Gene)の代替のコンピュータとして利用しているそうです。
Dr.KhannaによるとPS3一台でBlue Gene一台の25ノード分と同等の演算力を、この研究では利用できているそうです。一台500ドルのPS3を八台繋げる事で、研究に必要な演算力はほぼ得られ、スーパーコンピュータの毎利用事に支払っていた5000ドルが不要になった事も述べられています。PS3に目を付けた主な理由はオープンなプラットホームであったことと、Cellの非常に高い(浮動小数点)演算能力だそうです。
11月11日からは39980円のPS3が発売されます。100万円で25台買えるので、安く手に入る高い浮動小数点演算を持つシステムが必要な方は導入を考えてはいかがでしょうか?PS3は256MBのRAMしか積んでいないので、デスクトップの代わりは厳しいですが、この様にシステムの特性を生かしたソフトを書けば有用な使い道はいくらでもあると思われます。研究用途以外の色々な使い方の登場に期待したいです。
とは言え (スコア:5, おもしろおかしい)
Re:とは言え (スコア:5, おもしろおかしい)
Re:とは言え (スコア:1, 参考になる)
のような表記すれば問題ないと思われ
CECHA00 : 初期の60GBモデルPS3の型番表記
Re:とは言え (スコア:5, おもしろおかしい)
だからPSPを1台追加ね。
Re:とは言え (スコア:1)
I think I can
注意 (スコア:4, おもしろおかしい)
ゲームとか映画とか買わないと駄目。
回転寿司でマグロしかとらないのと同じことです。
こんな使い方する人はそんなにいないので、大丈夫だと思いますが、念のため。
Re:注意 (スコア:1, 参考になる)
/.に取り上げられるくらいに宣伝にはなっているし、先日のFolding@homeでPS3単独で1PFlops
達成なんてこともあったからCellの宣伝には持ってこいでしょ
Re:注意 (スコア:4, おもしろおかしい)
つまりあれですな。ソニーが嫌いで嫌いでしょうがない人の家には大量のPS3が置かれているわけですな。
#アンチソニーな人はPS3を買え!
LIVE-GON(リベゴン)
まぁ、BlueGeneにせよ PS3にせよ (スコア:3, 興味深い)
ただね、専用のクーリングシステムが不要なだけPS3はお手軽だと思うよ。
PS3一台で、BlueGene 25ノード分って言っているけど、そもそもBlueGeneの1ノードって結構トロいから!!
PS3じゃスケーラビリティは期待できないけどね。
PCにECC Registeredメモリの利用を推奨します。
Re:まぁ、BlueGeneにせよ PS3にせよ (スコア:1)
Re:まぁ、BlueGeneにせよ PS3にせよ (スコア:2, 参考になる)
日立のSRシリーズは伝統的にPowerだけど、
東大大型計算機の現行マシンSR11000-J2は, 速いです.
ただこれはコンパイラのノード内自動並列化によるところが大きくて,
構造化格子の流体や有限要素モデルだと速いですけど,
自動並列化が効きにくい計算だと辛いでしょうね.
そういう計算では, (個人的な経験では)OpenMPでどんなに手作業並列化を
がんばっても努力に見合うスピードはでないです, もちろんこれはPowerに
限りませんが. かといって全PEをMPIで1024並列とかしてもネタにしかならん.
あと, スパコンの性能ってCPUアーキテクチャなんかより
メモリ帯域・ノード間通信の帯域, 1ノードあたりのPEの数,
コンパイラの最適化, なんかのバランスがはるかに重要です.
3GhzのCPU x 8コアに最新のコンパイラと数値計算ライブラリがついた
ワークステーションが100万もしないで買えちゃう世の中ですから,
シングルノードでいくら速くてもスパコンとしては意味ないんですよね.
PCをいくらつなげてもできない計算をやらせてくれるところにスパコンの
スパコンたる存在意義があり, そのために大金はらうんですから.
--以下フレームの素--
正直いって, PS3でリプレースできる程度の計算なら,
最近の格安パソコンならべた方がいいんじゃないかな.
ソフトウェアの汎用性や保守考えると.
もちろん計算工学専攻の人がやる研究としては, PS3つなげて並列計算,
ってのは非常に素晴らしいと思います.
Re:まぁ、BlueGeneにせよ PS3にせよ (スコア:1)
へえ.
つまり CPU は POWER でアーキテクチャは Power か
ややこしいな.
何故、誰も突っ込まない。 (スコア:3, すばらしい洞察)
> 代わりは厳しいですが、
うちのLinuxデスクトップは256MBで使用していますが?
単精度じゃ・・・ (スコア:1)
どうなんでしょうねぇ・・・
妖精哲学の三信
「だらしねぇ」という戒めの心、「歪みねぇ」という賛美の心、「仕方ない」という許容の心
Re:単精度じゃ・・・ (スコア:5, 興味深い)
単精度なりにがんばる方法がいくつか提案されてます。 http://www.netlib.org/utk/people/JackDongarra/papers.htm [netlib.org] でMixed Precisionをキーワードに探してみてください。Cellそのものをターゲットとしたものもあります。
あと最初のGRAPEは単精度どころか8ビット精度 [nao.ac.jp]でした。結局この辺を割り切って使うかもプログラマの腕の見せ所なんじゃないでしょうか。既存のアルゴリズムやライブラリにおんぶに抱っこなユーザーにはどだい無理な話でしょうけど。日本のHPC向けハードウェアはアメリカと肩を並べる技術力を持つのに対し、応用分野が極端に弱い原因はもしかしたらここらへんにあるのかもしれません。
Re:単精度じゃ・・・ (スコア:3, 興味深い)
有用な解までたどり着くのに現在のコンピュータでは圧倒的に性能が足りない分野もあるのです。
PS3でも動くFolding@Homeでやってるようなたんぱく質畳み込みは高々数十残基のものを対象にしていますが、さらに大きい100残基以上の巨大なたんぱく質を分子動力学でシミュレーションしたところで現在のシステムではマイクロ秒が精々です。本当に生体を理解し創薬などの応用に生かすためには最低ミリ秒、できれば秒レベルのシミュレーションが必要であり、ハードウェア・ソフトウェア両面のブレイクスルーが不可欠です。
バイオインフォマティクスでは自分の必要としている計算を実現するために生化学と計算機分野共に深い知識を持たないと仕事になりません。計算機ベンダーから降ってくる数値計算ライブラリやパッケージをただ口をあけて待っているような人間はスタートラインにすら立てません。
Re:単精度じゃ・・・ (スコア:4, 参考になる)
Re:単精度じゃ・・・ (スコア:2, 興味深い)
倍精度で計算してるようです。タレコミ文中からたどれるPS3 GRAVITY GRID [umassd.edu]に、
と書いてあります。
いつも主観で書き込んでいます
Re:単精度じゃ・・・ (スコア:1)
Re:単精度じゃ・・・ (スコア:5, 興味深い)
それに たかだか Blue Gene 25ノード程度の置き換えなら、通信性能が問題にならない事も多いと思うよ
さらに言えば PC server 25台の置き換えだとかベクトル機の置き換えでなく、Blue Gene25ノードの
置き換えというところもミソだと思うね
Blue Gene の計算ノードの仕組みって CELL と結構 似てるから、プログラミングはともかく設計や
アルゴリズム変更は比較的少なくてすむように思う。
Blue Gene の計算ノードもCPUはCELLと同じく PowerPC+演算専用コア、メモリもPS3と同様 比較的小容量の
メモリしかのっていない。
だから Blue Gene の25ノード程度でできる計算であれば プログラム開発の手間を惜しまなければ十分に可能だろう。
もちろん計算ノード間のCPU性能と通信性能の比は Blue Gene の方が上だと思うから
これよりさらに大規模な計算だとPS3を単純に繋いだだけでは難しいかもしれないけどね。
Re:単精度じゃ・・・ (スコア:1, 興味深い)
#身も蓋も根も葉も根拠もないのでAC
Re:単精度じゃ・・・ (スコア:1, おもしろおかしい)
#身も蓋も根も葉も根拠もない仮説に妄想を付加
Re:単精度じゃ・・・ (スコア:1, 興味深い)
# 国プロにありがちな本末転倒
Re:単精度じゃ・・・ (スコア:1, すばらしい洞察)
メモリを大量に使用しない用途で使うというだけの話なんじゃないの?
「メモリが少ないから全くの無意味」
(ほかのコメントにある)「故障の自己診断ができないから使い物にならない」
そりゃそういう使い方をしなければならないのなら無意味かもしれないけど、そうじゃない用途ではコストが2桁も3桁も安くできる。だから何に使えるか考えてみるのも面白いですね、ってストーリで何をそんなに青筋立ててるのか…。
Re:単精度じゃ・・・ (スコア:1, すばらしい洞察)
>実際に適用できる分野はごく限られてるよね
って後から取り繕ってるけど
>結局CPUが少し速いくらいじゃ全くの無意味です。
「全くの無意味」って全否定じゃないの?w
Re:単精度じゃ・・・ (スコア:1, すばらしい洞察)
>大規模計算を行なうためには~(中略)~結局CPUが少し速いくらいじゃ全くの無意味です。
Re:単精度じゃ・・・ (スコア:1, すばらしい洞察)
やっぱりゲームとかかなぁ?
Re:単精度じゃ・・・ (スコア:2, すばらしい洞察)
ダンピング疑惑ですな (スコア:1)
で、ソニーはどこを目指しているのか (スコア:1)
テレビゲームから離れて多様性を持たせようとして迷走中のPS3をみて
ソニーはどこを目指しているのかな。
あくまでPS3のこういう使われ方は
プリンに醤油をかければうにの味、的なネタに過ぎないでしょ
技術的な興味はあるしCellの魅力についてはわかったから
早くゲームを用意してくれ!!
っていう声はソニーには届いていないのか、、、
BlueGene/Lの連続稼働時間は大体10日 (スコア:2, 興味深い)
Re:計算能力より耐久性 (スコア:1)
Re:計算能力より耐久性 (スコア:3, 興味深い)
壊れたノードをどうやって特定するのか、どうやって交換するのかがとても難しいのです。
スパコン用に専用設計されたハードウェアの場合、壊れたことを検出する方法を設計時から考慮します。だから壊れたノードは割りと間単に特定できます・・・・が、スパコン用のハードは多くの場合受注生産なうえに、工事も難しいので簡単には交換できないのです。
PS3のような既製品を用いれば、簡単に交換できるでしょう。ですが壊れたノードを特定するための仕組みを持っていないので、故障時にそれを特定するのがとても困難なのです。いくらユニットが安くても、壊れていることを検出できなければシステム丸ごと破棄したほうが安くなってしまうこともあります。
そうそう都合よくはいかないのです。
Re:計算能力より耐久性 (スコア:2, すばらしい洞察)
Re:計算能力より耐久性 (スコア:4, 興味深い)
昔の話ですが、R2000のFPUのアルミ配線が劣化して、浮動小数点演算だけ間違うという事例はありました。 整数計算部分は正常なので、各種daemon類は問題なく動き、エラーログはまったく残らない。
Re:計算能力より耐久性 (スコア:1, 興味深い)
1日に1回くらい見回って、壊れてるノードがあったら交換。
もしくはもうちょっと台数を増やして、多数決をアルゴリズムに組み込むとか。
それこそ、cronで適当なスクリプト書けば済むような話だと思いますよ。
Re:計算能力より耐久性 (スコア:1)
スペースが貴重な日本だと難しいかも知れないけど、アメリカなんかの
広いセンターだと、故障したノードの交換は考慮しないでそのままネットワークから
切り離して、あとは電源を切るだけというのでもいけるかも知れない?
Re:計算能力より耐久性 (スコア:1, すばらしい洞察)
少数生産のスパコンのノード程度と、
N千万台の家電の信頼性が前者が上なら、
商売にならんですよ。
家電は保証期間内の不良率ppmで見ますから。
Re:計算能力より耐久性 (スコア:1, 興味深い)
その通り。家電屋の、特に白物系製品のエージングは並みじゃない。
タフブックの試験のために、そっち関係の人を呼んできたってのは有名な話だ。
…けど、SONYじゃなぁ。
Re:はやく (スコア:2, 参考になる)
Re:はやく (スコア:3, 参考になる)
Re:はやく (スコア:1, 興味深い)
http://rblog-tech.japan.cnet.com/0061/2007/06/nvidiahpctesla_7993.html [cnet.com]
http://pc.watch.impress.co.jp/docs/2007/0215/kaigai337.htm [impress.co.jp]
http://pc.watch.impress.co.jp/docs/2007/0611/kaigai364.htm [impress.co.jp]
http://pc.watch.impress.co.jp/docs/2006/1106/tokyou.htm [impress.co.jp]
Cellは当初とは予定が変わって製造プロセスの微細化以外には、
大きなアップデートは無くなったとの事なので、来年には陳腐化してしまうと思います。
サーバにPS3 (スコア:1)
Re:はやく (スコア:1)
ゲーム機って、「カミソリの替え刃」ビジネスモデルで、本体価格を抑えてるんじゃなかったっけ?
Re:要約 (スコア:2, おもしろおかしい)
Re:要約 (スコア:1)
そこには既にMacBookという強敵がいます。
Re:要約 (スコア:1)
Re:ソフトの費用は? (スコア:1, すばらしい洞察)
そう考えると研究者以外がソフトを書くのは、無理があるような。
今回のはMPIって書いてあるから通信回りはめんどくさそう。
各PS3間を繋いでいるのがEthernetだとすると、レイテンシは長いだろうから、
それで性能が出たという事は、演算量は必要とされるけど、通信はあまり必要ないアプリケーションなのかも。
Re:ソフトの費用は? (スコア:4, 興味深い)
「コレ有名な○○研○○先生が作ったコードだから
それ使って解析してよ、業界でも実績あるし。」
なんてこと言われたりもしますがある程度年配でFORTRAN77しかできない人って
研究すごい人でも
・implicit none に抵抗感が無い (IMPLICIT REAL*4 A-H,O-Z)
・GOTOの使用に抵抗感がない。
・グローバル変数の大量使用に抵抗感がない。(だってそっちの方が簡単にアクセスできて便利でしょ!)
・メモリの動的確保が出来ないので配列サイズをハードコーディング
・おまけに複数ソースファイル間で↑のサイズを合わせないとダメ。(せめて共通部分はincludeしてよ)
・昔はそっちの方が速かったのかしれんが全ての局所変数をstaticに。(SAVE文?そんなの関係ねぇ!)
なコード書いてたりすることが結構あるんですよね。
だから分業というか研究二流だけどそこそこ物理が分かり
プログラミングを良く理解している人がコーディングする、ってのは悪くないと思う。
解説書に「-fno-automatic -finit-local-zeroと付けてコンパイルしてください」
と書いてあるコードは大体そんな感じです。
Re:もしもだけど (スコア:1, おもしろおかしい)
そんな訳ないじゃないですか。
Wiiだったらパラメータ一つ変えるのにテニスしたりボーリングしたりしないといけないんですよね?
ひ弱な理系研究者がそんな体力勝負なUIで入力できるわけないじゃないですかっっ!
#すみません、ニュース報道やCMのイメージで各マシンのインターフェイスをイメージしてるだけです。
#Wiiって体動かさなくてもコンピュータにパラメータ伝えられるんですよね?
##そうじゃないUIが存在するとは思えないけどAC.