アカウント名:
パスワード:
高性能計算の話をする人であれば、
と思うんですがね。ところで「1TFLOPSの性能を出すのに1Tbpsのネットワークが必要」ってのは、一本の線でテラビット出さなきゃならないの? どういう前提でこの言葉が出てくるのか、詳しく聞きたいな。
#最後の項は言い過ぎです
より多くのコメントがこの議論にあるかもしれませんが、JavaScriptが有効ではない環境を使用している場合、クラシックなコメントシステム(D1)に設定を変更する必要があります。
「科学者は100%安全だと保証できないものは動かしてはならない」、科学者「えっ」、プログラマ「えっ」
クラスターのボトルネック (スコア:1)
某研究所のたんぱく質のシミュレーション用にPCクラスタを対象に作られた並列計算ソフトはイーサの100Base-TXのネットワークで5台でサチッちゃったらしい。やっぱり金のかかる計算は同期が必要だしな~。まさか素人みたくネットワークを考えないでPCの2116倍性能がでますとは言わないだろうし。
Re:クラスターのボトルネック (スコア:2, 参考になる)
ふつーの PC の 64bit PCI で 2.5 Gbps のはず.
以前は発熱がすごかったと記憶しているのですが,ラックマウントできる程度になったのですね.
Re:クラスターのボトルネック (スコア:1)
仮にそのソフトをその設定で使ったとしても、1000Baseなら30台、Myrinetなら100台以上いけることになります。
まあ実際には設定次第でもっと行けるというか、行っているところがありますので・・・
Myrinet2000 64bit 200MHz
-230MBytes/s
ノード単価 30~45万円
Myrinet2000 64bit 133MHz
-170MBytes/s
ノード単価 25~40万円
1000Base-T
-60MBytes/s
ノード単価 2~10万円
100Base-TX
-10MBytes/s
ノード単価 0.1~3万円
Re:クラスターのボトルネック (スコア:0)
> まさか素人みたくネットワークを考えないでPCの2116倍性能が
> でますとは言わないだろうし。
言わないだろうね。
ってか、そんなの心配するのあなただけでは?
光ファイバ使って10Gbps出せる御時世ですよ。
Re:クラスターのボトルネック (スコア:1)
が、#369475さん [srad.jp]は知らないのかも知れませんがスパコンの世界では一般的に1TFLOPSの性能を出すのに1Tbpsのネットワークが必要であるといわれています。
PCクラスタを組む場合、ネットワークがどうしても制限をうけてしまうのである特定の計算に特化したシステムを組むことで汎用性を犠牲にします。これはPCの数が増えれば増えるほど問題になってくる話なので産総研はどういうアプローチを取っているのかなぁと考えた次第です。理論値11TFLOPSのPCクラスタは作るのはお金をかければできますが、使いこなすのにはかなりの技術が必要だと思うのですが(さらに産総研にそういうノウハウがありそうな人っていないような気がしますし)、そういうことを心配する人は少ないのでしょうか?
Re:クラスターのボトルネック (スコア:2, 参考になる)
高性能計算の話をする人であれば、
と思うんですがね。ところで「1TFLOPSの性能を出すのに1Tbpsのネットワークが必要」ってのは、一本の線でテラビット出さなきゃならないの? どういう前提でこの言葉が出てくるのか、詳しく聞きたいな。
#最後の項は言い過ぎです
Re:クラスターのボトルネック (スコア:1)
> ・ 今さら100Base-TXでの事例なんて引合いに出さない
この考え方がどの辺から来てるのか分かりませんが、これまでスパコンを使っていた分野でもこれからはPCクラスタを使って計算しようというのが流行っています。計算のモデルとチューニングによってはネットワーク速度がそこまで必要ないものも有り、100Base-TXでスケールするものであれば100Base-TXで組んだPCクラスタで大規模計算をやっています。そもそもPCクラスタでやろうというのはコストを抑えようというのが大きいので安ければ安いに越したこと無いですしね。
> ・ グリッドでの使用を念頭に置いてる訳だから、2116台を単一の計
> 算につっこむ場合なんてそうそうないと理解している
グリッドでの使用を念頭に置いてる訳だからフルノードでの利用なんて考えられない、という意味が分からないのですが。グリッドのそもそもの思想は単一の計算を少数の高性能な計算機でなく、膨大な数のPCでやろうというものです。しかもフルノードでの計算を想定していないのであれば「演算処理能力は理論値で11TFLOPSとなり、スーパーコンピューターとしては世界第3位」という表記はあまり意味が無いですよね。
> ・「産総研にノウハウがない」なんて言ったら今日本にノウハウを
> 持ってる人がいない、というくらいに産総研に人材が集結している
> 事を知っている
産総研は確かに日本の中でも有数の研究機関ですし、成果も出している方だと思います。
> と思うんですがね。ところで「1TFLOPSの性能を出すのに1Tbpsの
> ネットワークが必要」ってのは、一本の線でテラビット出さなきゃ
> ならないの? どういう前提でこの言葉が出てくるのか、詳しく聞き
> たいな。
某H社のスパコンを作っているエンジニアから直接聞きました。「1TFLOPSの性能を出すには1TByteのメモリ、1Tbpsのネットワークが必要」のように考えるそうです。
Re:クラスターのボトルネック (スコア:1)
最後ぐらいしか(ちょっと語弊があるけど)ネットワークに負荷を
かけませんから、計算性能は台数効果を出せますがそりゃ当たり前。
それに、「あるソフトは100-TXだと5台でサチった」というのであれば、
じゃぁとりあえずギガビットイーサにすりゃいいじゃん、の一言で済ま
せられちゃいます。今時そんなに高くないんだから。今だとマザーボード
に搭載されていたりしますから、ますます100-TXという選択はありえなく
なってきていると思いますよ、1000ノード超という規模であれば。
(「音響カプラは止めといた方がいい」と言われているようなもんです)
「グリッドのそもそもの思想は単一の計算を膨大な数のPCでやろうというもの」
は間違いです。(computational)グリッドは電力網のアナロジーから
名付けられたもので、計算資源(CPU・メモリ・ストレージ・データ)を
電力網のようにどこからでも手軽に使えるインフラストラクチャとして
提供しよう、という発想です(だから"grid")。従って、グリッドを
対象にした計算資源(計算機)であれば、その資源が多様な目的で使用
される事が大前提なのです。もっとも、フルノードを時分割的に使わせ
るか、CPUを切り売りするように使わせるかは運営によるので、「フル
ノード同時使用は想定されていない」と断定するのはいき過ぎでしたが、
2000CPU規模の並列計算を効率良くこなせるソフトウェア(OS・ライブラリ・
アプリケーション)はそんなにない以上、切り売り式が普通の運営形態に
なるんじゃないかと、思います。件のクラスタがどう運営されるかは
まったく知らないので、これは憶測ですが。
最後の「1TFLOPSの性能を出すには1TByteのメモリ、1Tbpsのネットワークが必要」
ですが、これはなるほどですね。地球シミュレータの場合、
36TFLOPSで10TByte、ネットワークはノード間が16GB/sのクロスバー
スイッチですから、ざっといって10Tbpsのオーダにはなりますね。
Re:クラスターのボトルネック (スコア:0)
考えることに時間を使ったほうがいいとおもうよ。
Re:クラスターのボトルネック (スコア:0)
10GbEで512port/ノンブロッキングのスイッチをもし現時点で作れたとしたら、とてつもないお値段かと。
(内部の転送性能が10Tbit/sとか必要…)
GbEでも512port/ノンブロッキング(Force10とか)で、2,3億はするかと思います。
Re:クラスターのボトルネック (スコア:0)
こういう多ノード構成の場合って、各ノードは隣接ノード
とだけ通信して、それ以外はリレーするような構造だと
思っていたんですが、違います?
Re:クラスターのボトルネック (スコア:0)
フルメッシュで通信できた方がパフォーマンスは出るけど台数が多いとパフォーマンス犠牲にして隣接ノードだけにせざるを得ないよね。