パスワードを忘れた? アカウント作成
この議論は賞味期限が切れたので、アーカイブ化されています。 新たにコメントを付けることはできません。

産総研がOpteron 2116個のLinuxスパコン導入へ」記事へのコメント

  • クラスターでのボトルネックはやはりネットワークだと思うんですがネットワークは何使うんですかね?で、システムを組むとき重要なのは何を計算するかだと思うんですが計算対象としては何を想定してるんですかね?
    某研究所のたんぱく質のシミュレーション用にPCクラスタを対象に作られた並列計算ソフトはイーサの100Base-TXのネットワークで5台でサチッちゃったらしい。やっぱり金のかかる計算は同期が必要だしな~。まさか素人みたくネットワークを考えないでPCの2116倍性能がでますとは言わないだろうし。
    • by Anonymous Coward on 2003年07月31日 7時55分 (#369211)
      myrinet [myrinet.com].

      ふつーの PC の 64bit PCI で 2.5 Gbps のはず.
      以前は発熱がすごかったと記憶しているのですが,ラックマウントできる程度になったのですね.
      親コメント
    • 既に出ていますが、Bandwidthで以下のような成績です。
      仮にそのソフトをその設定で使ったとしても、1000Baseなら30台、Myrinetなら100台以上いけることになります。
      まあ実際には設定次第でもっと行けるというか、行っているところがありますので・・・

      Myrinet2000 64bit 200MHz
        -230MBytes/s
        ノード単価 30~45万円

      Myrinet2000 64bit 133MHz
        -170MBytes/s
        ノード単価 25~40万円

      1000Base-T
        -60MBytes/s
        ノード単価 2~10万円

      100Base-TX
        -10MBytes/s
        ノード単価 0.1~3万円
      親コメント
    • > やっぱり金のかかる計算は同期が必要だしな~。
      > まさか素人みたくネットワークを考えないでPCの2116倍性能が
      > でますとは言わないだろうし。

      言わないだろうね。
      ってか、そんなの心配するのあなただけでは?
      光ファイバ使って10Gbps出せる御時世ですよ。
      • そりゃイーサですらギガビット出る時代になっているのは知っています。
        が、#369475さん [srad.jp]は知らないのかも知れませんがスパコンの世界では一般的に1TFLOPSの性能を出すのに1Tbpsのネットワークが必要であるといわれています。
        PCクラスタを組む場合、ネットワークがどうしても制限をうけてしまうのである特定の計算に特化したシステムを組むことで汎用性を犠牲にします。これはPCの数が増えれば増えるほど問題になってくる話なので産総研はどういうアプローチを取っているのかなぁと考えた次第です。理論値11TFLOPSのPCクラスタは作るのはお金をかければできますが、使いこなすのにはかなりの技術が必要だと思うのですが(さらに産総研にそういうノウハウがありそうな人っていないような気がしますし)、そういうことを心配する人は少ないのでしょうか?
        親コメント
        • by oltio (3848) on 2003年07月31日 20時50分 (#369837) 日記

          高性能計算の話をする人であれば、

          • 今さら100Base-TXでの事例なんて引合いに出さない
          • グリッドでの使用を念頭に置いてる訳だから、2116台を単一の計算に つっこむ場合なんてそうそうないと理解している
          • 「産総研にノウハウがない」なんて言ったら今日本にノウハウを 持ってる人がいない、というくらいに産総研に人材が集結している事を 知っている

          と思うんですがね。ところで「1TFLOPSの性能を出すのに1Tbpsのネットワークが必要」ってのは、一本の線でテラビット出さなきゃならないの? どういう前提でこの言葉が出てくるのか、詳しく聞きたいな。

          #最後の項は言い過ぎです

          親コメント
          • > 高性能計算の話をする人であれば、
            > ・ 今さら100Base-TXでの事例なんて引合いに出さない

            この考え方がどの辺から来てるのか分かりませんが、これまでスパコンを使っていた分野でもこれからはPCクラスタを使って計算しようというのが流行っています。計算のモデルとチューニングによってはネットワーク速度がそこまで必要ないものも有り、100Base-TXでスケールするものであれば100Base-TXで組んだPCクラスタで大規模計算をやっています。そもそもPCクラスタでやろうというのはコストを抑えようというのが大きいので安ければ安いに越したこと無いですしね。

            > ・ グリッドでの使用を念頭に置いてる訳だから、2116台を単一の計
            > 算につっこむ場合なんてそうそうないと理解している

            グリッドでの使用を念頭に置いてる訳だからフルノードでの利用なんて考えられない、という意味が分からないのですが。グリッドのそもそもの思想は単一の計算を少数の高性能な計算機でなく、膨大な数のPCでやろうというものです。しかもフルノードでの計算を想定していないのであれば「演算処理能力は理論値で11TFLOPSとなり、スーパーコンピューターとしては世界第3位」という表記はあまり意味が無いですよね。

            > ・「産総研にノウハウがない」なんて言ったら今日本にノウハウを
            > 持ってる人がいない、というくらいに産総研に人材が集結している
            > 事を知っている

            産総研は確かに日本の中でも有数の研究機関ですし、成果も出している方だと思います。

            > と思うんですがね。ところで「1TFLOPSの性能を出すのに1Tbpsの
            > ネットワークが必要」ってのは、一本の線でテラビット出さなきゃ
            > ならないの? どういう前提でこの言葉が出てくるのか、詳しく聞き
            > たいな。

            某H社のスパコンを作っているエンジニアから直接聞きました。「1TFLOPSの性能を出すには1TByteのメモリ、1Tbpsのネットワークが必要」のように考えるそうです。
            親コメント
            • 「引合いに出さない」んですよ。もちろんEP系の計算であれば最初と
              最後ぐらいしか(ちょっと語弊があるけど)ネットワークに負荷を
              かけませんから、計算性能は台数効果を出せますがそりゃ当たり前。
              それに、「あるソフトは100-TXだと5台でサチった」というのであれば、
              じゃぁとりあえずギガビットイーサにすりゃいいじゃん、の一言で済ま
              せられちゃいます。今時そんなに高くないんだから。今だとマザーボード
              に搭載されていたりしますから、ますます100-TXという選択はありえなく
              なってきていると思いますよ、1000ノード超という規模であれば。
              (「音響カプラは止めといた方がいい」と言われているようなもんです)

              「グリッドのそもそもの思想は単一の計算を膨大な数のPCでやろうというもの」
              は間違いです。(computational)グリッドは電力網のアナロジーから
              名付けられたもので、計算資源(CPU・メモリ・ストレージ・データ)を
              電力網のようにどこからでも手軽に使えるインフラストラクチャとして
              提供しよう、という発想です(だから"grid")。従って、グリッドを
              対象にした計算資源(計算機)であれば、その資源が多様な目的で使用
              される事が大前提なのです。もっとも、フルノードを時分割的に使わせ
              るか、CPUを切り売りするように使わせるかは運営によるので、「フル
              ノード同時使用は想定されていない」と断定するのはいき過ぎでしたが、
              2000CPU規模の並列計算を効率良くこなせるソフトウェア(OS・ライブラリ・
              アプリケーション)はそんなにない以上、切り売り式が普通の運営形態に
              なるんじゃないかと、思います。件のクラスタがどう運営されるかは
              まったく知らないので、これは憶測ですが。

              最後の「1TFLOPSの性能を出すには1TByteのメモリ、1Tbpsのネットワークが必要」
              ですが、これはなるほどですね。地球シミュレータの場合、
              36TFLOPSで10TByte、ネットワークはノード間が16GB/sのクロスバー
              スイッチですから、ざっといって10Tbpsのオーダにはなりますね。
              親コメント
      • しかしですね、1000ノードを接続する事を考えると10GbEなんて使えないですよ。
        10GbEで512port/ノンブロッキングのスイッチをもし現時点で作れたとしたら、とてつもないお値段かと。
        (内部の転送性能が10Tbit/sとか必要…)

        GbEでも512port/ノンブロッキング(Force10とか)で、2,3億はするかと思います。
        • 500ノードを単一スイッチに直結ですか?
          こういう多ノード構成の場合って、各ノードは隣接ノード
          とだけ通信して、それ以外はリレーするような構造だと
          思っていたんですが、違います?
          • ものによるね。
            フルメッシュで通信できた方がパフォーマンスは出るけど台数が多いとパフォーマンス犠牲にして隣接ノードだけにせざるを得ないよね。

「科学者は100%安全だと保証できないものは動かしてはならない」、科学者「えっ」、プログラマ「えっ」

処理中...