スパコン上位500のうち91%はLinuxで動いている 71
ストーリー by hylom
そういえばWindowsで構成されたスパコンってあまり聞かないね 部門より
そういえばWindowsで構成されたスパコンってあまり聞かないね 部門より
あるAnonymous Coward 曰く、
OMG! Ubuntuによると、TOP500に含まれるスーパーコンピューターのうち91%はLinuxで動いているとのこと。 二位はAIX、三位はWindows HPC。可視化された図が分かりやすい。
OSの採用基準やOSによる性能差がどれだけあるかが気になるところ。
OSって、スパコンの速度に寄与するのですか？ (スコア:3, すばらしい洞察)
寄与しないなら、統計的な意味はない。
Re:OSって、スパコンの速度に寄与するのですか？ (スコア:3, 興味深い)
何の速度なのかにもよりますが、影響するでしょう。
OSの役割基本的な役割ははハードウェアの制御と抽象化、
そしてリソース管理なのだから、
これら設計思想と出来具合によっては
ハードウェアパフォーマンスを上手く使えるかが変わると思う。
WindowsでもXP/Vista/7、32bit/64bitで
メモリやディスクアクセスに差が出るし、
OSの上で動くソフトウェアの実効速度にも影響出るでしょう。
ただ、HDDの回転速度には影響しないと思います。
Re:OSって、スパコンの速度に寄与するのですか？ (スコア:2, 興味深い)
関係ありません. あったとしても微々たる物. ハードウェア構成やら取り扱うタスクやらのパターンが極端なので, 汎用的なOSの性能指標・チューニング戦略は当てはまらない場合が多いのです.
じゃあなんでLinuxとかUNIX系が多いかと言えば, シェルスクリプトやらコマンドやらが手元のPCやワークステーションと共通して使えるというのが大きいです. スパコンの利用形態って基本的に計算タスクを非対話的にバッチ処理するって形なので, 計算元のデータや計算結果のファイル指定, 計算前/後の(判断を伴う)付随的な処理, 計算プログラム本体へのパラメータ指定などをスクリプトで処理する必要があります. 今ならWindowsでもPowerShellとかがありますが, 標準的なcmd.exeなんかじゃあまりにも力不足. となると, 取りあえず使えるのはシェルスクリプトとなってUNIX系を採用って流れですね. まあスパコンのOSの種類についてはカーネルよりもむしろユーザーフロントエンドとしての面が大きいので, ユーザが使い慣れているからと言っちゃってもいいかと思います.
Re: (スコア:0)
> 今ならWindowsでもPowerShellとかがありますが, 標準的なcmd.exeなんかじゃあまりにも力不足.
10年以上前からOSに標準で付属していた、Windows Scripting Host [microsoft.com]は無視ですかそうですか。
Re:OSって、スパコンの速度に寄与するのですか？ (スコア:1, 興味深い)
スケジューラ性能は、過負荷状態でLinuxよりSolarisやFreebsdの方が上だった覚えがあります。
ただ、マルチプロセスにする必然性がなく、シングルプロセス/コア数分マルチスレッドで貼り付けでしょうから、影響がすくないのではないでしょうか。
それよりI/Oスピードが重要で、RDMAやらInfinibandの低レイテンシハードに対するOS/ドライバの対応が重要になると考えられます。
Re: (スコア:0)
昔 IAサーバ + Linux2.4 から Netra X1 に入れ換えたら、Disk I/O が遅くて結局パフォーマンスが出なかったとか聞いたことがある。
パフォーマンス云々はドライバの出来も含めて、やはりシステム全体で見るべきだよな~。
Re: (スコア:0)
Re:OSって、スパコンの速度に寄与するのですか？ (スコア:1)
OSのバージョンアップでMIPS値が上がると宣伝していました。
# HP9000-300の頃(PA-RISCでは無くMC68000シリーズだったはず）
（記憶ですいません、当時の雑誌広告であったはずですが手元にはもうありませんでした）
Re: (スコア:0)
高速性を求めるのであれば、最低でも対象とするハードウェアの性能を引き出す必要があります。
そのため、高い性能を出そうとすれば最新のハードウェアがもつ機能に対応するOSが必須です。
Windowsだとどうしても、この部分の対応が遅いから x86 系のハードウェアでクラスタを組むとLinuxの方が速度を出しやすいです。
もちろん、Linuxを利用していても古いバージョンだと速度がでない事が多々あります。
Re:OSって、スパコンの速度に寄与するのですか？ (スコア:1)
「オープンソースだからチューニングし易い」とかなんですかね。
まあ、私が十数年前に関わっていたスパコンは、フロントエンドが全てSunのワークステーションで、スパコン自身のOSもUN*X風のものでしたから、システム管理のノウハウも含めた過去の資産継承という理由で、UN*Xと構成が似通ったLinuxが採用されているのかもしれません。
ライセンス料 (スコア:2)
大量に台数揃えるのでOSのライセンス料がバカにならないんでしょうね。
AIXはハード込みだとして、それでもマイクロソフトが頑張ってるのはすごいかも。
ハードウェアベンダを巻き込んでるのかしら。
Re:ライセンス料じゃなくて (スコア:2)
多くの人がWindowsを使うのは、Windows上で動くアプリケーションを使いたいからでしょう。
スーパーコンピュータのユーザーは、(1) 自分でプログラムを作るか、(2)スーパーコンピュータ用の解析プログラムパッケージを使うかのどちらかと思われます。まさか、スーパーコンピュータでワープロや、Excelや、ゲームなんてしないですよね、
(1)の場合はもちろん、(2)の場合もLinux、あるいは***x用がシェアを反映して多いでしょうから、そもそもWindowsを使うメリットがないと思われます。
私はかつては自分でプログラムを作っていましたが、今プログラムを作る必要に迫られたら、（少なくとも私にとっての）プログラミング環境の充実しているLinuxを選びます。Windowsでemacsはまともに動かないし
Re:ライセンス料 (スコア:1, 参考になる)
Re:ライセンス料 (スコア:1)
マイクロソフトなら、大幅にディスカウントか、無料、
むしろ、お金を出すかもしれないと思いますが。
(昔にそういう事例は沢山あると思いましたが。忘れました？)
それに、よい宣伝になりますしね。
そういえば2008年にこんな宣伝をしていましたね (スコア:1)
●マイクロソフトのWindows(R) HPC Server 2008が世界最速スーパーコンピューターのトップ10にランクイン [microsoft.com](2008/11/21 Japan)
その Dawning Information Industry Co. Ltd. のスパコンが今回の TOP500 では24位にランクイン。
ちなみに今年の 1位から 23位まではすべて Linux 採用ですｗそんな実績のあるところに新参者のマイクロソフトが Windows HPC を引っさげて割り込める余地があるのかな。MS が自分で TOP500 にエントリーすれば別ですけどｗ
モデレータは基本役立たずなの気にしてないよ
＞可視化された図が分かりやすい。 (スコア:2, すばらしい洞察)
どちらかというと、説明抜きだとこれは悪い可視化じゃないか？
タイル一個の大きさ（面積？一辺の長さ？）が何を意味しているのか不明だ。
##タイル一個が1スパコンだとして、大きさはLinPackスコア？メモリサイズ？購入費？
##説明あるならいいんだが、無しだと「画像はイメージです」でしかない。
#ははは、まったくタレコミ人め、と思って元記事みたら説明ない！
Re:＞可視化された図が分かりやすい。 (スコア:1, 参考になる)
Re: (スコア:0)
Re:＞可視化された図が分かりやすい。 (スコア:1)
濃さ／明るさはコア数みたいですね記事の画像をマウスオーバーで詳細がでます。
Re:＞可視化された図が分かりやすい。 (スコア:3, 参考になる)
もといspeed/coresみたいですね。
OSというか (スコア:1)
自前OSを用意するけど根幹の部分は実績あって公開されてるLinux Kernel使いましょうっていうのが91%ってことなんですかね。
できることの範囲は狭まるでしょうが特定の処理に特化した自前のOSを用意させたほうがパフォーマンスは上がると思います。
# そういうスパコンでは過去ストーリーにあった スパコンでEXCELをみたいなことは難しいでしょうけど。
# yes, fly. no, fry.
Re: (スコア:0)
カウントされているみたいですけど？
ディストリが不明なLinuxは81%で、はっきりしてるのは
SUSEが多いみたい。
その次がCentOSで、RHELは少なめ。
Ubuntuは、その他のLinuxとして81%に含まれてるんでしょう。
Re:OSというか (スコア:1)
ご指摘感謝です。
# yes, fly. no, fry.
Re: (スコア:0)
そもそも、Kernelのほかに何が要るのかということになると、
シングルユーザモードどころか実記憶で動いているような機械に
ディストリビューションがどうこうなんて関係ない。
単に (スコア:1)
いや、Windows HPC の値段知らないのであくまで邪推ですけど。
逆に Linux が使われる理由は単にライセンス料だけの問題ではなく
コンパイラだけでなく OS も含めて最適化しやすい (いじりやすい)
という理由がありそうな気がするけど、こっちも邪推の域を出ない。
Re:単に (スコア:1, すばらしい洞察)
Re: (スコア:0)
Top500の100％は (スコア:1, おもしろおかしい)
Re:Top500の100％は (スコア:1, おもしろおかしい)
TegraとTengaは本質的に変わらないということですね。
質問なのですが (スコア:0)
同じことですが、仮想システムを用いて、他のOS を動かしていたらどうするのかな。
Re:質問なのですが (スコア:3, すばらしい洞察)
TOP500 のスコアを出そうってときに？
Re: (スコア:0)
仮想システムもベース（ドメイン）がカウントの対象だと思う。
むしろ、複数台のスパコン（あるいはコンピュータ）を連結して仮想的なスパコンとしている場合はどうカウントされるのだろうか？
単に (スコア:0)
カスタマイズ前提で考えているとLinuxにするしかないのじゃないか？その選択肢の中じゃ。
逆に、お仕着せそのままで良い企業が購入するもうちょっと下だと、AIXやWindows HPC
を選択した方がって事も有るかも。
BSD方面の方々 (スコア:0)
何か言ってくださいな。
判った、じゃぁ若干本音を吐いてあげよう (スコア:2, おもしろおかしい)
『若さっていいねぇ』
いや、BSDを使っている年齢の人間はね、もう腰が弱くてさ。
重たいサーバを何十台も何百台も何千台も積み上げて、ケーブリングして…なんてやってられないのさ。
そういうのができる若い奴に、ご褒美としてOSを選ばせると Linux になっちゃうんだよね。つーか、GNUのツールを使いたがるんだよ。それも SVR4互換機能じゃなく、BSD互換機能の部分をね。便利だ、便利だ言いながら。それなら最初からBSDにすればいいんじゃ…とか思うけどさ、突っ込んでもしょうがないところだからね。
ま、いいんじゃないかね。
Linuxを使っている、とか言ってもそいつらが「clone(2)」を使ったコーディングとか、バリバリやってるわけじゃないしさ。
って事は、その内別の OS … Micro Kernel ベースの奴とか … に移る日が来ても、互換性が高いままなわけだ。うん。BSDとの互換性がね。だから、他の環境にも簡単に移植できると思うよ。
fjの教祖様
Re:判った、じゃぁ若干本音を吐いてあげよう (スコア:1)
その代わり、/rescue 以下にあるバイナリ群はスタティックリンクバイナリですよ。(ついでに言うとハードリンクで全部同じバイナリ)
この辺りは /bin や /sbin 直下をダイナミックリンクにするのと同時に入ったと思いました。そういう意味では「全然変わってない」のではないかと。
Re: (スコア:0)
スパコンとは方向性が違いすぎる気がする。
FreeBSD: 汎用性
NetBSD: 移植性
OpenBSD: 安全性
Dragonfly BSD: ?
Re: (スコア:0)
Re:BSD方面の方々 (スコア:1)
（今ならPS3クラスタと同じような感覚だった気がする）
ここ数年のハードウエア単価の激減とか考えたら確かに存在感が無いのも確かですが…
Re: (スコア:0)
>FreeBSD: 汎用性
別にLinuxがスパコン用途に特化されてるわけではないし。
Re: (スコア:0)
そう考えると、
汎用性： Linux > FreeBSD
ってことやね。
まあ、今だと掛けてる人的コストも全然違うだろうし
仕方ないんじゃないかねぇ・・・。
Re: (スコア:0)
(性能が出ない)と言うことです。
BSDの場合は例えばamd64とかでも性能が出ないのはOSの問題(HPC向けでは無い)ですが、
LinuxでもSPARCだと性能は出せません(CPUに対するHPC向けの命令がSPARCの場合殆どないので)。
なのでOS+CPUで見ないと意味が無いように思います.
Re: (スコア:0)
このスレッドで正に言ってることですね。
`
Re: (スコア:0)
理屈の上ではLinuxと同じように自由にいじれるはずの*BSD系列の存在感がここまで無いというのは不思議な気がします。
Re:BSD方面の方々 (スコア:1)
Daemon君がいない (スコア:0)
Re: (スコア:0)
以前は Linux の TCP/IP がかなり遅くて Linux で PCクラスタを組んでも、TCP/IPを利用する限りは遅くて速度が出なかったんですよね...
ただ Linux Kernel v2.0 の後の方になると TCP/IP が劇的に高速化してそれ以後は PCクラスタと言えばLinuxとなったと記憶しています。
(というか PCクラスタで速度を出すために Linux の TCP/IP は書き換えられたんじゃなかったけ？)
Googleが保有している全サーバを (スコア:0)
スパコン用途として使ったら処理性能はどの程度だろう
Re: (スコア:0)
Re: (スコア:0)