アカウント名:
パスワード:
殆どのOSで問題になりそうな気がするんですけど。（FileSystemの種類毎に程度は違うだろうけど）10億ファイルをディスク内に記録しておいても大きな問題にならないOSを知っている人がいたら教えてください。
Windows(NTFS)で一日数千件のログファイルを単一フォルダに吐き出すシステムを知ってる。ファイルのサイズは100byte未満。1ヶ月もするとそのフォルダをエクスプローラで表示するのに数十分かかるようになり、3ヶ月もするとログの書き出しに時間がかかり過ぎてシステムが止まった。
NT4で１つのフォルダをテーブルのように使ってたシステムがあったのを思い出しました。
フォルダ内に5桁数字のファイルがどっさり（つまり最大10万ファイルが存在する事になる）最初に見たときは約5万ファイルが入ってた。各ファイルは100bytes程度のバイナリデータ。
改修を依頼されて件のフォルダをエクスプローラで開こうとしたら、数分待たされてびっくりしました。こんな方法もあるのかと、（悪い意味で）感心しました。
ちなみにこのシステム、更新情報の有無に関わらずひたすらファイルを書き換えていてTEACのRAIDディスクが2ヶ月持たずに壊れるというシロモノでした。
コマンドプロンプトのdirでも無反応になりますよ、知ったか君。アプリケーションからのI/Oのレスポンスも激烈に悪くなるしね。だからログの出力すらまともにできなくなる。
物理的な限界に近い気がします。早くなっても数倍が限度だろうし。
より多くのコメントがこの議論にあるかもしれませんが、JavaScriptが有効ではない環境を使用している場合、クラシックなコメントシステム(D1)に設定を変更する必要があります。
人生unstable -- あるハッカー
Linuxの問題なの？ (スコア:3, 興味深い)
殆どのOSで問題になりそうな気がするんですけど。（FileSystemの種類毎に程度は違うだろうけど）
10億ファイルをディスク内に記録しておいても大きな問題にならないOSを知っている人がいたら教えてください。
Re: (スコア:0)
ZFSはどうかなと思ったけど、似ているといわれてるBtrfsも同様に遅いみたいですね。
HAMMERは構造的にDBに近い気がするので速いかも？
Re:Linuxの問題なの？ (スコア:4, 興味深い)
Windows(NTFS)で一日数千件のログファイルを単一フォルダに吐き出すシステムを知ってる。ファイルのサイズは100byte未満。
1ヶ月もするとそのフォルダをエクスプローラで表示するのに数十分かかるようになり、3ヶ月もするとログの書き出しに時間がかかり過ぎてシステムが止まった。
Re: (スコア:0)
NT4で１つのフォルダをテーブルのように使ってたシステムがあったのを思い出しました。
フォルダ内に5桁数字のファイルがどっさり（つまり最大10万ファイルが存在する事になる）
最初に見たときは約5万ファイルが入ってた。各ファイルは100bytes程度のバイナリデータ。
改修を依頼されて件のフォルダをエクスプローラで開こうとしたら、数分待たされてびっくりしました。
こんな方法もあるのかと、（悪い意味で）感心しました。
ちなみにこのシステム、更新情報の有無に関わらずひたすらファイルを書き換えていて
TEACのRAIDディスクが2ヶ月持たずに壊れるというシロモノでした。
Re: (スコア:0)
UNIXで言えば、設定ファイルをEmacsで編集するようなもんで、馬鹿にされて当然。
Re: (スコア:0)
コマンドプロンプトのdirでも無反応になりますよ、知ったか君。
アプリケーションからのI/Oのレスポンスも激烈に悪くなるしね。だからログの出力すらまともにできなくなる。
Re: (スコア:0)
そんなのシラネーヨっていう人もいるけど、Windows使いがLinuxでのチューニングなんてシラネーヨなんて言うのと一緒で、怠けてるだけ。
Windowsのdirコマンドは、ディレクトリのインデックスを走査しながら表示を行うので、NTFSのソート順以外のソート順を指定しない限り、全部読み終わるまで固まるなんてことはないです。
Re: (スコア:0)
Pentium3 1GHzのオンボロ機だが、即座にどうこうするんだからハードウェアの性能は関係ないわな。アルゴリズムやアーキテクチャが、そういう具合に出来てるんだ。
Re:Linuxの問題なの？ (スコア:1, 参考になる)
同一フォルダにファイル100万個でも、dirは即座にファイルのリストを出力し始める。
再起動直後であっても。
Windowsナメんなよ。
Re: (スコア:0)
物理的な限界に近い気がします。早くなっても数倍が限度だろうし。