アカウント名:
パスワード:
T/O
*BSDで10億程度のファイルを上記の基準で処理したら、どうなるの?
マジレスすると、そんなことをしなければいけないサーバを構築をしたニンゲンの首が吹き飛ぶ処理できる様にしろと客から光の速度でクレームがくる
お前の設計で会社がマジやばい
>マジレスすると、そんなことをしなければいけないサーバを構築をしたニンゲンの首が吹き飛ぶ
以前、あるシステムを見てくれといわれて...あのぉ、lsが返ってこないんですけど...で、ディレクトリを一個あがって、ls -lしてみたらそのディレクトリのサイズが異常。リンクの数も、7桁。
「なんかいっぱいファイルが入っているみたいですけど、分割できませんか?」「それをしようとして、出来ないので困ってる」...
なんでも、社員情報を、社員番号.name.txt 社員番号.address.txt 社員番号.phone.txt社員番号.緊急連絡先.address.txt 社員番号.緊急連絡先.phone.txt 社員番号......
シェルスクリプトか、何かスクリプト言語使って社員番号.name.txt > 別のディレクトリ/社員番号.data.txt社員番号.address.txt >> 別のディレクトリ/社員番号.data.txt社員番号.phone.txt >> 別のディレクトリ/社員番号.data.txt…した後nameaddressphone…ファイルとjoinして、その処理を社員番号でFor構文か何かで繰り返し処理すれば良いんじゃないの?とりあえずファイル数が20分の一になるよ。検索にはGrep使えばいいんだし。adressに改行が入っていると面倒そうだけど。どうしてもファイルを一つにまとめられなければ個人毎にディレクトリを作
>ファイルとjoinして、その処理を社員番号でFor構文か何かで繰り返し処理すれば良いんじゃないの?
前述したけど、検索するのが「色々できる」ってことで、各利用者が勝手に検索系のスクリプトを組んでいて、それがデータ形式依存たっぷりなわけでね。まずは「どういった使い方してるの?」を聞いたら、皆さん「rshで自分が書いたshellスクリプトでやっている」...で、そのデータをPC側で色々と料理していた。
セキュリティもへったくもありゃしないの。
でもって、データの容量的にも、当時のWSに付けるHDDの最大級をフルフル使っていて、サイズと処理速度が追いつかなかった。
>作業の実際が分からないけど、役職ごとの処理が多ければ役職毎、部署毎の処理が多ければ部署毎にディレクトリを作れば検索速度が上がるんじゃないか?
部署/役職のリストもあって、そこには社員番号だけを使っていたらしい。なんでも、信頼できる最新のデータが、そのディレクトリにあるデータだってことで、部署/役職/勤務地等のデータには、社員のデータも一応色々と入っていたけど「あ、それメンテしてないから使わないことにしたんだ」...
さらに酷いことが発覚したというか、別の部署でもそのデータを使っていて、勝手に変えられないんだ!とか...
極端を言えば、部署外からのアクセスも出来ちゃう便利データだったわけで、「これはさすがにまずいだろう」と忠告したんですけどね。
より多くのコメントがこの議論にあるかもしれませんが、JavaScriptが有効ではない環境を使用している場合、クラシックなコメントシステム(D1)に設定を変更する必要があります。
普通のやつらの下を行け -- バッドノウハウ専門家
ここで*BSDの優位性をアピールっ! (スコア:0)
T/O
Re: (スコア:0)
*BSDで10億程度のファイルを上記の基準で処理したら、どうなるの?
Re: (スコア:5, おもしろおかしい)
マジレスすると、そんなことをしなければいけないサーバを構築をしたニンゲンの首が吹き飛ぶ
処理できる様にしろと客から光の速度でクレームがくる
お前の設計で会社がマジやばい
Re: (スコア:2, おもしろおかしい)
>マジレスすると、そんなことをしなければいけないサーバを構築をしたニンゲンの首が吹き飛ぶ
以前、あるシステムを見てくれといわれて...
あのぉ、lsが返ってこないんですけど...
で、ディレクトリを一個あがって、ls -lしてみたらそのディレクトリのサイズが異常。
リンクの数も、7桁。
「なんかいっぱいファイルが入っているみたいですけど、分割できませんか?」
「それをしようとして、出来ないので困ってる」...
なんでも、社員情報を、社員番号.name.txt 社員番号.address.txt 社員番号.phone.txt
社員番号.緊急連絡先.address.txt 社員番号.緊急連絡先.phone.txt 社員番号......
Re: (スコア:0)
シェルスクリプトか、何かスクリプト言語使って
社員番号.name.txt > 別のディレクトリ/社員番号.data.txt
社員番号.address.txt >> 別のディレクトリ/社員番号.data.txt
社員番号.phone.txt >> 別のディレクトリ/社員番号.data.txt
…
した後
name
address
phone
…
ファイルとjoinして、その処理を社員番号でFor構文か何かで繰り返し処理すれば良いんじゃないの?
とりあえずファイル数が20分の一になるよ。
検索にはGrep使えばいいんだし。
adressに改行が入っていると面倒そうだけど。
どうしてもファイルを一つにまとめられなければ個人毎にディレクトリを作
Re:ここで*BSDの優位性をアピールっ! (スコア:1)
>ファイルとjoinして、その処理を社員番号でFor構文か何かで繰り返し処理すれば良いんじゃないの?
前述したけど、検索するのが「色々できる」ってことで、各利用者が勝手に検索系のスクリプトを組んでいて、それがデータ形式依存たっぷりなわけでね。
まずは「どういった使い方してるの?」を聞いたら、皆さん「rshで自分が書いたshellスクリプトでやっている」...で、そのデータをPC側で色々と料理していた。
セキュリティもへったくもありゃしないの。
でもって、データの容量的にも、当時のWSに付けるHDDの最大級をフルフル使っていて、サイズと処理速度が追いつかなかった。
>作業の実際が分からないけど、役職ごとの処理が多ければ役職毎、部署毎の処理が多ければ部署毎にディレクトリを作れば検索速度が上がるんじゃないか?
部署/役職のリストもあって、そこには社員番号だけを使っていたらしい。
なんでも、信頼できる最新のデータが、そのディレクトリにあるデータだってことで、部署/役職/勤務地等のデータには、社員のデータも一応色々と入っていたけど「あ、それメンテしてないから使わないことにしたんだ」...
さらに酷いことが発覚したというか、別の部署でもそのデータを使っていて、勝手に変えられないんだ!とか...
極端を言えば、部署外からのアクセスも出来ちゃう便利データだったわけで、「これはさすがにまずいだろう」と忠告したんですけどね。