gm300の日記: thread bzip2
日記 by
gm300
本体も変更しようとしたが、コメントを書いた後でもう一度考え直して、やめる。
file format 的にはこれまでと同じような感じだが、これまでのbunzip では処理できない(たぶん)形になる。
全部コーディング終って、最後まで流れるようになる。が不思議なことに、single cpu のmachine で実行しても微妙に早い。そして圧縮率は下がっている。これは、hyperthread のマシンではない。
-rw-r--r-- 1 x x 9627651 Mar 2 16:34 p1.bz2
-rw-r--r-- 1 x x 10246862 Mar 2 16:54 p1.tbz2
内部は4つの圧縮用のthread があって、ラウンドロビンでfileを読み込み、そして書き出すときにもう一度整列させる。
ラウンドロビンを止めると、その分速度が上がる可能性があるが、書き出されたデータを再縫合するときの順序の制御ができない。formatを変更して、書き込み順序を乱れを認識できるようにしようかと思ったが、それだけではできないような気がしてやめる。
ps で見ると複数のthreadに見えない。けど、2.6 系ではこれが普通?
駅でドキドキ感が変わる。先週までは、線路に降りて電車にぶつかってみたかった。電車を跳ね飛ばせるような気がして。あるいは片手で止めることができるような気がする。時々電車に触るが、驚く程硬くて、重そうで、そんなことはできそうに感じ内。高架から車が走るのを見ると、飛び降りて踏み潰したい。
file format 的にはこれまでと同じような感じだが、これまでのbunzip では処理できない(たぶん)形になる。
全部コーディング終って、最後まで流れるようになる。が不思議なことに、single cpu のmachine で実行しても微妙に早い。そして圧縮率は下がっている。これは、hyperthread のマシンではない。
-rw-r--r-- 1 x x 9627651 Mar 2 16:34 p1.bz2
-rw-r--r-- 1 x x 10246862 Mar 2 16:54 p1.tbz2
内部は4つの圧縮用のthread があって、ラウンドロビンでfileを読み込み、そして書き出すときにもう一度整列させる。
ラウンドロビンを止めると、その分速度が上がる可能性があるが、書き出されたデータを再縫合するときの順序の制御ができない。formatを変更して、書き込み順序を乱れを認識できるようにしようかと思ったが、それだけではできないような気がしてやめる。
ps で見ると複数のthreadに見えない。けど、2.6 系ではこれが普通?
駅でドキドキ感が変わる。先週までは、線路に降りて電車にぶつかってみたかった。電車を跳ね飛ばせるような気がして。あるいは片手で止めることができるような気がする。時々電車に触るが、驚く程硬くて、重そうで、そんなことはできそうに感じ内。高架から車が走るのを見ると、飛び降りて踏み潰したい。
thread bzip2 More ログイン