アカウント名:
パスワード:
GCを利点として挙げる人がいますが、それも僕はどうかと思っています。 GCがあるためにむちゃくちゃなプログラムでもある程度動いてしまいます。
GC を単にメモリリークを防ぐためのものと考えると大したありがたみはありませんが，メモリフラ
確認ですが、
Java の Heap に関しては、激しくオブジェクトの生成／回収を繰り返してもフラグメンテーションによって新規オブジェクトが生成できない、とゆー事態には陥ったことがない
というのは、異なるサイズのオブジェクトを生成、回収した場合ですか? というのは、同じサイズばっかりだったらそもそも空きメモリの断片化は問題にならないはずなので。
ちなみに、アドレス空間を長持ちさせると(Unixのkernelはその典型)、オブジェクトの生成にともなう再初期化が大きなオーバヘッドになってきます。これは、オブジェクトが不要になった時、その中身はオブジェクトが初めて生成された時とほぼ同じになっていることが多いためです(eg 連結リストの要素の場合、前後へのポインタは初期化時も解放時もnull)。
これを解決する方法として、解放されたばかりのオブジェクトを直ちに再利用に回すことが挙げられます。Solarisのslab allocatorはこの方法を用い、オブジェクトの割り当てと初期化時間を最大で8割減らすことができています。Javaでもこういうことはやってるんでしょうか?
それ、もしかして、解放された領域を、「同じ種類」ごとに別々のフリーリストにぶら下げたりする、んでしょうか?
厳密には、page level allocator(つまりvirtual memory)から切り出してきた、free objectのcacheに放り込みます。このcacheはper object typeです。
だとしたら、種類という概念がクラスのおかげ(乱暴な言いかただが)でC的世界よりずっとはっきりしているoop処理系においては、より旨くやれるんではないでしょうか?
それはなんともいえません。Uresh Vahaliaは著書Unix Internals: The New Frontiers [amazon.com]の中で、以下のようなslab allocatorの欠点を指摘しています(以下は邦訳より)。
スラブ・アロケータの1つの欠点は、それぞれのオブジェクトの種類に対してことなるキャッシュを持つことに起因する、管理上のオーバヘッドである。 (中略) (キャッシュに含まれる)要素が少なく、あまり使用されないキャッシュの場合のオーバヘッドは、しばしば、無視できないものである。
となると、cacheを使うか否かを決める問題が生じます。Solarisの場合、私が本や実装を(誰か1994年夏のUsenix [usenix.org]予稿集持ってませんか?)見た限りでは、cacheを使うか否かはobject type毎にhardcodeされている(すなわち人間が決めている)ようです。Unix kernelならこれでも何とかなりますが、個々のプログラムを支える枠組み、すなわち言語処理系やruntime libraryなどの場合は機械的に決めないと使いものにならないでしょう。Solarisがこれをやっていないということは、機械的な決定は難しいということでしょうか。
私の印象だと、heap pointerが使えるのにはCopying GCの存在が強く効いています。端的にいえば、GCをやるのだからfree listは要らんと。わざわざGCをやっているのに、加えてO(free listの断片数)(=~O(object数))のcostがかかるfree listの管理をするのは無駄でしょうね。
ただし、これは割り当てしか高速化できません。objectの初期化までは高速化できません(instructionが増える、footprintが削れない)。せめて即値代入で済むようなものぐらいはcacheが使えればなぁ...
Java の場合 new が実行される度にヒープを取りに行くしかありませんから ほとんど逃げようがないです。
Dynix allocatorのように、heapをper-cpuにするのではダメでしょうか? GCがcpu数に比例して重くなってしまいますが...
ちなみに、slab allocatorについてもcacheの同期問題はネックとなるようで、Bonwickはper-cpu cacheなどを将来課題として挙げています。このideaは、現在FreeBSD-currentのmbuf allocatorに実装されています。
初期化の問題は、cacheに入っているobjectはGCの対象外とすれば何とかなりませんか? もちろん、GCの前にcacheから本当に使われていないものを回収する前処理が必要ですが(LRU程度でも十分できそう)。
より多くのコメントがこの議論にあるかもしれませんが、JavaScriptが有効ではない環境を使用している場合、クラシックなコメントシステム(D1)に設定を変更する必要があります。
ソースを見ろ -- ある4桁UID
Javaの必要性 (スコア:1)
僕はいまいちJavaの良さが分かりません。
誰かJavaのすばらしさを語ってもらえないでしょうか。
Re:Javaの必要性 (スコア:1)
Java Applet のことだったり、 JavaScript のことだったりする
ことがあるので、いっかい問い詰めてみたほうがいいです。
Re:Javaの必要性 (スコア:2, 参考になる)
JITの技術がありますが本質的な解決策では無いと思います。
しかもテキスト処理なんかはJITを使ってもAwkよりもPerlよりも遅い。
次に移植性です。
Write Once Run Anywareとか言っていますがはっきり言って実現されて無いと思います。
移植性 + 速度
で考えるとCの方が上だと思っています。
GCを利点として挙げる人がいますが、それも僕はどうかと思っています。
GCがあるためにむちゃくちゃなプログラムでもある程度動いてしまいます。
1時間ぐらいだったら動くけど長時間動かしているとVMが落ちることがありますし、その時のバ
GCの必要性 (スコア:2, 参考になる)
GC を単にメモリリークを防ぐためのものと考えると大したありがたみはありませんが，メモリフラ
Re:GCの必要性 (スコア:1)
>テーションを防ぐためのものと考えれば，その恩恵は計り知れないと思います。
え？
http://www.is.s.u-tokyo.ac.jp/~vu/jugyo/processor/process/soft/compilerresume/gc/gc.html
＞Copying GCの興味深い性質は、コピーするときにオブジェクトの空きをつめるため、fragmentationが発生しないということである。
によると、フラグメンテーションを無くす機能(つーか嬉しい副作用?)を期待できるかどうかは
GCのアルゴリズム次第であって、GC一般の性質ではない、と読めます
Re:GCの必要性 (スコア:1)
> GCのアルゴリズム次第であって、GC一般の性質ではない、と読めますけど？
GC がどのようなアルゴリズムで行われるにせよ、compaction は
行われてるのではないでしょうか？ compaction されるというこ
とは、その時点でフラグメンテーションも解消される、ということ
ですよね？違う？
Java の Heap に関しては、激しくオブジェクトの生成／回収を
繰り
Only Jav^Hpanese available :-)
Re:GCの必要性 (スコア:1)
確認ですが、
というのは、異なるサイズのオブジェクトを生成、回収した場合ですか? というのは、同じサイズばっかりだったらそもそも空きメモリの断片化は問題にならないはずなので。
ちなみに、アドレス空間を長持ちさせると(Unixのkernelはその典型)、オブジェクトの生成にともなう再初期化が大きなオーバヘッドになってきます。これは、オブジェクトが不要になった時、その中身はオブジェクトが初めて生成された時とほぼ同じになっていることが多いためです(eg 連結リストの要素の場合、前後へのポインタは初期化時も解放時もnull)。
これを解決する方法として、解放されたばかりのオブジェクトを直ちに再利用に回すことが挙げられます。Solarisのslab allocatorはこの方法を用い、オブジェクトの割り当てと初期化時間を最大で8割減らすことができています。Javaでもこういうことはやってるんでしょうか?
Re:GCの必要性 (スコア:1)
それ、もしかして、解放された領域を、「同じ種類」ごとに
別々のフリーリストにぶら下げたりする、んでしょうか?
だとしたら、種類という概念がクラスのおかげ(乱暴な言いかただが)で
C的世界よりずっとはっきりしているoop処理系においては、
より旨くやれるんではないでしょうか?
つまり卑近に言えば、多くてもせいぜいClassの数と同じ数のフリーリストを作ればいい、
リストをDictionaryにぶらさげて、リストをDictの中で選択するためのキーはjava.lang.Classである、
みたいな感じで…?(^^;
#そういう意味では、所詮(ごめん)C世界でしかないunix系カーネルとは
#いっしょにならんというか、もっともっとエレガントにやれるというか、ではないかなあ。
Re:GCの必要性 (スコア:1)
厳密には、page level allocator(つまりvirtual memory)から切り出してきた、free objectのcacheに放り込みます。このcacheはper object typeです。
それはなんともいえません。Uresh Vahaliaは著書Unix Internals: The New Frontiers [amazon.com]の中で、以下のようなslab allocatorの欠点を指摘しています(以下は邦訳より)。
となると、cacheを使うか否かを決める問題が生じます。Solarisの場合、私が本や実装を(誰か1994年夏のUsenix [usenix.org]予稿集持ってませんか?)見た限りでは、cacheを使うか否かはobject type毎にhardcodeされている(すなわち人間が決めている)ようです。Unix kernelならこれでも何とかなりますが、個々のプログラムを支える枠組み、すなわち言語処理系やruntime libraryなどの場合は機械的に決めないと使いものにならないでしょう。Solarisがこれをやっていないということは、機械的な決定は難しいということでしょうか。
フリーリストは使わんです (スコア:1)
空き領域の管理をフリーリストではなく、下から順番に詰めて
使って行くヒープポインタ(というのか?)で管理していると思われます。
ヒープポインタを確保したサイズ分増やすだけなので総合的に見てスピードが速いのです。
少なくも SUN JDK1.3、1.4 はこの方式です。
ClassiVM はインスタンスを指すハンドラとハンドラの実体
に分かれていて、ハンドラ領域はフリーリスト管理で、実体を
格納するヒープ領域はヒープポインタ管理です。
＃ ハンドラは全部同じ大きさ。
コンタミは発見の母
Re:フリーリストは使わんです (スコア:1)
私の印象だと、heap pointerが使えるのにはCopying GCの存在が強く効いています。端的にいえば、GCをやるのだからfree listは要らんと。わざわざGCをやっているのに、加えてO(free listの断片数)(=~O(object数))のcostがかかるfree listの管理をするのは無駄でしょうね。
ただし、これは割り当てしか高速化できません。objectの初期化までは高速化できません(instructionが増える、footprintが削れない)。せめて即値代入で済むようなものぐらいはcacheが使えればなぁ...
Re:フリーリストは使わんです (スコア:1)
複数のスレッドが free list を手繰るのを防ぐたびに spin lock
するか、OS の同期オブジェクトを使わざるえないです。
これが C/C++ だと、自分のスレッド用にある程度のサイズを
malloc しておいて自前で切り分けて使うことで同期処理の回数を
減らしたり出来ますが、Java の場合 new が実行される度にヒープ
を取りに行くしかありませんから ほとんど逃げようがないです。
> ただし、これは割り当てしか高速化できません。objectの初期化までは高速化できませ
> ん(instructionが増える、footprintが削れない)。せめて即値代入で済むようなものぐらい
> はcacheが使えればなぁ...
VM の実装まで考えると 初期化を飛ばすのはすごく難しいですよ。
昔 考えたのですが 例えば、
class A {
int m1 = 10;
B m2 = new B();
}
の場合、A のメンバにはコンストラクタ内でセットされます。
＃ m1 = 10; m2 = new B(); のコードはコンストラクタコードに化ける。
A の初期化時にはインスタンスのゼロパディングを省略したい気持ち
になりますが、(1) A のインスタンス生成 → (2) コンストラクタ起動
の間に GC が起きちゃうと m2 の内容にゴミが入っていて access violation
error でダウンです。
結局 Java の言語仕様をきちんと満たす形で実装するためには、
初期化はあんまりサボれないです。
コンタミは発見の母
Re:フリーリストは使わんです (スコア:1)
Dynix allocatorのように、heapをper-cpuにするのではダメでしょうか? GCがcpu数に比例して重くなってしまいますが...
ちなみに、slab allocatorについてもcacheの同期問題はネックとなるようで、Bonwickはper-cpu cacheなどを将来課題として挙げています。このideaは、現在FreeBSD-currentのmbuf allocatorに実装されています。
初期化の問題は、cacheに入っているobjectはGCの対象外とすれば何とかなりませんか? もちろん、GCの前にcacheから本当に使われていないものを回収する前処理が必要ですが(LRU程度でも十分できそう)。
Re:フリーリストは使わんです (スコア:1)
>> ほとんど逃げようがないです。
> Dynix allocatorのように、heapをper-cpuにするのではダメでしょうか? GCがcpu数に
> 比例して重くなってしまいますが...
JavaVM からは OS の挙動は把握しきれないので per-cpu は難しいです。
per-thread でよいのであれば、Thread-Local Heap (TLH と仮に略します)
のアイデア/実装はあります。
ただ、TLH は heap pointer で管理している例しか知りません。
＃ global heap から固定サイズの領域(chunk) をとってきて TLH とするタイプです。
実際のところ heap pointer を使えば allocater の同期ルーチンって
下のぐらいのコードになっちゃうので、TLH まで持ってきて free list を
使う理由はあまりないのだと思います。
char* old_pointer = NULL;
char* new_pointer = NULL;
do {
old_pointer = ::heap_pointer;
new_pointer = old_pointer + size ;
if( new_pointer >= heap_end ){
// GC
}
} while( compare_and_swap( &::heap_pointer, old_pointer, new_pointer ) );
コンタミは発見の母
続き (スコア:1)
> んか? もちろん、GCの前にcacheから本当に使われていないものを回収する前処理
> が必要ですが(LRU程度でも十分できそう)。
私がオブジェクトの初期化をスキップすることが
難しいと思っている理由なのですが、、、
Java インスタンスはクラスのフィールドの内容を保持している body 部と、
属性情報を保持している header 部に分かれます。
header 部は 実装によりますが、普通 2ワード。多くても4 ワードだと思われます。
header が 2 ワードの場合、
1ワードは所属クラスの情報へのポインタとなっているはずです。
もう1ワードの方には Object.hashCode() で返すハッシュ値や、synchronized で
使うモニタ情報、GC の時に使うマークビットなどが入っている例が多いです。
2ワードのうち再利用できるのはクラス情報へのポインタの 1ワードだけです。
body 部分の再利用はさらに難しいと思われます。
それと、バイトコードレベルでは new とコンストラクタの実行が完全に
分離しているという問題もあります。
Java のソースコード中に
member = new B();
の表記がある場合、
new class B // (1)
dup // (2)
invokespecial B() // (3)
aload 0 (this pointer)
putfield
のようなバイトコードを生成するはずです。
(1) によってヒープからインスタンスが取ってこられるのですが、この時
インスタンスの body 部は zero padding されることが期待されます。
初期値がセットされるのは (3) の中です。
(3) 実行後とメモリイメージが一致する クラス B のインスタンス
があっても、(1) を出たときは body 部が zero padding されている必要があるのです。
コンタミは発見の母
Re:GCの必要性 (スコア:1)
ええ、その通りです。さまざまなサイズのオブジェクト (実際にはさまざまなサイズの文字列や byte[] を持ついろいろなクラスのインスタンス) が相当激しく生成／消滅を繰り返している環境です。寿命も短いものは 1 method 内から、長いものは 1 hour、1 day 程度まであるような状況です。1 hour くらいの寿命のインスタンスが大量に GC されるような瞬間には、FullGC に 5～10 sec 程度 (PentiumIII 1GHz を持ってしても) かかる状況でした。
余談ですが、Java で高いスループットを得たい時には、この FullGC の時間をいかに減らすかはそうとう重要だと思いました。インスタンスの寿命やボリュームに結構気を使わなければいけません。
後半のテーゼについては僕はまったく分かりません。すみません。
Only Jav^Hpanese available :-)