「Netcraft Web Server 調査結果、Googleが突如シェア取得」記事へのコメント

Googleのサーバーシェア

[shojin (28072)]

サーバーアプリケーションの比較しか話題にのぼっていませんが、良く考えるとGoogleのサーバーが世界の全てのWebサーバーの約4%を占めるということですよね。1社だけでここまでのシェアを持っているというのは驚くべき事のように思います。

Yahoo!はFreeBSDにaccept_filterなどの形で還元していますけれど、Googleも何かそういう活動をしていたのかしらん。ちなみに、accept_filterというのは特定のメッセージ列がカーネル内でバッファリングされるまでacceptシステムコールの返事をするのを遅らせることで、コンテキストスイッチを何回もすることによるオーバーヘッドを削減するという機構です。メッセージ全てがバッファリングされていると、read一発で読めますからね。

google malloc

[magicalchalk (27784)]

最近ぶったまげたのは google-perftools [google.com] の google malloc です。

Linux で MySQL を動かすとクライアントが増えたら性能が低下する(FreeBSD のトピック) [srad.jp]という話がありましたが、実は足を引っ張っているのは glibc の malloc で、google malloc を使うと性能が低下しない [ozlabs.org]のだそうです。

Google の Linux マシンはみんな google malloc をインストールしているのかなあ…

# google malloc を自分で走らせていませんが ID

jemalloc

[shojin (28072)]

実はFreeBSDにおいてもMySQLの性能向上はスケジューラーがもたらしたものではなくて、mallocの性能向上だったりするかもしれないですね。FreeBSD 7-CURRENTではBSDCan 2006で発表されたjemallocをmallocとして使っているので、恐らくこの実験のときもjemallocを使っているでしょう。

このjemallocはマルチスレッドを考慮した実装になっており、マルチスレッド下での性能が大幅に向上したらしいです。BSDCanのスライドをざっと読んだ感じだと、jemallocはメモリー割り当てのためのプール(arena)を複数持っており、そのプール毎にロックをするみたいですね。それで、各スレッドはスレッドローカルなストレージ(TLS)を参照することでどのプールを使うのかを知るようです。プールにはメモリーの塊(chunk)があって、要求されたメモリーのサイズによってはそれそのものを使ったりrunsという小さいまとまりに分割したりします。ここら辺はファイルシステムにおけるblockとfragmentの関係に似てますね。

参考までに:
http://journal.mycom.co.jp/articles/2006/05/15/bsd4/ [mycom.co.jp]
http://www.bsdcan.org/2006/papers/jemalloc.pdf [bsdcan.org]
http://people.freebsd.org/~jasone/jemalloc/bsdcan2006/jemalloc.pdf [freebsd.org]

Re:google malloc

[Anonymous Coward]

google malloc はCPUによってはスケールせず、 逆に悪くなるそうです。 [iu.edu] またglibc-2.6系には対策が入っており、F7などで簡単に試せます。