「Mozilla1.3bリリース、変更点山盛り」記事へのコメント

素晴らしい反スパム機能

[kazhik (100)]

私は数週間前からジャンクメールコントロールという新機能を試していますが、これは素晴らしい確率でスパムを検出してくれます。ベイジアンフィルタという統計的手法を使っているそうです。「スパムへの対策」 [dreamhost.com]という論文で詳しく解説されています。

Re:素晴らしい反スパム機能

[lu9 (13849)]

それって日本語のジャンクメールもOKですか？

Re:素晴らしい反スパム機能

[Anonymous Coward]

せっかく参考になる論文へのリンクが張ってあるのだから読むべし。あなたの求めている答えもそこにある。

Re:素晴らしい反スパム機能

[bero (5057)]

論文では「メール中の単語からspam確率を求める方法」についてかかれているが、mozillaが日本語対応かどうか、つまりスペース区切りでない言語から単語を切り出せるかどうか、の直接的な答えにはなってない。
（単語切り出しについては、論文筆者は続編で改良を試みてるが、3-gramとか、日本語の2-gramの実験もある。）

でmozillaの実装はどうか

Re:素晴らしい反スパム機能

[level (13054)]

おお。最低レベルの日本語対応はしていると言うことですね。
ちょっと安心。

ところで、base64な部分はちゃんと読み飛ばしているでしょうか？
本文による検索やフィルタリングはbase64のエンコード部分を
そのまま見てしまうんですが...

現状ではほぼ完璧に振り分けを行ってくれています。

今、うちのtraining.datは7.6MB。
どんなスパムな単語が登録されているのか、
データの中身を見てみたい気もするけど。

Re:素晴らしい反スパム機能

[bero (5057)]

>どんなスパムな単語が登録されているのか、
>データの中身を見てみたい気もするけど。

traning.datをUTF-8対応のエディタで（バイナリを無理やり）のぞいたら見れました
mimeだかuuencodeだかの一行分を単語としたのがかなりの量を占めてますが、これがウィルスにマッチするんだろうからあながち無駄とはいえない。