「ベイズ推定で楽々スパムメールをフィルタリング」記事へのコメント

Support Vector Machine

[Anonymous Coward]

いちおう自然言語処理を専門とする研究室にいるものですが，テキスト分類においてはベイズ分類器よりも Support Vector Machine の方が精度が高いというのが現在の通説です。
世間では，ベイズ分類器しか出回ってないようですが，なぜ SVM を使わないのだろう？やってみたけれど思わしくないのか，それともそもそもやってみていないのか。
自分で作ってみようかな。

主流だと思われる Paul Graham の方式に関して言えば feature selection の段階を手を抜かずに行えば，より精度は上がるような気がします。

Re:Support Vector Machine

[Anonymous Coward]

SVMは....学習遅すぎませんか？ SVMlightくらいしか使ったこと無いので最近は 間違っているかもしれませんが、２年くらい前に feature vector 5000次元で 5000例くらい食わせて 遊んでいたらPenIII1G/Mem1Gくらいで一晩掛かったような。

最近は速く計算できるようになっていたりしたら 誰か教えてくれるとうれしいなぁ。

Re:Support Vector Machine

[Anonymous Coward]

遅いのなら分割(ネットワークで分散処理)してしまえ、とか思ってしまうのですが、
SVM って分散処理できるような計算なんでしょうか? それとも密結合じゃないとつらい?

Re:Support Vector Machine

[Anonymous Coward]

メールのフィルタリング程度に分散処理なんかやらないでしょ。

Re:Support Vector Machine

[Anonymous Coward]

90年代中頃ぐらいに出て来たばかりだから、まだ研究者の方々は現実的な応用まで気がまわらないんじゃないですかね。今頑張ると良いことがあるのかも。
ベイズの方は計算時間の短縮が可能になって、利用にはずみがついたというような話はよく聞きます。計算時間の短縮って一筋縄じゃいかないんですけどね。(^^;

精度だけでなく確率出力も重要

[shigepong (8002)]

私の理解が正しければ、
ベイズ分類器を使うさいに嬉しい点は、回答を「SPAM確率95%」のような確率値で出力してくれて、その値がおおむね妥当である点です。
普通のSVMでは、SPAMであるか(Yes/No)のような二値的な値しか出力できません。

正答率のような数値を出して両者の性能を比較する場合に、はベイズ分類器の出力をしきい値処理(例えば50%以上か未満か)して同じYes/Noの土俵で計算します。その際には多少SVMが勝るのかもしれません。でも実用上はSPAM率55%とSPAM率99%とではおのずと扱いも異なるべきであって、こうしたSPAMフィルター用には確率値を上手に扱えるベイズ分類器のほうが便利だということではないでしょうか。

# SVMに確率的出力を行わせる研究もなされているようですが、うまく
# いっているかどうかは知りません。

Re:Support Vector Machine

[Anonymous Coward]

Microsoft が patent もってるからでは? patent は, SMO (Sequential Minimum Optimization) という 2次計画法の optimizer なので, もっとはやくて scalable な optimizer があれば回避できるかもしれません..