スパム以外の判定でも、 Towards the Orwellian Nightmare: Separation of Business and Personal Emails, Jabbari et al, 2006 によると、e-mailに対する個人的/業務的の2値分類タスクで自動分類器は訓練された人間の精度に追いついています。
by
Anonymous Coward
on 2010年09月02日 17時19分
(#1819053)
> スパム以外の判定でも、 > Towards the Orwellian Nightmare: Separation of Business and Personal Emails, Jabbari et al, 2006 > によると、e-mailに対する個人的/業務的の2値分類タスクで自動分類器は訓練された人間の精度に追いついています。
それもいいけど (スコア:0)
Re: (スコア:0)
普通のスパムフィルタはとっくに入ってる。
Gmailのスパムフィルタはかなり優秀な方だよ。
Re: (スコア:0)
この前航空会社からのE-ticketを迷惑メール箱行きにしてくれやがった。
問い合わせの課金弁償しろ。
その前は、Gmailから送られてきた友人のメールがスパム扱いになったこともｗ
同じところからのメールでも、日によってスパム扱いされたりされなかったり、謎なアルゴリズムだ。
Re: (スコア:2)
そりゃ、メール本文も参照してSPAM判定していますから。
もちろん誤分類をすることもありますが、おそらくは人間が手で分類するよりは少ないと思いますよ。
Re: (スコア:0)
> もちろん誤分類をすることもありますが、おそらくは人間が手で分類するよりは少ないと思いますよ。
さすがにそれは分類器を信用し過ぎです．
そもそも，人間がスパムだと思わないメールがあったら，それはスパムではないわけで．
いろいろな人が，人間の判断に近付けるような自動分類手法を開発しているけれど，F1値を1にするのは(まだ?)無理です．
Re: (スコア:2)
残念ながら、問題はそんなに単純ではありません。人間も凡ミスでスパム判定を誤ります。
さらに、人間には見落しや操作ミスの問題もあります。To err is humanってやつです。
スパム判定の場合には、単純ベイズ分類器でも98%の精度が出ています。
スパムかどうかの判定を訓練されていない一般の人間が相手をするのならば自動分類のほうが精度は高いです。
スパム以外の判定でも、
Towards the Orwellian Nightmare: Separation of Business and Personal Emails, Jabbari et al, 2006
によると、e-mailに対する個人的/業務的の2値分類タスクで自動分類器は訓練された人間の精度に追いついています。
Re:それもいいけど (スコア:0)
> Towards the Orwellian Nightmare: Separation of Business and Personal Emails, Jabbari et al, 2006
> によると、e-mailに対する個人的/業務的の2値分類タスクで自動分類器は訓練された人間の精度に追いついています。
論文はダウンロードはしたものの，ちゃんと読む時間がないので一般論しか書けません．ごめんなさい．
当たり前ですが，正解集合の作成者は人間ですから，正解集合を作った人より精度が高い分類というのは存在しえません．
この論文も，人間の被験者と自動分類器を比べたとき，作成者の判断に近いのは自動分類器だったという話ですよね．
スパムかどうかを決めるのはMUAの利用者なわけですから，利用者こそが正解集合を作る人になります．
もちろん，誤操作や見落しの問題はありますが，十分時間を与えれば解決できます．
(もし解決できないなら，正解集合を作ることもできないので，自動分類システムの精度も評価できません)
元のコメントでは，前提条件なしに「人間が手で分類するよりは」と書いていましたので，私は利用者自身が十分に時間をかけて分類する場合を想定しました．
# 私自身は，スパムなどの自動分類器には肯定的です．
# 分類に失敗したメールが無いかを確認しなければなりませんが，まとめて作業すれば労力を減らせるからです．
Re: (スコア:0)
一日一万通のスパムを受け取るとして、そのうち千通しか処理できないなら、利用者自身による分類の精度はわずか10%です。スパムフィルタは98%の精度で処理できるので、利用者は残りの2%だけ処理すればいいわけですね。
Re:それもいいけど (スコア:2)
通常、正解集合は1つのメールを複数人に判定させて作成します。
もちろん判定が人によって食い違うものがあります。
新聞記事のトピック分類では主観により「政治」か「経済」かで分かれることもありますが、
スパム判定では大抵が人間の誤判断による食い違いです。
この食い違いが人間の誤り率となってあらわれます。
Re: (スコア:0)
ええ，評価実験では主観的な分類を客観的なものに近付けるために，そのような手順をとります．
(むしろ，多くの実験では，できるだけ既存の正解集合を使用するわけですが．)
しかし，実環境では正解を決めるのは利用者個人であって，合議ではありません．
「誤判断」と書かれているような評価の揺れも，ある時点の当人にとっては正しい判断です．
Re:それもいいけど (スコア:2)
実環境では、
その他にも色々と人間による「誤判定」が大量に発生しています。
これらの状況を「いや、それで正解。だって本人がそう判定したのだから」とは言えませんよね？
Re: (スコア:0)
お互いに主張がぶれているようですので，ここでコメントをやめておきます．
条件無しで「自動分類の方が人間による分類より優れている」と書くのは，ミスリーディングだということが元々の主張です．
これだけ議論が伸びたことで，その記述を丸飲みする人はほとんどいなくなったでしょうから，当初の目的は達成されたと思います．