アカウント名:
パスワード:
こういうのの精度を示すときは、普通はPrecision(適合率)と再現率(Recall)を表記するのがお作法ですね。Precisionとは、詐欺と判定した件数のうち、正解の割合を示します。Precisionが低いと、普通の電話を詐欺呼ばわりしまくることになるので、苦情が相次ぐでしょう。Recallとは、詐欺を見つけられた割合を示します。Recallが低いと、詐欺電話を見逃す割合が高く、システムとして使い物になりません。
例えば、「振り込め詐欺の電話」のサンプル数が100、「普通の電話」のサンプル数が200であり、このシステムでそれらを識別したところ、以下のような結果が出たとします。詐欺電話を正しく見分けられた件数(True Positive)=90, 詐欺電話を誤って普通扱いした件数(False Negative)=10,普通電話を誤って詐欺扱いした件数(False Positive)=15, 普通電話を正しく見分けられた件数(True Negative)=185このときPrecision=TP/(TP+FP)=90/105=85.7%、Recall=TP/(TP+FN)=90/100=90% となります。
ここで産経のニュースを見ると、「振り込め詐欺の典型的な通話を５０回繰り返し、声の変化を９０％以上検知することに成功した」とあります。記者が発表を誤解していないと仮定すると、この場合の「精度」とはRecallのことを示すと考えられます。邪推すると、まだこのシステムのPrecisionは低い(普通の電話を詐欺扱いする可能性が高い)のかもしれませんね。
recallは精度とは言わないでしょう。precisionやaccuracyを精度といいます。
実際、普通の通話を500回繰り返したら500回詐欺だと判定したとしても、詐欺電話を50回したときに45回詐欺だと判定したならばrecallは90%になる。
より多くのコメントがこの議論にあるかもしれませんが、JavaScriptが有効ではない環境を使用している場合、クラシックなコメントシステム(D1)に設定を変更する必要があります。
海軍に入るくらいなら海賊になった方がいい -- Steven Paul Jobs
だから (スコア:2)
Re:だから (スコア:0)
こういうのの精度を示すときは、普通はPrecision(適合率)と再現率(Recall)を表記するのがお作法ですね。
Precisionとは、詐欺と判定した件数のうち、正解の割合を示します。
Precisionが低いと、普通の電話を詐欺呼ばわりしまくることになるので、苦情が相次ぐでしょう。
Recallとは、詐欺を見つけられた割合を示します。
Recallが低いと、詐欺電話を見逃す割合が高く、システムとして使い物になりません。
例えば、「振り込め詐欺の電話」のサンプル数が100、「普通の電話」のサンプル数が200であり、
このシステムでそれらを識別したところ、以下のような結果が出たとします。
詐欺電話を正しく見分けられた件数(True Positive)=90, 詐欺電話を誤って普通扱いした件数(False Negative)=10,
普通電話を誤って詐欺扱いした件数(False Positive)=15, 普通電話を正しく見分けられた件数(True Negative)=185
このときPrecision=TP/(TP+FP)=90/105=85.7%、Recall=TP/(TP+FN)=90/100=90% となります。
ここで産経のニュースを見ると、「振り込め詐欺の典型的な通話を５０回繰り返し、声の変化を９０％以上検知することに成功した」とあります。
記者が発表を誤解していないと仮定すると、この場合の「精度」とはRecallのことを示すと考えられます。
邪推すると、まだこのシステムのPrecisionは低い(普通の電話を詐欺扱いする可能性が高い)のかもしれませんね。
Re: (スコア:0)
recallは精度とは言わないでしょう。
precisionやaccuracyを精度といいます。
実際、普通の通話を500回繰り返したら500回詐欺だと判定したとしても、詐欺電話を50回したときに45回詐欺だと判定したならばrecallは90%になる。