「電話の音声から振り込め詐欺を検出する技術が開発される」記事へのコメント

だから

[racco (37699)]

精度ってなんだよ、、、

Re:だから

[foxlove (36333)]

確率みたいなもの、なのかな？

・10回中9回は正しく判定できる。
・10回中1回は誤報or検出できずになる。

開発段階での数字らしいですが、実用化には9がもう一つほしいです。
この手のアラームって、誤報が多いと無視されるようになっちゃうし。

--
にゃー。

Re:

[Anonymous Coward]

その「10回」の動作検証には、本物の振り込め詐欺を使ったのかなあ。

Re:だから

[monaoh (12125)]

その「10回」の動作検証には、本物の振り込め詐欺を使ったのかなあ。

使ってません。
手元の新聞によると、事前に同意を得た人に対して振り込め詐欺を装って行った実験だそうです。

Re:だから

[shibuya (17159)]

通話を分析 振り込め詐欺防ぐ技術(3月19日 17時40分) [nhk.or.jp]の動画では 00:22/01:32に「実験」の文字がありますが、事前同意という説明はしていなかった。
にもかかわらず振り込め詐欺現物ではないと独り決めしていたわたしの判断は短絡的だったと言わざるをえないということになる。

Re:

[Anonymous Coward]

本物の詐欺師と、詐欺ではなく本当に振込をして欲しい人と、演技を区別できるのではないのですね

Re:

[Anonymous Coward]

実用上、演技を区別する必要はないと思うけどね。

Re:

[Anonymous Coward]

100回電話とっても10回も振り込め詐欺に合わないから、普通は90%以上正しく判定できるよね。

Re:

[Anonymous Coward]

砂漠において常に晴れを予報する天気予報の精度ってどうやって定義するんだろう？

Re:だから

[funakichi (28497)]

こういう気圧配置の時は、同様の気圧配置の過去のデータから降水確率X％とか計算するらしいですから。 砂漠にも年に何回かは、雨が降りそうな気圧配置が予想されて、そういう時は降水確率も高めに出るんじゃないすかね？

Re:だから

[funakichi (28497)]

"通話相手の音声から「借金」や「補償」など、特徴的なキーワード"が出るときは、砂漠に雨が降りそうな気圧配置のときみたいなもん…なのかどうか。

Re:

[Anonymous Coward]

日本だって1年の7割は晴れで、気象庁の的中率も7割だから、砂漠の天気予報と大差ない。

Re:

[Anonymous Coward]

気象庁は降水確率をだしているわけだから、的中率という言葉はそんなに簡単ではない。

降水確率が80%と言っている100日のうち100日が雨だったら、的中したとはいえない。
かといって、降水確率が80%の日を100日集めてきたときに80日が雨で20日が雨なしならば、100%的中しているといえるか？

Re:

[Anonymous Coward]

こういうのの精度を示すときは、普通はPrecision(適合率)と再現率(Recall)を表記するのがお作法ですね。
Precisionとは、詐欺と判定した件数のうち、正解の割合を示します。
Precisionが低いと、普通の電話を詐欺呼ばわりしまくることになるので、苦情が相次ぐでしょう。
Recallとは、詐欺を見つけられた割合を示します。
Recallが低いと、詐欺電話を見逃す割合が高く、システムとして使い物になりません。

例えば、「振り込め詐欺の電話」のサンプル数が100、「普通の電話」のサンプル数が200であり、
このシステムでそれらを識別したところ、以下のような結果が出たとします。

Re:

[Anonymous Coward]

recallは精度とは言わないでしょう。
precisionやaccuracyを精度といいます。

実際、普通の通話を500回繰り返したら500回詐欺だと判定したとしても、詐欺電話を50回したときに45回詐欺だと判定したならばrecallは90%になる。