一部引用すると > Frankly a little hard to believe that it works this well....
> it must be overfitting or something??
> (un)fortunately, this is overfitted into absolute non-generalizability, intentionally or not. backgrounds, glasses, haircuts. most probably leaky train/test split.
信じられない (スコア:1)
論文をざっと読んでいるところなのですが
この論文はデータ処理で何らかのミスをしているか，データを捏造している可能性があると思います．
https://arxiv.org/pdf/2006.01943.pdf [arxiv.org]
例えば図4ですが，耳の画像だけから，メガネの有無，髭の有無まで，推定できています．ありえません．
なぜなら，メガネの有無は個人の選択の結果なので，耳の形からそれらが予想できるとは考えづらいからです．
予想できる可能性としては，例えば耳の画像に少しだけメガネのツルが映っていたのかもしれませんが，画像をみた限りツルは見当たりませんでした．
別の可能性としては例えば乱視などは遺伝する場合もあるので，視力と耳の形には相関があるかも知れません．その場合は耳の形から視力だけなら予想できるかも知れません．
しかしメガネを使う使わないかは別問題です．コンタクト，レーシック，メガネなどの選択肢からその人がどれを選ぶかまでを耳の形から予想できるとは到底思えません．
髭も同じです．耳の形からその人が髭を剃るか剃らないからは分からないはずです．わかるならそれだけで論文になります．イグノーベル賞がもらえるかも知れません．
まだ論文をちゃんと読み終えてないので断言はできませんが，この話は
例えば訓練データの一部が性能評価用のテストデータに混入していてる(またはその方法で結果を捏造している)可能性を疑ったほうが良いかと思います．
Re:信じられない (スコア:2)
あんまり詳しくない分野でいきなり”捏造”とか言っちゃうと、つまずいた時のリカバリが難しくないですか?
Re: (スコア:0)
あんまり詳しくないけど、GANだの機械学習による画像生成だのは
捏造と表現されていまいそうだとも思うます
意図した通りに動いて捏造とは！
Re:信じられない (スコア:1)
もう少し調べてみましたので一応続報を書いておきます
1) この論文は現在査読中の論文で，専門家が内容を精査している段階
2) twitter 上でも，私と同じ意見の人が多数居る
https://twitter.com/KevinSimler/status/1268563257016475648 [twitter.com]
一部引用すると
> Frankly a little hard to believe that it works this well....
> it must be overfitting or something??
> (un)fortunately, this is overfitted into absolute non-generalizability, intentionally or not. backgrounds, glasses, haircuts. most probably leaky train/test split.
という感じです
3) 論文の著者自身もこの点は認めている
https://github.com/yamand16/ear2face [github.com]
> Discussion
> - Dataset bias
ここで反論の準備をするようです
ということで私の現時点の考えをまとめると
- この論文はこのままではrejectされる可能性がある．理由は評価実験が正しく実施されてないから．
-- 評価実験をやり直して(データセットを数百倍に増やした再実験をして)，論文を修正すれば accept されるかもしれない．
- いずれにせよ査読結果が出るまで待つしかない
となります
Re: (スコア:0)
メガネは耳にかけるからそれに関連した特有の変形があるのかもしれないですね
Re: (スコア:0)
その推定はしていません。耳画像の入力から顔画像を生成したら、眼鏡をかけていたり髭を生やしたりの顔があった，というだけです。
学習データセットの画像が眼鏡をかけていたり髭を生やしたりの顔があるので，そうした「アーティファクト」があってもそこそこの精度で再現できているよね，というのが著者の主張。
図４については，左６列で示される結果はそのようなものだと明記されています。
Re: (スコア:0)
>> 訓練データの一部が性能評価用のテストデータに混入していてる
> 図４については，左６列で示される結果はそのようなものだと明記されています。
ちなみに、あなたはどう思いましたか？著者の主張を受け入れることはできますか？
私は受け入れることができませんでした
Re: (スコア:0)
それは「私は荒らしです」って自己紹介でいいのかな
Re: (スコア:0)
あなたが受け入れることができなかった著者の主張とは、具体的にどの部分ですか？
「耳の画像から眼鏡とか髭まで推定できる」わけがないというのには同意しますが，これは著者の主張ではありません。
限られたデータセットで学習も検証もおこなっているので，過学習が起こっている可能性は高いと思います。これはピアレビューでも指摘されるはずです。
Re: (スコア:0)
学習データが
眼鏡をかけている顔→耳の画像
であれば
耳の画像から顔を推定したときに眼鏡をかけている可能性もあるのでは
それはミスでも捏造でもなく
「顔を推定する」という言葉の解釈の違い