gzipを使用した言語判定モデル、精度がほとんどのニューラルモデルを上回る
タレコミ by Patilise
Patilise 曰く、
情報元へのリンク
ACL 2023でk近傍法とgzipを組み合わせた言語判定モデルが発表された。軽量(大量のデータと処理能力が不要)、パラメータ調整不要でPythonスクリプトにして14行という簡素なものだったが、ほとんどのニューラルモデルと同程度または上回る精度となった。すべてのデータセットでgzipを上回る精度が得られたのはBERTだけだった。
情報元へのリンク
gzipを使用した言語判定モデル、精度がほとんどのニューラルモデルを上回る More ログイン