「Bellman-FordはEvaHan 2022 Bakeoffの夢を見るか」記事へのコメント

CRF

[murawaki (48618)]

言語は系列データなので、一般のグラフアルゴリズムよりも、系列データであることを利用した手法を使うことが多いです。 タグ付けで標準的なのは (linear chain) CRFです。 https://pytorch.org/tutorials/beginner/nlp/advanced_tutorial.html [pytorch.org] https://pytorch-crf.readthedocs.io/en/stable/ [readthedocs.io] トークンごとの分類器が吐く logit を CRF における emission スコアとみなしたうえで、transition スコアを追加していることになります。 BIタギングなら、(品詞の異なり数 x 2) ^ 2 大きさの tr

Re:CRF

[yasuoka (21275)]

ありがとうございます。今回、復旦大学グループがCRF (Conditional Random Fields)を使っているので、そっちの方が精度あがるんだろうな、と思いつつも、アマノジャクなので別のアルゴリズムを試したくなってしまうのです。でも結局、今のところはCRFなのかなぁ…。