パスワードを忘れた? アカウント作成

こちらは、tamuheyさんのユーザページですよ。 アナウンス:スラドとOSDNは受け入れ先を募集中です。

14113246 comment

tamuheyのコメント: jiebaのtokenizerを変える方法 (スコア 1) 3

jiebaのREADME(https://github.com/fxsjy/jieba#using-other-dictionaries)からtraditional chinese用の辞書をダウンロードし,以下のようにするとうまくいくかもしれません import jieba; jieba.set_dictionary("./dict.txt.big")
14111418 comment

tamuheyのコメント: 早速ありがとうございます (スコア 1) 3

なるほど,トークナイザが異なるものなのですね,,jieba向きにUdifyを調整するとなると,トレーニングデータの準備と,学習が必要となりかなりのコストがかかります. おそらくトークナイザをjiebaからUD用のものに切り替える方が良いです.(ただし繁體字用のトークナイザがspaCyに実装されているかどうかはわからない)
typodupeerror

犯人はmoriwaka -- Anonymous Coward

読み込み中...