アカウント名:
パスワード:
残念ながら、未知語に対する動作が異なっているようです。たとえば
print(tokenizer.tokenize("スペードは♠と♤がある"))
の結果が
['[UNK]']
1つだけになってしまってイマイチです。さて、どう改良したものか…。
頑張って、今日の日記 [srad.jp]でバグフィックスしておきました。なかなか難しい…。
より多くのコメントがこの議論にあるかもしれませんが、JavaScriptが有効ではない環境を使用している場合、クラシックなコメントシステム(D1)に設定を変更する必要があります。
UNIXはただ死んだだけでなく、本当にひどい臭いを放ち始めている -- あるソフトウェアエンジニア
未知語に対する動作 (スコア:2)
残念ながら、未知語に対する動作が異なっているようです。たとえば
の結果が
1つだけになってしまってイマイチです。さて、どう改良したものか…。
Re:未知語に対する動作 (スコア:2)
頑張って、今日の日記 [srad.jp]でバグフィックスしておきました。なかなか難しい…。