「jstroberta-base-manbyo-wordpieceは「夜の底が[MASK]なった。」の[MASK]に何を埋めてくるのか」記事へのコメント

補足

[hellorusk (50104)]

こんにちは。モデル作成に携わっていた者です。 jstroberta-base-manbyo-wordpiece という名前は医療ドメインであることがわかりにくいので、jmedroberta-base-manbyo-wordpiece に変更しました（もしかしたら古い名前のままでも動くかもしれませんが...） また、/usr/local/lib/mecab/dic/userdic 以外にユーザ辞書を入れても動かせるかと思います。この点は説明不足で不親切だったのでモデルの README にも追記しました。 ``` !wget https://sociocom.jp/~data/2018-manbyo/data/MANBYO_201907_Dic-utf8.dic [sociocom.jp] !mv MANBYO_201907_Dic-utf8.dic /an

Re:

[hellorusk (50104)]

すみません、スラドでのコードブロックの書き方がよくわからなかったので、こちらに書きました https://gist.github.com/kaisugi/e125957e0aa6bd17f4da31d3f2ea237b [github.com]

Re:補足

[yasuoka (21275)]

!pip install transformers fugashi ipadic
import os
url="https://sociocom.jp/~data/2018-manbyo/data/MANBYO_201907_Dic-utf8.dic"
f=os.path.basename(url)
!test -f {f} || curl -LO {url}
from transformers import AutoTokenizer,pipeline
fmp=pipeline(task="fill-mask",model="alabnii/jmedroberta-base-manbyo-wordpiece",tokenizer=AutoTokenizer.from_pretrained("alabnii/jmedroberta-base-manbyo-wordpiece",mecab_kwargs={"mecab_option":"-u "+f}))
print(fmp("夜の底が[MASK]なった。"))

で、カレントディレクトリにも置けることを確認しました。どうもありがとうございます。