パスワードを忘れた? アカウント作成
この議論は、yasuoka (21275)によって ログインユーザだけとして作成されたが、今となっては 新たにコメントを付けることはできません。

Re: roberta-base-japanese-with-auto-jumanppのトークナイザはsentencepieceを必要としないのか」記事へのコメント

  • by yasuoka (21275) on 2022年10月18日 13時15分 (#4345778) 日記

    された [huggingface.co]ようです。これで、以下のGoogle Colaboratory向けプログラムが「正しく」動くようになりました。

    !test -d jumanpp-2.0.0-rc3 || curl -L https://github.com/ku-nlp/jumanpp/releases/download/v2.0.0-rc3/jumanpp-2.0.0-rc3.tar.xz | tar xJf -
    !test -x /usr/local/bin/jumanpp || ( mkdir jumanpp-2.0.0-rc3/build && cd jumanpp-2.0.0-rc3/build && cmake .. -DCMAKE_BUILD_TYPE=Release && make install )
    !pip install transformers pyknp
    from transformers import pipeline
    fmp=pipeline("fill-mask","nlp-waseda/roberta-base-japanese-with-auto-jumanpp")
    print(fmp("国境の[MASK]トンネルを抜けると雪国であった。"))

開いた括弧は必ず閉じる -- あるプログラマー

処理中...