![人工知能 人工知能](https://srad.jp/static/topics/ai_64.png)
yasuokaの日記: 形態素解析モジュールfugashiが「軽量版UniDic」を伴ってリリース
fugashi 0.1.12が正式にリリースされた、との御連絡をいただいた。今回のリリースの目玉は、unidic-liteという「軽量版UniDic」がバンドル可能になったことだ。試しにGoogle Colaboratoryで「國境の長いトンネルを拔けると、そこは雪國であった。」を形態素解析してみよう。
!pip install 'fugashi[unidic-lite]'
import fugashi
tagger=fugashi.Tagger()
doc=tagger.parse("國境の長いトンネルを拔けると、そこは雪國であつた。")
print(doc)
私(安岡孝一)の手元では、以下の結果になった。
國 クニ クニ 国 名詞-普通名詞-一般 0
境 サカイ サカイ 境 名詞-普通名詞-一般 2
の ノ ノ の 助詞-格助詞
長い ナガイ ナガイ 長い 形容詞-一般 形容詞 連体形-一般 2
トンネル トンネル トンネル トンネル-tunnel 名詞-普通名詞-サ変可能 0
を オ ヲ を 助詞-格助詞
拔け ヌケ ヌク 抜く 動詞-非自立可能 五段-カ行 仮定形-一般 0
る ル リ り 助動詞 文語助動詞-リ 連体形-一般
と ト ト と 助詞-接続助詞
、 、 補助記号-読点
そこ ソコ ソコ 其処 代名詞 0
は ワ ハ は 助詞-係助詞
雪 ユキ ユキ 雪 名詞-普通名詞-一般 2
國 コク コク 国 接尾辞-名詞的-一般
で デ デ で 助詞-格助詞
あつ アッ アル 有る 動詞-非自立可能 文語ラ行変格 連用形-促音便 1
た タ タ た 助動詞 助動詞-タ 終止形-一般
。 。 補助記号-句点
旧字旧仮名もとりあえず読めているのが、私個人としてはうれしい。できれば「國境」と「雪國」は熟語化してほしいが、まあそれは、係り受け解析でも何とかなるだろう。ちなみにfugashiは、spaCyの日本語トークナイザでもあるので、Camphrのen-udifyに直接つなぐことができる。Google Colaboratoryで、deplacyも使って試してみよう。
!pip install 'fugashi[unidic-lite]' deplacy en-udify@https://github.com/PKSHATechnology-Research/camphr_models/releases/download/0.5/en_udify-0.5.tar.gz
import pkg_resources,imp
imp.reload(pkg_resources)
from camphr.pipelines import load_udify
nlp=load_udify("ja",punct_chars=["。"])
doc=nlp("國境の長いトンネルを拔けると、そこは雪國であつた。")
import deplacy
deplacy.render(doc)
私の手元では、以下の結果になった。
國 NOUN <╗ compound
境 NOUN ═╝═╗<╗ nmod
の ADP <══╝ ║ case
長い ADJ <══╗ ║ acl
トンネル NOUN ═╗═╝═╝<╗ obj
を ADP <╝ ║ case
拔け VERB ═╗═════╝═╗═╗<╗ advcl
る AUX <╝ ║ ║ ║ aux
と SCONJ <════════╝ ║ ║ mark
、 PUNCT <══════════╝ ║ punct
そこ PRON ═╗<════╗ ║ nsubj
は ADP <╝ ║ ║ case
雪 NOUN <╗ ║ ║ compound
國 NOUN ═╝═╗<╗ ║ ║ obl
で ADP <══╝ ║ ║ ║ case
あつ VERB ═╗═══╝═╝═════╝═╗ root
た AUX <╝ ║ aux
。 PUNCT <══════════════╝ punct
「國境」と「雪國」をcompoundで処理してくれていて、まずまずの結果だ。なお、fugashiの公式ページによれば、
!pip install 'fugashi[unidic]'
!python -m unidic download
で、現代書き言葉UniDicをダウンロードできるはずなのだが、私の手元のGoogle Colaboratoryではうまくいかなかった。うーん、そこはmsg.failじゃなくて、ユーザに「Downloadしていい?(Y/n)」って聞くように、改造した方がいいのかしら?
形態素解析モジュールfugashiが「軽量版UniDic」を伴ってリリース More ログイン