yasuokaの日記： 望遠鏡は「望遠」「鏡」なのか「望」「遠鏡」なのか

AdobeのNLP-Cube1.0.5に、新たなモデル1.1がリリースされたとの御連絡をいただいたので、とりあえず日本語モデル1.1をインストールしてみた。

% pip3 install nlpcube
% python3
>>> from cube.api import Cube
>>> Cube(verbose=True).load("ja",1.1)
>>> quit()

wiki.ja.vecをダウンロードしなくなっているので、インストールがそこそこ早い。試しに「望遠鏡で泳ぐ彼女を見た」を解析してみよう。

% python3
>>> from cube.api import Cube
>>> ja_nlpcube=Cube(verbose=True)
>>> ja_nlpcube.load("ja",1.1)
>>> from cube.io_utils import conll
>>> d=conll.Dataset()
>>> d.sequences=ja_nlpcube("望遠鏡で泳ぐ彼女を見た")
>>> d.write_stdout()

この結果、私(安岡孝一)の手元では、以下のUniversal Dependenciesが出力された。

1 望 望 NOUN _ _ 2 compound _ SpaceAfter=No
2 遠鏡 遠鏡 NOUN _ _ 4 obl _ SpaceAfter=No
3 で で ADP _ _ 2 case _ SpaceAfter=No
4 泳ぐ 泳ぐ VERB _ _ 5 acl _ SpaceAfter=No
5 彼女 彼女 PRON _ _ 7 obj _ SpaceAfter=No
6 を を ADP _ _ 5 case _ SpaceAfter=No
7 見 見る VERB _ _ 0 root _ SpaceAfter=No
8 た た AUX _ _ 7 aux _ SpaceAfter=No

うーん、望遠鏡が「望」←compound─「遠鏡」になってしまっていて、かなりマズイ。以前の日本語モデル1.0に比べても、残念ながら精度が下がっているように見える。やっぱりwiki.ja.vecを使わないと、未知語が増えちゃうのかなぁ。