yasuokaの日記： 簡化字版漢文解析エンジンとしての甲言Jiayan 3
私(安岡孝一)の一昨昨日の日記に対して、甲言Jiayanは簡化字による古典中国語(漢文)解析ツールなので、対象を簡化字に直してから使うべきだ、との御助言をいただいた。私の手元ではインストールが済んでいるので、令和の元ネタを簡化字に直して文切りさせてみよう。
% python3
>>> reiwa="天平二年正月十三日萃于帅老之宅申宴会也于时初春令月气淑风和梅披镜前之粉兰薰珮后之香加以曙岭移云松挂罗而倾盖夕岫结雾鸟封縠而迷林庭舞新蝶空归故雁于是盖天促膝飞觞忘言一室之里开衿烟霞之外淡然自放快然自足若非翰苑何以摅情诗纪落梅之篇古今夫何异矣宜赋园梅聊成短咏"
>>> import jiayan
>>> lm=jiayan.load_lm("jiayan_models/jiayan.klm")
>>> sentencizer=jiayan.CRFSentencizer(lm)
>>> sentencizer.load("jiayan_models/cut_model")
>>> d=sentencizer.sentencize(reiwa)
>>> print(d)
['天平二年正月十三日萃于帅老之宅', '申宴会也', '于时初春令月气', '淑风和梅', '披镜前之粉', '兰薰珮后之香', '加以曙岭', '移云松挂罗而倾盖夕岫', '结雾鸟封縠', '而迷林庭', '舞新蝶空归故雁', '于是盖天促膝', '飞觞忘言', '一室之里', '开衿烟霞之外', '淡然自放', '快然自足', '若非翰苑', '何以摅情诗纪', '落梅之篇', '古今夫何异矣', '宜赋园梅', '聊成短咏']
残念ながら、あまり改善されているように見えない。続いて、単語切りと品詞付与も見てみよう。
>>> tokenizer=jiayan.CharHMMTokenizer(lm)
>>> t=list(tokenizer.tokenize(reiwa))
>>> postagger=jiayan.CRFPOSTagger()
>>> postagger.load("jiayan_models/pos_model")
>>> p=postagger.postag(t)
>>> print(" ".join(i+"/"+j for i,j in zip(t,p)))
天平/n 二年/nt 正月/nt 十三/m 日/q 萃/v 于/p 帅/a 老/a 之/u 宅/n 申/v 宴会/n 也/d 于/p 时/n 初/nd 春/nt 令/v 月/n 气/n 淑/v 风/n 和/c 梅/n 披/v 镜前/n 之/u 粉/n 兰薰/v 珮/v 后/nd 之/u 香/n 加/v 以/p 曙/n 岭/n 移/v 云/n 松/v 挂/v 罗/j 而/c 倾盖/v 夕/nt 岫/v 结/v 雾/n 鸟/n 封/v 縠/n 而/c 迷/v 林/n 庭/n 舞/v 新/a 蝶空/n 归故/v 雁/n 于/p 是/v 盖天/v 促膝/v 飞觞/n 忘言/v 一/m 室/n 之/u 里/nd 开/v 衿/v 烟霞/n 之/u 外/nd 淡然/a 自/d 放/v 快然/n 自/r 足/a 若/c 非/d 翰苑/v 何/r 以/p 摅情/v 诗/n 纪/n 落梅/a 之/u 篇/n 古今/n 夫/n 何/r 异/a 矣/u 宜/v 赋/v 园/n 梅/n 聊/v 成/v 短/a 咏/n
品詞付与において、「也」がd (adverb)に、「和」がc (conjunction)に、「夫」がn (noun)になってしまっているのが、私個人としては全く納得がいかない。うーむ、この甲言Jiayanの品詞体系、いったいどの文法書に従ってるんだろ？
あからさまに (スコア:2)
あからさまに現代中国語というか、明清ならそれもあるのかなぁと思うのですが。
正統な漢文というか、やや白話よりの文章なんでしょうか。
也がadverbなのは、初めて中国語を習ったときに、「なんでここに也があるのよ」と
混乱を来した記憶があるので、よく覚えています。中国語は忘れましたが。
「和」は「与の代わり」と言われて、何となく納得しました。
「夫」をnounで読んだら、先生にこっぴどく吊されたなぁという二十年以上前の
甘塩っぱい記憶が……。あと、指示する中身があるかどうかでも。
LTPの影響 (スコア:2)
甲言Jiayanの中の人と少し話してみた [github.com]のですが、LTP [ltp.ai]っていう現代中国語解析エンジンの影響をかなり受けてて、品詞付与もその路線になってるみたいです。
Re:LTPの影響 (スコア:2)
ご教示ありがとうございます。
なるほど。それならしかたがないですねぇ。逆に、どの時代あたりの文章なら
上手くいくようになるのかがは興味があります。
それともテキストの種類なのかもしれませんが。