スラドの日記が思うように書けなくなって久しいので、最近はQiitaに退避中。また戻ってきたいけどなぁ。

書けたよ。

20224/2/23 午前4時

[]

2021年12月23日の日記の読者から、NDL古典籍OCR用RoBERTa-small ver.2という単文字日本語モデルをお教えいただいた。以前、私(安岡孝一)が作ったroberta-small-japanese-aozora-charを再トレーニングして、TrOCRのデコーダーに使っているらしい。とりあえず、当該モデルをGoogle Colaboratoryで動かしてみよう。

!pip install transformers
!test -f model-ver2.zip || curl -LO https://lab.ndl.go.jp/dataset/ndlkotensekiocr/trocr/model-ver2.zip
!test -d model-ver2 || unzip model-ver2.zip
from transformers import pipeline
fmp=pipeline("fill-mask","model-ver2/decoder-roberta-v3")
print(fmp("いと小さく[MASK]ゆるはいとをかし"))

「いと小さく[MASK]ゆるはいとをかし」を穴埋めさせてみたところ、私の手元では以下の結果になった。

[{'score': 0.16102387011051178, 'token': 95, 'token_str': 'み', 'sequence': 'いと小さくみゆるはいとをかし'}, {'score': 0.05442138388752937, 'token': 51, 'token_str': 'こ', 'sequence': 'いと小さくこゆるはいとをかし'}, {'score': 0.050991836935281754, 'token': 45, 'token_str': 'き', 'sequence': 'いと小さくきゆるはいとをかし'}, {'score': 0.04673411697149277, 'token': 75, 'token_str': 'に', 'sequence': 'いと小さくにゆるはいとをかし'}, {'score': 0.0423908531665802, 'token': 108, 'token_str': 'れ', 'sequence': 'いと小さくれゆるはいとをかし'}]

漢字の「見」ではなく、ひらがなの「み」を埋めてきているが、それでも素晴らしい。だとすると、たとえば拓本文字データベースと絡めて再トレーニングすれば、さて、何かできるかなぁ。

[]

一昨昨日の日記に関連して、アイヌ語の「イワイサルㇱペ」を調べていたところ、B・ピウスツキ『樺太アイヌの言語と民話についての研究資料<26>病弱な者でも有能な憑き神によって開運する由来話』(創造の世界, 第77号 (1991年2月), pp.138-145)に、以下の文章を見つけた(p.140)。

ネヤイケヘ         そうしたら(ちょうど、そこへ)
アンポニウネ       ぼくの年下の
ホㇱキラムフ       兄さんが
キラアニエㇸマヌ   逃げてやってきた。
オーポニ           (よく見ると)その後を
イワイサルㇱカムイ 六尾をもつ神(という魔性のオオカミ)が
アンホㇱキラムフ   ぼくの兄さんを
ノㇱパ             追いかけていた。
アノㇱキラムフ     ぼくの兄さんを
アネソㇹキ         ぼくは(わきに手早く)よけ(てやり過ごし)た。(夢中に兄さんを追いかける性悪のオオカミにぼくは目をすえて)
アヌッソロマレペ   ぼくが(かねて)内ふところにしのばせていたものを
アヌイナマヌ       ぼくは取り出した。
トイキエムシアニ   (鞘を払い)トイキ(という名)刀で
イワイサルㇱペ     六尾をもつ(というオオカミの)奴を
アンタウケ         ぼくはたたき斬った。
アルパㇵノㇱキケタ (みごと)ちょうど、ど真中を
アントゥイテㇸテ   ぼくは斬(ってしま)った。

「虎」ではなく「オオカミ」らしい。Bronisław Piłsudski『Materials for the Study of the Ainu Language and Folklore』(Cracow: Imperical Academy of Sciences, 1912)の原文にあたってみよう(pp.239-240 [in Nr.27. Dictated (December 1903) by Nita aged 28 of village of Aj.])。

Nejàjḱehé am-ponínue hóśki rámhu kira ani éx manu, opóni ivaj-saruś kamúi an-hóśki rámhu nośpa. Anóśki rámhu anesóxki. An-usòmarepé anújna manu. Tóiki emuś-ani ivaj-saruśpe antáwḱe, arúpax nóśḱe-ḱeta antújtexte.

Meanwhile the younger of my elder brothers came running; following (and) pursuing my brother, (there came) a beast with six tails. I made way for my elder brother. I seized the thing in my bosom: with (my) earthen sword, I struck the six-tailed beast; just in the middle did I cut it in two.

原文は「虎」とも「オオカミ」とも書いていないようだ。日本語訳をおこなった藤村久和は「H・Y媼によれば、この動物はオオカミであって」としているものの、それを裏付ける他の文献が引用されているわけでもない。また、Piłsudski自身は、アイヌ語の「horoḱéu」を「wolf」と訳している(『Materials for the Study of the Ainu Language and Folklore』pp.199-213)。さて、どうしたものかな。

午後7時20分まで仕事。

Universal Dependencies 2.13がリリースされた、との連絡をもらった。半年前のUniversal Dependencies 2.12と較べて、Classical Armenian、Georgian、Haitian Creole、Highland Puebla Nahuatl、Macedonian、Middle French、Vepsが増えており、148の言語にまたがるツリーバンクとなっている。私(安岡孝一)個人としては、deplacyでМакедонскиを扱う際に精度が上がらず苦労したので、UD_Macedonian-MTBによるマケドニア語サポートはうれしい限りである。また、現代中国語(簡化字)はUD_Chinese-BeginnerとUD_Chinese-PatentCharが、イタリア語はUD_Italian-Oldが追加されるなど、どんどん拡大が続いている。とりあえず、先月時点での係り受け解析ツールの状況を『Universal DependenciesとBERT/RoBERTa/DeBERTaモデルによる多言語情報処理』(2023年10月版)にざっとまとめておいたので、参考にしてほしい。

午後6時20分まで仕事。

午後6時05分まで仕事。