yasuokaの日記： gojiteji/byt5-small-jpn-ain-mtによる日本語→アイヌ語自動翻訳

1月25日の日記で少しだけ紹介したgojiteji/byt5-small-jpn-ain-mtだが、やはり日本語→アイヌ語自動翻訳は難しいらしい。

$ pip3 install -U transformers --user
$ python3
>>> from transformers import AutoTokenizer,AutoModelForSeq2SeqLM,TranslationPipeline
>>> tkz=AutoTokenizer.from_pretrained("gojiteji/byt5-small-jpn-ain-mt")
>>> mdl=AutoModelForSeq2SeqLM.from_pretrained("gojiteji/byt5-small-jpn-ain-mt")
>>> pipeline=TranslationPipeline(tokenizer=tkz,model=mdl,max_length=384)
>>> print(pipeline("法を以て教を為す"))
[{'translation_text': 'epakasnu'}]

うーん、さすがに「epakasnu」一言ってのは、いくら何でも訳せなさすぎだと思う。「irenka ani ipawetenke」とまでは言わないが、もう少し何とかならないんだろうか。さて、こういうの、どうやって改良すればいいんだろ。