yasuokaの日記： tatoebaデータセットにおけるアイヌ語ain日本語jaパラレルコーパス

私(安岡孝一)の11月6日の日記の読者から、datasetsが1.16.1にバージョンアップされて、最新のtatoebaが使えるようになった、との連絡をいただいた。これで、アイヌ語と日本語のペアもダウンロードできるようになったので、さっそく試してみよう。

$ pip3 install -U datasets --user
$ python3
>>> from datasets import load_dataset
>>> d=load_dataset("tatoeba",lang1="ain",lang2="ja")
>>> print(d)
DatasetDict({
    train: Dataset({
        features: ['id', 'translation'],
        num_rows: 18
    })
})

アイヌ語と日本語のペアは、18組あるようだ。全部みてみよう。

>>> print(d["train"][:])
{'id': ['0', '1', '2', '3', '4', '5', '6', '7', '8', '9', '10', '11', '12', '13', '14', '15', '16', '17'], 'translation': [{'ain': 'hemanta monrayke e-ki?', 'ja': '何の仕事をしているんですか。'}, {'ain': 'hemanta monrayke a-ki ruwe an?', 'ja': '何の仕事をしているんですか。'}, {'ain': 'icen poronno ku-kor.', 'ja': 'お金はたくさん持ってるよ。'}, {'ain': 'kesto Tom piano eyayaskayre.', 'ja': 'トムは毎日ピアノを練習するよ。'}, {'ain': 'aynu itak ku-ye eaykap.', 'ja': 'アイヌ語はしゃべれません。'}, {'ain': 'aynu itak ku-ye easkay.', 'ja': 'アイヌ語、話せるよ。'}, {'ain': 'aynu itak pirkano ku-ye easkay.', 'ja': 'アイヌ語なら上手に話せるよ。'}, {'ain': 'aynu itak pirkano ku-ye eaykap.', 'ja': 'アイヌ語が上手く話せないんだ。'}, {'ain': 'aynu itak e-ye easkay?', 'ja': 'アイヌ語って話せる？'}, {'ain': 'aynu itak e-ye easkay?', 'ja': 'アイヌ語を話すの？'}, {'ain': 'aynu itak ponno patek ku-ye easkay.', 'ja': 'ほんの少ししかアイヌ語は話せないよ。'}, {'ain': 'aynu itak ponno patek ku-ye easkay.', 'ja': '少しだけアイヌ語が話せます。'}, {'ain': 'somo, Tom sekor ku-rehe ka somo ne. Mari sekor ku-rehe ne.', 'ja': '違います。トムではなく、メアリーと言います。'}, {'ain': 'somo, Tom sekor ku-rehe ka somo ne. Mari sekor ku-rehe ne.', 'ja': '違うよ。名前はトムじゃなくてメアリーだよ。'}, {'ain': 'apto as kuni ku-ramu.', 'ja': '雨が降ると思います。'}, {'ain': 'iruka en-sinire yan.', 'ja': 'ちょっと休憩させてください。'}, {'ain': 'Yaunmosir ta oka-an ruwe?', 'ja': '北海道にお住まいですか？'}, {'ain': '', 'ja': ''}]}

私の勉強が足りないのか「kesto Tom piano eyayaskayre.」という文が、どうにも分からない。Tomとpianoは外来語だとしても、eyayaskayreってe-yay-askay-reなんだろうか。だとすると、読みにくいので、せめてeyay'askayreにしてほしいなあ。