1月18日・1月19日の日記のカラミで、国語研長単位コーパスUD_Japanese-GSDLUWをざっとチェックし直したのだが、「はありません」の扱いがイマイチ分からなかった。私(安岡孝一)なりに、4つほど例文を並べてみよう。

まずはsent_id = test-s78の「筋ではありません」。

佐藤知己『アイヌ語学の諸問題 : 近年の議論と関連して』(北海道大学文学研究院紀要, 第165号(2021年12月), pp.1-29)を読んでいたところ、p.4に出てくる

ohaw pirkano ukopoye wa, itanki or o yan.

が、果たしてアイヌ語Universal Dependenciesで書けるのかどうか、気になった。とりあえず、私(安岡孝一)の知識の範囲内で書くと、以下のようになる。

昨日の日記に加えて、大学入学共通テスト「国語」第1問【文章Ⅱ】も、国語研長単位Universal Dependenciesで書いてみることにした。

一昨昨日の日記の続きだが、大学入学共通テスト「国語」第1問【文章Ⅰ】を、国語研長単位Universal Dependenciesで書いてみることにした。

大学入学共通テスト初日の「国語」第4問(漢文)は、『揅経室集』から蝶夢園が出題された。Universal Dependenciesで見てみよう。

昨日の日記で紹介したcl-tohoku/roberta-base-japaneseだが、RobertaJapaneseTokenizerをあきらめてBertJapaneseTokenizerで置き換えることを考えてみた。端的にはSentencePieceからWordPieceへの乗り換えになるので、精度が下がるのは致し方ないのだが、to_zenkaku=Trueをエミュレートするためにvocab_fileそのものを入れ替えることにしたので、かなりヤヤコシクなった。Google Colaboratoryでやってみよう。

日本語BERT/RoBERTa/ALBERTモデルのトークナイザ比較でcl-tohoku/roberta-base-japaneseも扱いたかったのだが、RobertaJapaneseTokenizerという謎のトークナイザを使っているらしく、どうもうまくいかなかった。それで私(安岡孝一)なりにアレコレ悩んで、XLMRobertaTokenizerとBertJapaneseTokenizerの組み合わせで、それらしいトークナイザをデッチ上げてみた。Google Colaboratoryで試してみよう。

昨日の日記でデッチ上げたBertJapaneseTokenizerFastだが、テキストペアのlistを受け取れるようにすると同時に、[UNK]の処理を多少改善してみた。Google Colaboratoryで動かしてみよう。

昨年12月26日の日記で、私(安岡孝一)は以下のように書いた。

一方で、fugashi(というかBertJapaneseTokenizer)をトークナイザに使うと、オプションにreturn_offsets_mapping=Trueが効かないため、11月26日の日記で書いたような手法が適用できない。うーん、国語研短単位をサポートするようなPreTrainedTokenizerFastを、何とかデッチ上げるしかないかな。

年末にかけて作成した青空文庫RoBERTaモデル6種類(これとこれとこれとこれとこれとこれ)を比較すべく、