パスワードを忘れた? アカウント作成
15677236 journal
人工知能

yasuokaの日記: esupar向け国語研長単位係り受け解析用DeBERTaモデルを公開

日記 by yasuoka

5月23日24日28日の日記で作成した日本語DeBERTa(V2)モデル(青空文庫元データ2.37億字+異体字増量分0.64億字)を、esuparUD_Japanese-GSDLUWでファインチューニングしてみた。『Transformersと国語研長単位による日本語係り受け解析モデルの製作』の表4・表5と同様に、とりあえずUPOS/LAS/MLASで評価した結果を以下に示す。

  • deberta-small-japanese-luw-upos
    構築時の評価(evaluation) 90.79/87.29/71.86 テスト(predict) 89.47/84.42/68.00
    共通テスト『国語』第1問【文章Ⅰ】82.65/70.14/50.35 【文章Ⅱ】88.71/79.08/58.62
  • deberta-base-japanese-luw-upos
    構築時の評価(evaluation) 96.19/91.41/82.22 テスト(predict) 96.07/90.55/81.44
    共通テスト『国語』第1問【文章Ⅰ】92.31/82.52/63.62 【文章Ⅱ】96.18/87.24/69.54
  • deberta-large-japanese-luw-upos
    構築時の評価(evaluation) 96.39/92.25/83.10 テスト(predict) 96.39/91.00/82.06
    共通テスト『国語』第1問【文章Ⅰ】92.50/82.38/64.09 【文章Ⅱ】95.76/85.57/70.09

条件を揃えきれていないものの、ざっと見た限り、私(安岡孝一)が以前作ったRoBERTaモデル群よりは性能がいい。一方で東北大学のBERTモデル群(日本語Wikipedia 13億字)には、まだまだ及ばないようだ。ただ、元データを増やすと、それだけ学習時間が必要となるので、さて、どうしたものかな。

この議論は、yasuoka (21275)によって「 ログインユーザだけ」として作成されている。 ログインしてから来てね。
typodupeerror

弘法筆を選ばず、アレゲはキーボードを選ぶ -- アレゲ研究家

読み込み中...