aitoの日記： 9/25

• このペースだと日記でなく月記だね．
• NICHeでハッチェリスクエア入居ヒアリング．部屋を借りるだけにしては えらく大げさな審査があるもんだ．
• 雑用がせっぱつまってきたので本業に逃避する．というわけで，ランク言語モデル というのを考えてテスト．あるコンテキストの単語出現確率の対数とランクの対数を 最小2乗で直線近似して，それを正規化することによって確率を算出する．

  毎日新聞95年のデータでtrigramを作成し，96年の冒頭10000文で評価してみる．

  モデル PP
  --------------------------------
  オリジナル 65.2709
  ランク(case 1) 93.9116
  ランク(case 2) 72.2116
  case 2は最小2乗に単語の出現確率で重みをつけたもの．けっこういい線いってるかも．