言語は系列データなので、一般のグラフアルゴリズムよりも、系列データであることを利用した手法を使うことが多いです。 タグ付けで標準的なのは (linear chain) CRFです。 https://pytorch.org/tutorials/beginner/nlp/advanced_tutorial.html https://pytorch-crf.readthedocs.io/en/stable/ トークンごとの分類器が吐く logit を CRF における emission スコアとみなしたうえで、transition スコアを追加していることになります。 BIタギングなら、(品詞の異なり数 x 2) ^ 2 大きさの transition table を訓練データから学習します。 B-a + I-b のような不正な系列は訓練データに出てこないので、普通に学習するだけテスト時に出てこなくなります。 これはこれでオーバーキル感がありますが、確立された手法なので使うことがあるといったところです。

私は論文を読んだだけで自分でプログラムを動かしたわけではないので細かいノウハウはわかりませんが、文のかわりに章を単位とするのは筋が悪いと思います。BERT の訓練は2種類の混合で、2つ目が次の文を予測する (入力された次の文が本物か、コーパス中の別の箇所からとってきた偽物か2値分類する) というものです。隣接文間で見られるような内容的一貫性は章をまたぐと失われ、この訓練の有効性も失われると予想できます。