BERTによる分節化

https://gyazo.com/ce8fa595d5d7f26133dcbee2f5862c43

デフォルト「コピー」で良い

その場合、トークン列を入れて適当な長さで刻む回路になる

Scrapboxからコードリージョンなどを除いた箇条書き部分を結合して与え、正しく分割するように訓練すれば良い

不要トークンの削除

こちらは適当なデータセットがない