BERTによる分節化

BERTによる分節化 #知識の液状化

• デフォルト「コピー」で良い
  • see コピー機構
  • その場合、トークン列を入れて適当な長さで刻む回路になる
  • Scrapboxからコードリージョンなどを除いた箇条書き部分を結合して与え、正しく分割するように訓練すれば良い
• 不要トークンの削除
  • こちらは適当なデータセットがない