直接引用モデル

チャットボットが会話文を生成するのではなく、単純に書籍などの一節を引用する、というモデル

2018-09-30

• 学習でやろうとしていた
• カギカッコ、中黒、句点などで区切るルールベースに変えた
• 結局のところ「途切れた文章」が生み出されるのが一番頻度の高いバッドパターンなので句点で区切るだけにした
• どちらかというと、この「一文」を入力データとして受け取って、指示語を削るなどして出力するseq2seqのほうが筋が良いのでは
  • 初期値として素通しにしておく
  • 単語ベース入力、削除する単語の時は空文字列を出力
  • っていうか「素通しするか削除するか」の二値分類がいいのか？

• 引用文自体のモデル
• 引用開始点のモデル
• 引用終了点のモデル

特徴量

• キーフレーズを含む 1/0

• 単語境界である 1/0

• 適度な長さである 適度の定義は何？

• 直前に句点がある 1/0

• 開始点・終了点のモデルはローカルな特徴量だけで計算できるものにしたらいい

  • 周囲の数単語の文脈

• 引用文の長さの適切さは、引用文自体のモデルとして作れば良い

• 引用文自体の良さのモデルはLSTMで作る

• 両方確率モデルにした上で掛け合わせて使えば良い