NISHIO Hirokazu[Translate]
Sequence-to-Sequenceモデル
seq2seq、Encoder-Decoder、系列変換モデルとも。
1409.3215 Sequence to Sequence Learning with Neural Networks(2014)
自己注意機構を使うならEncoder-Decoder構成にする必要性はあまりないのでは？という気持ちがしてきた(2018-10-17)


Pointer Networks
1506.03134 Pointer Networks(2015)
ポインターを使って入力からコピーしてくることが可能に
CopyNet
1603.06393 Incorporating Copying Mechanism in Sequence-to-Sequence Learning
Pointer Sentinel Mixture Models
1609.07843 Pointer Sentinel Mixture Models
Pointer-Generator Network (2017)
1704.04368 Get To The Point: Summarization with Pointer-Generator Networks
https://qiita.com/ymym3412/items/c84e6254de89c9952c55

Related Pages

  • →要約作成に対する意思入れ×要約の概念を詳細化する×textrank×latent_semantic_analysis×encoder-decoder×ragにおけるドキュメント検索精度向上について(概要編)→
  • 大自然言語時代のための、文章要約
  • →抽出型要約生成×直接引用モデル×生成型要約生成×要約×コピー機構×pointing_the_unknown_words×seq2seq×sequence-to-sequence_rnns_for_text_summarization×amr×abstract_meaning_representation×neural_headline_generation_on_abstract_meaning_representation→
  • 要約生成
  • →注意×attention×ハード注意機構×加法注意×内積注意×双線形×ソースターゲット注意×自己注意×cnn×注意機構×cnnと自己注意×rnn×隠れ状態→
  • 注意機構
  • →rnn×cnn×注意機構׳ukasz_kaiser_et_al.,_arxiv,_2017/06×注意機構は辞書オブジェクト×加法注意×内積注意×ソースターゲット注意×自己注意×縮小付き内積注意→
  • Transformer
"Engineer's way of creating knowledge" the English version of my book is now available on [Engineer's way of creating knowledge]
(C)NISHIO Hirokazu / Converted from [Scrapbox] at [Edit]