NISHIO Hirokazu[Translate]
Memory Network
Memory Networks (End-to-End Memory Networks の Chainer 実装)
LSTMとの比較

論文解説 Memory Networks (MemNN) - ディープラーニングブログ

old title: 記憶ネットワーク
深層学習による自然言語処理 p.99
arXiv: Memory Networks
強教師あり記憶ネットワーク

記憶の追加: m_N \leftarrow x
記憶の取り出し:
o_1 = \mathrm{argmax}_i S_O(x, m_i)
o_2 = \mathrm{argmax}_i S_O((x, m_{o_1}, m_i)
nishioこの形ではo1\neq o2が保証されないのでは？
r = \mathrm{argmax}_{w\in \mathcal{V}} S_R((x, m_{o_1}, m_{o_2}), w)

SO, SRはそれぞれ
s(x,y) = \Phi(X)^T \; U^T \; U \; \Phi(y)
\PhiはD次元への埋め込み
このSO, SRの学習に必要な教師データを用意できるかどうかが現実問題としてはシビア

そこでend-to-end memory network
end-to-end memory networks

Related Pages

  • →llm×トライグラム×n-gram×ゼロ頻度問題×kneser-ney×べき分布×rnn言語モデル×rnnlm×LSTM→
  • 言語モデル
  • →チャットボット×n-gram×LSTM×テンプレートはめ込みモデル×直接引用モデル×文章生成は必要か？→
  • ボットの発話
"Engineer's way of creating knowledge" the English version of my book is now available on [Engineer's way of creating knowledge]
(C)NISHIO Hirokazu / Converted from [Scrapbox] at [Edit]