Feature Matching for Text Generation
Eってなんだ？→Encoder
Soft-argmax approximation
argmaxは微分可能でないので扱いに難しさがあるが、これをsoftmaxに置き換えても良いのではないか、って提案。
W[\arg\max_i x_i] \approx W \mathrm{softmax}(L x_i)
ここでLは1000とかの大きなスカラーで、L→∞の極限ではargmaxに一致する。
計算の安定性は別途きにする必要がありそう。関連 logsumexp
Related Pages
- →自然言語処理×深層学習×rnn×LSTM×gru×recursive_neural_networks×tree-rnn×cnn×分散表現×lbl_model×対数双線形モデル×word2vec×skip-gram×cbow×seq2seq×注意機構×Memory Network→
"Engineer's way of creating knowledge" the English version of my book is now available on [Engineer's way of creating knowledge]
(C)NISHIO Hirokazu / Converted from [Scrapbox] at [Edit]