NISHIO Hirokazu[Translate]
縮小付き内積注意
Scaled Dot-Product Attention
縮小付き内積注意
これsoft-argmax近似と逆にSoftmaxの手前で小さくする方向のスケールをかける
要するにソフト注意をよりソフト化する行為

Related Pages

  • →焦点×無視×意識×限られたリソース×重要×情報過多×注意×注意機構×加算注意×内積注意×ソースターゲット注意×自己注意→
  • アテンション
  • →未来の検索技術×「似てる」と「次に来そう」の違い×加法注意×内積注意×次元削減注意×類似度×似てる→
  • CybozuHackathon2019
  • →注意×attention×ハード注意機構×加法注意×内積注意×双線形×ソースターゲット注意×自己注意×cnn×注意機構×cnnと自己注意×rnn×隠れ状態→
  • 注意機構
  • →内積×ソフトマックス×内積注意×双線形×log_bilinear_model×bilinear×mnih_&_hinton,_2007→
  • 対数双線形モデル
"Engineer's way of creating knowledge" the English version of my book is now available on [Engineer's way of creating knowledge]
(C)NISHIO Hirokazu / Converted from [Scrapbox] at [Edit]