NISHIO Hirokazu[Translate]
SAN
畳み込み層を自己注意に置き換えたもの
https://twitter.com/omiita_atiimo/status/1300214659056726016?s=21

Related Pages

  • →注意×attention×ハード注意機構×加法注意×内積注意×双線形×ソースターゲット注意×自己注意×cnn×注意機構×cnnと自己注意×rnn×隠れ状態→
  • 注意機構
  • →rnn×cnn×注意機構׳ukasz_kaiser_et_al.,_arxiv,_2017/06×注意機構は辞書オブジェクト×加法注意×内積注意×ソースターゲット注意×自己注意×縮小付き内積注意→
  • Transformer
"Engineer's way of creating knowledge" the English version of my book is now available on [Engineer's way of creating knowledge]
(C)NISHIO Hirokazu / Converted from [Scrapbox] at [Edit]