NISHIO Hirokazu[日本語][English]

縮小付き内積注意

Scaled Dot-Product Attention
縮小付き内積注意
これsoft-argmax近似と逆にSoftmaxの手前で小さくする方向のスケールをかける
要するにソフト注意をよりソフト化する行為

(C)NISHIO Hirokazu / Converted from Markdown (ja)
Source: [GitHub] / [Scrapbox]