アテンションの移動式投票に関連しての議論
Differential Transformerの話は、私に新しい視点を与えてくれたように思う。これはもちろん機械学習の分野の話だが、アナロジーとして人間に広げると、注意というものを考える時に個人だけを見るのではなく複数の人での違いに注目することが有益かもしれないと示唆してくれる
Differential Transformer