NISHIO Hirokazu[Translate]
注意の差分
アテンションの移動式投票に関連しての議論

Differential Transformerの話は、私に新しい視点を与えてくれたように思う。これはもちろん機械学習の分野の話だが、アナロジーとして人間に広げると、注意というものを考える時に個人だけを見るのではなく複数の人での違いに注目することが有益かもしれないと示唆してくれる

Differential Transformer


Related Pages

  • →書評:_『自閉症児エリーの記録』×隠喩としての数学×注意を引こうとしない×注意×一人で面白がる×自閉症×ユークリッド×剥き出しの美×注意を引く×関心を引く×関心×注目されたい×注目→
  • 他人の注意を引こうとしない
  • →ソーシャルイノベーションが統治を正統化する×ethereum×open_source×fork×audrey_tang×イーサリアム×オープンソース×フォーク×ソーシャル・イノベーション×代表選挙×正統性×democracy_needs_to_evolve_into_a_real-time_system×投票×代表選出×ソーシャルイノベーション×事後的×新しい正統性×成果が出た後で評価する方が容易×イノベーションは事後的に評価される×アテンションの移動式投票→
  • social inovation legitimates governance
  • →焦点×無視×意識×限られたリソース×重要×情報過多×注意×注意機構×加算注意×内積注意×ソースターゲット注意×自己注意→
  • アテンション
  • →注意×attention×ハード注意機構×加法注意×内積注意×双線形×ソースターゲット注意×自己注意×cnn×注意機構×cnnと自己注意×rnn×隠れ状態→
  • 注意機構
  • →アンサンブル×ソフトターゲットロス×ラベルスムージング×paying_more_attention_to_attention:_improving_the_performance_of_convolutional_neural_networks_via_attention_transfer×注意×born_again_neural_networks×deep_mutual_learning→
  • 蒸留によるモデル圧縮
"Engineer's way of creating knowledge" the English version of my book is now available on [Engineer's way of creating knowledge]
(C)NISHIO Hirokazu / Converted from [Scrapbox] at [Edit]