NISHIO Hirokazu[Translate]
キーワードと質問の選択は内積注意
「キーワードと質問のペア」の選択について
「状況に合わせたキーワードと質問のペアの選択」は内積注意である
状況がS次元のベクトル
S次元のkeyがキーワードと質問のペアに対して1つ決まる
それが選択される対象だから
この内積にSoftmaxをかけて選択すれば良い
不定長の対象からの選択が実現できる
質問によって取るキーワードの個数が異なることを気にしていた
キーワードと質問の選択は注意機構ではまだ悩んでいた
選択の対象ごとにS次元ベクトルが1つあれば良い
キーワードを0個、1個、2個とる質問ごとにベクトルを生成する関数が異なっていてもよい


Related Pages

  • →焦点×無視×意識×限られたリソース×重要×情報過多×注意×注意機構×加算注意×内積注意×ソースターゲット注意×自己注意→
  • アテンション
  • →未来の検索技術×「似てる」と「次に来そう」の違い×加法注意×内積注意×次元削減注意×類似度×似てる→
  • CybozuHackathon2019
  • →注意×attention×ハード注意機構×加法注意×内積注意×双線形×ソースターゲット注意×自己注意×cnn×注意機構×cnnと自己注意×rnn×隠れ状態→
  • 注意機構
  • →内積×ソフトマックス×内積注意×双線形×log_bilinear_model×bilinear×mnih_&_hinton,_2007→
  • 対数双線形モデル
"Engineer's way of creating knowledge" the English version of my book is now available on [Engineer's way of creating knowledge]
(C)NISHIO Hirokazu / Converted from [Scrapbox] at [Edit]