<a href="/ja/%E6%B3%A8%E6%84%8F%E6%A9%9F%E6%A7%8B">注意機構</a>は<a href="/ja/%E8%BE%9E%E6%9B%B8%E3%82%AA%E3%83%96%E3%82%B8%E3%82%A7%E3%82%AF%E3%83%88">辞書オブジェクト</a>か？
<a href="/ja/%E5%86%85%E7%A9%8D%E6%B3%A8%E6%84%8F">内積注意</a>について考える
$Attention(query, Key, Value) = Softmax(query \cdot Key) \cdot Value$
<ul>
<li>高次元のベクトルにおいて、任意の2つのベクトルはだいたい内積が0に近い(<a href="/ja/%E6%AC%A1%E5%85%83%E3%81%AE%E5%91%AA%E3%81%84">次元の呪い</a>)</li>
<li><a href="/ja/Soft-argmax">Soft-argmax</a>近似を使えば実質的にargmax</li>
<li>Key→Valueの関数がたとえ学習によって獲得することが困難であっても、記憶によって作ることができる</li>
<li>実際の辞書オブジェクトはkeyの一致を判定するが、こちらは内積の近さ<ul>
<li>ほとんど全ての内積が0だから空間がこんな感じでファジーに分割されるだろう</li>
<li><img src="https://gyazo.com/4913eacee07f06b21aba1e8baa770671/thumb/1000" alt="image"></li>
</ul>
</li>
</ul>
<a href="/ja/Key-Value%20Memory%20Networks%20for%20Directly%20Reading%20Documents">Key-Value Memory Networks for Directly Reading Documents</a>
<ul>
<li><a href="https://arxiv.org/pdf/1606.03126.pdf">https://arxiv.org/pdf/1606.03126.pdf</a></li>
</ul>

注意機構は辞書オブジェクト