<img src='https://scrapbox.io/api/pages/nishio/GPT-4/icon' alt='GPT-4.icon' height="19.5"/>アテンション（attention）とは、人間がある特定の事象や情報に<a href="/ja/%E7%84%A6%E7%82%B9">焦点</a>を当て、その他の事象や情報を<a href="/ja/%E7%84%A1%E8%A6%96">無視</a>する心理的プロセスを指します。一般的に、私たちの<a href="/ja/%E6%84%8F%E8%AD%98">意識</a>は<a href="/ja/%E9%99%90%E3%82%89%E3%82%8C%E3%81%9F%E3%83%AA%E3%82%BD%E3%83%BC%E3%82%B9">限られたリソース</a>であり、すべての情報に同時に注意を払うことはできません。そのため、私たちの脳は、瞬間的に<a href="/ja/%E9%87%8D%E8%A6%81">重要</a>と判断される情報に焦点を当てることで、<a href="/ja/%E6%83%85%E5%A0%B1%E9%81%8E%E5%A4%9A">情報過多</a>の状況に対処します。
<h2>機械学習の文脈:</h2>
<a href="/ja/%E6%B3%A8%E6%84%8F">注意</a>, <a href="/ja/%E6%B3%A8%E6%84%8F%E6%A9%9F%E6%A7%8B">注意機構</a>
<ul>
<li><a href="/ja/%E5%8A%A0%E7%AE%97%E6%B3%A8%E6%84%8F">加算注意</a>
</li>
<li><a href="/ja/%E5%86%85%E7%A9%8D%E6%B3%A8%E6%84%8F">内積注意</a>
</li>
<li><a href="/ja/%E3%82%BD%E3%83%BC%E3%82%B9%E3%82%BF%E3%83%BC%E3%82%B2%E3%83%83%E3%83%88%E6%B3%A8%E6%84%8F">ソースターゲット注意</a>
</li>
<li><a href="/ja/%E8%87%AA%E5%B7%B1%E6%B3%A8%E6%84%8F">自己注意</a>
</li>
<li>注意Aはクエリq、キーk、バリューvを用いて以下のように定義される
</li>
<li>$A(Q, K, V) = \mathrm{softmax}(QK^T)V$
</li>
<li>加算注意と内積注意
<ul>
<li>理論的には複雑度は同じぐらいだが、内積注意は行列積で計算できるので実用上高速</li>
<li>キーの次元dkを使ってスケール調整をすると性能が良いという主張</li>
</ul>
</li>
<li>$A(Q, K, V) = \mathrm{softmax}({QK^T \over \sqrt{d_k}})V$
</li>
</ul>