<ul>
<li>固定長の入力しか受け取れなかった<a href="/ja/CNN">CNN</a>が不定長の入力を受け取れる<a href="/ja/%E6%B3%A8%E6%84%8F%E6%A9%9F%E6%A7%8B">注意機構</a>で置き換えられた
</li>
<li>なぜ不定長への拡張ができるのか？
</li>
<li>CNNは、自分からの相対位置で、どの位置の値にどんな重みを掛けるかは行列の形でハードコードされていた
<ul>
<li>なので前後何個の値に対して処理をするかを事前に固定する必要があった<img src="https://gyazo.com/adfdef7c11d9c8c05bb40d3be79eefbd/thumb/1000" alt="image"></li>
</ul>
</li>
<li>注意機構では、どんな重みを掛けるかは、その値によって決まる
<ul>
<li>だから個数を事前に定める必要がない
</li>
<li><img src="https://gyazo.com/1902ffd4c16d50ff825b1b2573fdc97e/thumb/1000" alt="image">
</li>
<li>その代わり、単純な構成では位置の情報がないので入力列をシャッフルしても注意機構が返す値は同じ
</li>
</ul>
</li>
<li><a href="/ja/Transformer">Transformer</a>では<a href="/ja/Positional%20Encoding">Positional Encoding</a>を組み合わせる
<ul>
<li>入力値自体に位置の情報を埋め込んでしまう</li>
<li>これで注意機構がCNNの代わりを果たせるようになった</li>
</ul>
</li>
</ul>

CNNと自己注意