<a href="/ja/RNN">RNN</a>なし<a href="/ja/CNN">CNN</a>なしで<a href="/ja/%E6%B3%A8%E6%84%8F%E6%A9%9F%E6%A7%8B">注意機構</a>だけ構成されたTransformerが翻訳タスクで良い成績を出すという報告。
<blockquote>
We propose a new simple network architecture, the Transformer, based solely on attention mechanisms, dispensing with recurrence and convolutions entirely.
</blockquote>
<ul>
<li>Attention Is All You Need <a href="/ja/%C5%81ukasz%20Kaiser%20et%20al.%2C%20arXiv%2C%202017%2F06">Łukasz Kaiser et al., arXiv, 2017/06</a></li>
<li>2017年</li>
<li><a href="https://arxiv.org/pdf/1706.03762.pdf">https://arxiv.org/pdf/1706.03762.pdf</a></li>
</ul>
解説 2017-12 <a href="http://deeplearning.hatenablog.com/entry/transformer">http://deeplearning.hatenablog.com/entry/transformer</a>
<ul>
<li><a href="/ja/%E6%B3%A8%E6%84%8F%E6%A9%9F%E6%A7%8B">注意機構</a><ul>
<li><a href="/ja/%E6%B3%A8%E6%84%8F%E6%A9%9F%E6%A7%8B%E3%81%AF%E8%BE%9E%E6%9B%B8%E3%82%AA%E3%83%96%E3%82%B8%E3%82%A7%E3%82%AF%E3%83%88">注意機構は辞書オブジェクト</a></li>
<li><a href="/ja/%E5%8A%A0%E6%B3%95%E6%B3%A8%E6%84%8F">加法注意</a>と<a href="/ja/%E5%86%85%E7%A9%8D%E6%B3%A8%E6%84%8F">内積注意</a></li>
<li><a href="/ja/%E3%82%BD%E3%83%BC%E3%82%B9%E3%82%BF%E3%83%BC%E3%82%B2%E3%83%83%E3%83%88%E6%B3%A8%E6%84%8F">ソースターゲット注意</a>と<a href="/ja/%E8%87%AA%E5%B7%B1%E6%B3%A8%E6%84%8F">自己注意</a></li>
<li><a href="/ja/%E7%B8%AE%E5%B0%8F%E4%BB%98%E3%81%8D%E5%86%85%E7%A9%8D%E6%B3%A8%E6%84%8F">縮小付き内積注意</a> (Scaled Dot-Product Attention)</li>
</ul>
</li>
</ul>