<p>2018-10-22〜2019-11-10まで「<a href="/ja/%E8%A8%98%E6%86%B6%E3%81%A8%E6%8A%BD%E8%B1%A1%E5%8C%96">記憶と抽象化</a>」というタイトルだったが、各所から言及する際にこのタイトルを思い出せないので適切な名付けではないと判断してリネームした。<a href="/ja/%E6%B3%A8%E6%84%8F%E6%A9%9F%E6%A7%8B">注意機構</a>に<a href="/ja/%E6%AC%A1%E5%85%83%E5%89%8A%E6%B8%9B">次元削減</a>を入れる話なので次元削減注意。  #記憶 #抽象化</p>
<p><img src="https://gyazo.com/bf90b914f761e941a499d2706d630473/thumb/1000" alt="image"></p>
<ul>
<li><a href="/ja/%E6%B3%A8%E6%84%8F%E6%A9%9F%E6%A7%8B">注意機構</a>で<a href="/ja/%E8%A8%98%E6%86%B6">記憶</a>から引き出す際に、queryとkeyの両方に同一の<a href="/ja/Dropout">Dropout</a>を掛ける</li>
<li>これは実質的に両者を<a href="/ja/%E6%AC%A1%E5%85%83%E5%89%8A%E6%B8%9B">次元削減</a>してから比較することに相当する</li>
<li><a href="/ja/%E6%A6%82%E5%BF%B5%E3%81%AE%E9%A1%9E%E4%BC%BC%E5%BA%A6%E3%81%AF%E8%B7%9D%E9%9B%A2%E3%81%A7%E3%81%AF%E3%81%AA%E3%81%84">概念の類似度は距離ではない</a>で説明した「<a href="/ja/%E6%AC%A1%E5%85%83%E3%82%92%E8%90%BD%E3%81%A8%E3%81%97%E3%81%A6%E6%AF%94%E8%BC%83">次元を落として比較</a>」「色々な軸で潰した後での距離を類似度にする」が実現できる</li>
<li><a href="/ja/%E8%A8%98%E6%86%B6">記憶</a>からの<a href="/ja/%E6%83%B3%E8%B5%B7">想起</a>の際にクエリーとキーの単純な類似性ではなく抽象化した上での類似性での想起が可能</li>
<li>つまりこれ<a href="/ja/%E3%82%A2%E3%83%8A%E3%83%AD%E3%82%B8%E3%83%BC">アナロジー</a>とか<a href="/ja/%E9%80%A3%E6%83%B3">連想</a>に相当する機能では</li>
</ul>
