<ul>
<li>対数双線形言語モデル
<ul>
<li>あるcontext cの元での次の単語の出現確率が</li>
<li>$P(w|c) = \frac{\exp (\phi(w)\cdot c)}{\sum_{w&#39;\in V} \exp (\phi(w)\cdot c)}$</li>
<li>となるという言語モデル。$\phi$ は適当な単語の埋め込み関数</li>
<li>要するに<a href="/ja/%E5%86%85%E7%A9%8D">内積</a>をとって<a href="/ja/%E3%82%BD%E3%83%95%E3%83%88%E3%83%9E%E3%83%83%E3%82%AF%E3%82%B9">ソフトマックス</a><ul>
<li>A. Mnih and G. Hinton (2007)では単なる内積よりもうちょっと高度</li>
<li><img src="https://gyazo.com/4b42aec31043b4fdfd07d353c4ee54ff/thumb/1000" alt="image"></li>
<li><img src="https://gyazo.com/12be19af95d085079f65326e8896b110/thumb/1000" alt="image"></li>
</ul>
</li>
</ul>
</li>
<li>同様に内積をとってからソフトマックスするのが<a href="/ja/%E5%86%85%E7%A9%8D%E6%B3%A8%E6%84%8F">内積注意</a>(2015)
</li>
<li>対数<a href="/ja/%E5%8F%8C%E7%B7%9A%E5%BD%A2">双線形</a>モデル
</li>
<li><a href="/ja/log%20bilinear%20model">log bilinear model</a>
</li>
<li><a href="/ja/bilinear">bilinear</a>
</li>
<li>Log Bilinear Language Model
<ul>
<li><a href="/ja/Mnih%20%26%20Hinton%2C%202007">Mnih &amp; Hinton, 2007</a>
</li>
<li>A. Mnih and G. Hinton (2007)
</li>
<li>&quot;Three new graphical models for statistical language modelling&quot;,
</li>
<li>ICML, pp. 641–648, <a href="http://www.cs.utoronto.ca/~hinton/absps/threenew.pdf">http://www.cs.utoronto.ca/~hinton/absps/threenew.pdf</a>
</li>
<li>A. Mnih, Y. Zhang, and G. Hinton (2009)
</li>
<li>&quot;Improving a statistical language model through non-linear prediction&quot;,
</li>
<li>Neurocomputing, vol. 72, no. 7-9, pp. 1414 – 1418
</li>
<li><a href="http://www.sciencedirect.com/science/article/pii/S0925231209000083">http://www.sciencedirect.com/science/article/pii/S0925231209000083</a>
</li>
</ul>
</li>
</ul>

対数双線形モデル