<a href="/ja/SentencePiece">SentencePiece</a>のユニグラム言語モデルについて
<ul>
<li><img src="https://gyazo.com/60c096fa001c7a81578e8c1e99c021e7/thumb/1000" alt="image">
<a href="/ja/%E3%82%B5%E3%83%96%E3%83%AF%E3%83%BC%E3%83%89%E6%AD%A3%E5%89%87%E5%8C%96">サブワード正則化</a>: 複数のサブワード分割候補を用いたニューラル機械翻訳 <a href="/ja/%E5%B7%A5%E8%97%A4%20%E6%8B%93">工藤 拓</a> 2008</li>
<li><a href="http://www.anlp.jp/proceedings/annual_meeting/2018/pdf_dir/B1-5.pdf">http://www.anlp.jp/proceedings/annual_meeting/2018/pdf_dir/B1-5.pdf</a></li>
<li>例えば、文字列ABCがあって、語彙集合に各文字とABとが入っている場合に$p(AB) &gt; p(A)p(B)$が成り立つなら&quot;AB/C&quot;の分割の方が&quot;A/B/C&quot;の分割よりもP(x)が大きくなる</li>
<li>で、この手法だとVを事前に与える必要があるため、十分に大きな語彙からスタートして刈り込んで行く<ul>
<li><img src="https://gyazo.com/3de118fd9537e450c1e530d352ddf00d/thumb/1000" alt="image"></li>
</ul>
</li>
</ul>
Subword regularization: Improving neural network translation models with multiple subword candidates. In Proc. of ACL.
<a href="https://aclweb.org/anthology/P18-1007">https://aclweb.org/anthology/P18-1007</a>
SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing
Taku Kudo, John Richardson (Submitted on 19 Aug 2018)
<a href="https://arxiv.org/abs/1808.06226">https://arxiv.org/abs/1808.06226</a>

SentencePieceのユニグラム言語モデル