NISHIO Hirokazu[日本語][English]

言語モデル

2023年現在、LLMの迫力で下記の話が全部吹き飛んでいる

カウントベース - トライグラム N-gram - まあまあ良い - ゼロ頻度問題が解決できない - Kneser-Ney smoother - べき分布も再現できる RNN言語モデル #RNNLM

  • BPTTは勾配消失しやすい
  • LSTM

(C)NISHIO Hirokazu / Converted from Markdown (ja)
Source: [GitHub] / [Scrapbox]