NISHIO Hirokazu[Translate]
Teacher-Forcing

直前の自己の出力を入力に使う代わりに、正解データを使う学習方法
後半にかけて誤差が蓄積するせいで学習に時間がかかる問題を解決できるが、実際に使う時には1文字ずつ正解データが供給されたりしないという問題もある
自分の出力と正解をランダムに選んで使うScheduled Sampling: Samy Bengio+ 2015

"Engineer's way of creating knowledge" the English version of my book is now available on [Engineer's way of creating knowledge]

(C)NISHIO Hirokazu / Converted from [Scrapbox] at [Edit]