蒸留によるモデル圧縮
現時点でのハードウェア制約ではデプロイできない
とはいえ、ハードウェア性能はどんどん上がるんだから、近い将来単なるアンサンブルで動くようになるのでは
教師モデルの出力で生徒モデルを学習
one-hotではなくSoftmaxの出力をそのまま使うケース
ラベルスムージングに相当
Paying More Attention to Attention: Improving the Performance of Convolutional Neural Networks via Attention Transfer
生徒モデルが教師モデルの注意を学ぶ
教師と生徒で同じモデルを使った場合に生徒の方が性能が良くなる
生徒同士で教え合う
"Engineer's way of creating knowledge" the English version of my book is now available on [Engineer's way of creating knowledge]
(C)NISHIO Hirokazu / Converted from [Scrapbox] at [Edit]