NISHIO Hirokazu[Translate]
鈴木大慈-深層学習の数理

>hillbig 鈴木 大慈先生による深層学習の理論解析、特に表現能力、汎化能力、最適化理論について。重要なトピックを幅広くカバーしており、最新のNeural Tangent Kernel二重効果なども解説されている。英語でもこれほど充実しているのは無いと思う。

元のSlideshareにアクセスするとエラーになる、X/Twitter上なら見れる、キャッシュ?

わかりやすい具体例として原点からの距離によって値が決まる関数の場合に、4層なら次元数に対して多項式オーダー(ぶっちゃけ線形だと思う)

再生核ヒルベルト空間の考え方でカーネルリッジ回帰を再記述してるけどそこは飛ばす
データに合わせてカーネル関数自体も学習するのが深層学習と解釈できる
...


ここは飛ばす

関数クラスごとの近似性能



適応的手法
深層学習
スパース推定
あらかじめ用意するものがたくさんになりすぎると現実的に無理ってなるんだな


過去の議論に出てきたさまざまな関数クラスはベゾフ空間の特殊なケースである








Mean Field

"Engineer's way of creating knowledge" the English version of my book is now available on [Engineer's way of creating knowledge]

(C)NISHIO Hirokazu / Converted from [Scrapbox] at [Edit]