NISHIO Hirokazu
[Translate]
非確率的勾配法は鞍点から出るのに指数時間かかる
from
鈴木大慈-深層学習の数理
非確率的勾配法は鞍点から出るのに指数時間かかる
SGD
を使ったのはこの目的ではなく計算機の性能上の都合だったわけだが、結果として予期せず「いいやり方」を選んでたと後からわかったわけだ
Tweet
Related Pages
鈴木大慈-深層学習の数理
→
鈴木大慈-深層学習の数理
×
besov空間
→
深層NNはBesov空間の元を近似できる
→
鈴木大慈-深層学習の数理
×
mixed-smooth
×
besov空間
→
Mixed-smooth Besov空間
→
鈴木大慈-深層学習の数理
×
最適輸送
×
最急降下法
→
Watterstein距離
→
鈴木大慈-深層学習の数理
→
Neural Tangent Kernel
区分的滑らかな関数
再生核ヒルベルト空間
陰的正則化
二重降下
カーネル法とリッジ回帰
表現力と層の数
Ridgelet変換
Kolmogorovの加法定理
→
鈴木大慈-深層学習の数理
×
convex_hull
×
q-hull
→
空間的滑らかさが非均一であるとき深層学習が優越
→
鈴木大慈-深層学習の数理
×
cardinal_b-spline
×
b-spline
×
b-スプライン
×
relu-nn
×
relu
→
Cardinal B-splineはReLU-NNでよく近似できる
→
鈴木大慈-深層学習の数理
×
シグモイド的
×
活性化関数
→
万能近似
→
matrix_factorization
×
行列分解
×
apache_spark
×
als
×
alternating_least_squares
×
tensorflow
×
ランク制限付きsvd
×
singular_value_decomposition
×
truncatedsvd
×
確率的勾配降下法
×
sgd
×
スパース行列
×
scipy
→
大規模な行列のMatrix Factorization
→
コールドスタート問題
×
低ランク
×
svd
×
特異値分解
×
岡野原_大輔
×
als
×
交互最小二乗法
×
sgd
×
確率的勾配降下法
×
netflix
×
amazon
→
協調フィルタリング
→
fobos
×
l1正則化
×
sgd
×
劣微分
×
l2正則化
×
微分が不可能
×
cumurative_penalty
×
elasticnet
→
劣微分
"
Engineer's way of creating knowledge
" the English version of my book is now available on
[Engineer's way of creating knowledge]
(C)NISHIO Hirokazu / Converted from
[Scrapbox]
at
11/23/2025, 5:12:17 PM
[Edit]