深層学習による自然言語処理
第1章 自然言語処理のアプローチ
1.1 伝統的な自然言語処理
1.2 深層学習への期待
1.3 テキストデータの特徴
1.4 他分野への広がり
第2章 ニューラルネットの基礎
2.1 教師あり学習
2.2 順伝播型ニューラルネット
2.3 活性化関数
2.4 勾配法
2.5 誤差逆伝播法
2.6 再帰ニューラルネット #RNN
2.7 ゲート付再帰ニューラルネット
2.8 木構造再帰ニューラルネット
2.9 畳み込みニューラルネット #CNN
第3章 言語処理における深層学習の基礎
3.1 準備：記号の世界とベクトルの世界の橋渡し
3.2 言語モデル
3.3 分散表現
3.4 系列変換モデル
第4章 言語処理特有の深層学習の発展
4.1 注意機構
4.2 Memory Network
4.3 出力層の高速化
第5章 応用
5.1 機械翻訳
5.2 文書要約
5.3 対話
5.4 質問応答
第6章 汎化性能を向上させる技術
6.1 汎化誤差の分解
6.2 推定誤差低減に効く手法
6.3 最適化誤差低減に効く手法
6.4 超パラメータ選択
第7章 実装
7.1 GPUとGPGPU
7.2 RNNにおけるミニバッチ化
7.3 無作為抽出
7.4 メモリ使用量の削減
7.5 誤差逆伝播法の実装
Related Pages
- →鈴木_大慈×深層学習×neural_tangent_kernel×二重効果×岡野原_大輔×kolmogorovの加法定理×万能近似×ridgelet変換×表現力と層の数×カーネル法とリッジ回帰×再生核ヒルベルト空間×二重降下×陰的正則化×汎化誤差バウンド×区分的滑らかな関数×mixed-smoothness×カーネルリッジ回帰×べゾフ空間×ベゾフ空間×スパース性×深層nnはbesov空間の元を近似できる×cardinal_b-splineはrelu-nnでよく近似できる×空間的滑らかさが非均一であるとき深層学習が優越×mixed-smooth_besov空間×非確率的勾配法は鞍点から出るのに指数時間かかる×watterstein距離→
- →word2vecによる自然言語処理×距離×三角不等式×ベクトルの類似度×軸を潰す×潰す×無視×次元削減は抽象化×抽象化×特徴量の無視×違いを無視×word2vec×deep_learning×dropout×ニューロン×汎化性能×概念×類似度×単語の意味×意味の類似度×話が飛躍する人=ベクトル検索エンジンか？×連想×次元削減してから類似度検索→
- →拡散モデル×denoising_diffusion_probabilistic_models×ddpm×high-resolution_image_synthesis_with_latent_diffusion_models×latent_diffusion_model×vae×stable_diffusion_latent_space_visualization×denoising_diffusion_implicit_models×ddim×stable_diffusionのpromptは77×768次元のテンソルになる×positional_encoding×clip×clip-vit-l-14×注意機構×u-net×オートエンコーダ×stable_diffusionのシードとプロンプトの関係×stable_diffusion埋め込みテンソル編集×stable_diffusion_inpaintの仕組み×mask_again_after_inpaint×img2prompt×clip_interrogator×blip×画家の発見×高次元においてコサイン類似度0.2は激レア×textual_inversionを試してみる×dreambooth×stablediffusion×バタフライ効果×word2vec→
- →ハンドル×取っ手×エンジニアの知的生産術×(column)_パターンに名前を付けること×(4.5.3.3)_思考の道具を手に入れる×作られつつある言葉×液体が容器に入っているメタファー×概念を操作するためのハンドル×オブジェクトへのポインタ×ポインタ×リソースロケータ×指差し×自然言語処理×オブジェクト×単語×表現×知識×コーパス×指し示す×scrapboxコーパス×本の分散表現→
- →思考の結節点2019-10-14×知識の保存形式×知識の表現形式がアップデートされなければならない×知識の表現形式のアップデート×連想のストック×連想装置×レコメンド×検索×2-hop_link×連想×知識を編むプログラム×リンクサジェスト×過去の自分の書き物と今の思考の結合支援×類似文書検索×word2vec×gyazz×転置インデックスと指差し×文書は場所×指差し×文書が階層的×長さをパラメータにしたdf×接尾辞配列×scrapboxの良さ(その2)×抽象概念×メタファー×知性を高めるシステム×アイデアの干渉効果×類似度ベースではないレコメンド×レコメンドとscrapbox×明示的なブラケティング→
- →rnn×cnn×注意機構׳ukasz_kaiser_et_al.,_arxiv,_2017/06×注意機構は辞書オブジェクト×加法注意×内積注意×ソースターゲット注意×自己注意×縮小付き内積注意→
"Engineer's way of creating knowledge" the English version of my book is now available on [Engineer's way of creating knowledge]
(C)NISHIO Hirokazu / Converted from [Scrapbox] at [Edit]