注意機構を用いた要約生成
深層学習による自然言語処理 p.136
RNNではなく、固定長Cの順伝播ネットワークを使った
後の研究でRNNの方が精度が良いとされてるのでこれは最初に生まれた時はそうだったという歴史的な話に過ぎない
文脈長Cを用いて Y_< = Y_{[j-C,\, j-1]}とする
入力文Xに対して要約文出力Yがでる条件付き確率はこう書ける。
P(Y|X) = \prod_j P(y_i | X, Y_<)
P(y_i | X, Y_<) = \mathrm{softmax}(\tilde{o_j})\cdot y_j
\tilde{o_j} = \mathrm{nnlm}(Y_<) + \mathrm{enc}(X, Y_<)
Related Pages
- →望遠鏡×客観性×主観的解釈×取捨選択×要約×職人技×費用対効果×talk_to_the_city×要約職人×自動編み機×靴下職人×教会の権威失墜×科学の権威失墜×主観か客観かではなく、一人の主観から大勢の主観へ→
- →the_intelligence_age×ai要約×センスの哲学×大きな意味×小さな意味×要約×「面白い」は主観的×aiの主観×主観的にリジェクト×メトロポリスヘイスティングス名づけゲーム×生身の僕×西尾泰和の外部脳×しないよりベター×主観的に面白いところを抽出×さまざまな抽象度で問いを抽出×着地→
- →フラクタル要約×how_can_we_use_technology_to_go_past_simple_preferences_and_outcomes?×digital_peacebuilding_expo:_talk_to_the_city×まず要約×興味を持ったところを掘り下げる×段階的詳細化×エンジニアの知的生産術×まずは大雑把に×掘り下げる×要約→
- →rag×advanced_rag×modular_rag×階層的なインデックス構造×ナレッジグラフ×要約×副次的なクエリに分解×ステップバックプロンプティング×メタデータ×再帰的な検索×least-to-mostプロンプティング法×ステップバック質問→
- →箇条書き×要約×興味×掘り下げ×読書×紙の本×知りたいこと×どこに書かれているか×検索×質問に関連した情報を見つけて回答を生成する×新しい検索×興味のあることを掘り下げていく×辞書を読む×掘り下げていく×デジタル化による読書体験の拡張→
- →aiの漠然とした不安感勉強会×英語と日本語の性能差×マイノリティ言語×アーリーアダプター集団×移動する人×取り残される人×分断×津波から逃げる×aiの波に乗る×rag×グループウェア×顧客業務に寄り添う×ホワイトカラー×オフィスワーク支援×システム開発×対人インターフェース×複業規制×要約→
- →日記2023-10-26×知識の変容×要約×価値観×わかりやすい形×やわらかい歯車×谷×橋×間をつなぐもの×歯車のたとえ×レバレッジメモ×after_llm×要約は曖昧概念×間をつなぐものはなんだろうと考えるのは有益→
- →発想法×同質性×グループ分け×分類×要約×分析×まとめる×異質のデータの組み合わせ×まとまる×発見×異質なデータをまとめる×異質のデータを統合する方法×統合化×統合×kj法×構造づくり×エンジニアの知的生産術×集めて並べる×モデル化×考えて積む→
- →文脈が壊れそうな部分だけ重複させて切り出×重複してもよい×その話題に至る流れ×要約×のりしろ×より良い切り出し×井戸端一つで時間も注意力も足りなくなった×from_(切り出し元ページへのリンク)×元の文脈×ページを切り出すと発言の文脈が分断されてしまう×前置き×段差解消×バリ取り×スロープ×やすりがけ→
- →拡散モデル×denoising_diffusion_probabilistic_models×ddpm×high-resolution_image_synthesis_with_latent_diffusion_models×latent_diffusion_model×vae×stable_diffusion_latent_space_visualization×denoising_diffusion_implicit_models×ddim×stable_diffusionのpromptは77×768次元のテンソルになる×positional_encoding×clip×clip-vit-l-14×注意機構×u-net×オートエンコーダ×stable_diffusionのシードとプロンプトの関係×stable_diffusion埋め込みテンソル編集×stable_diffusion_inpaintの仕組み×mask_again_after_inpaint×img2prompt×clip_interrogator×blip×画家の発見×高次元においてコサイン類似度0.2は激レア×textual_inversionを試してみる×dreambooth×stablediffusion×バタフライ効果×word2vec→
- →思考の結節点20200728×知識のグラフ×重み×要約×獣道の原理×シャペロン問題×弱いつながりと希少性×パスリコメンデーション×文章は順繰りに生まれるのではない×講演スライド作成プロセス×文章が作られるプロセス×知識表現→
- →文字の分散表現×単語の分散表現×文章の分散表現×分散表現×章の分散表現×ページの分散表現×本タイトルの分散表現×本内容の分散表現×注意機構×kj法×クリーンスペース+kj法実験×分散表現のマージ×回転無視は適切か？→
- →rnn×cnn×注意機構׳ukasz_kaiser_et_al.,_arxiv,_2017/06×注意機構は辞書オブジェクト×加法注意×内積注意×ソースターゲット注意×自己注意×縮小付き内積注意→
"Engineer's way of creating knowledge" the English version of my book is now available on [Engineer's way of creating knowledge]
(C)NISHIO Hirokazu / Converted from [Scrapbox] at [Edit]