NISHIO Hirokazu
[Translate]
本の分散表現
文字の分散表現
、
単語の分散表現
、
文章の分散表現
って考えてたら、書籍もそれ自体が
分散表現
を持つのが自然な気がした
本の分散表現は、当然「本のタイトルの短文としての分散表現」とは別物である
本のコンテンツとタイトルがマッチしていないことはよくある
本は目次を持っていて、章タイトルという短文の集合を持っている
この章タイトルの分散表現と別物である「
章の分散表現
」も当然ある
本はしばしば「XXって本のp.XX」と言及される
「
ページの分散表現
」も当然ある
本タイトルの分散表現
を入力として
本内容の分散表現
を返す仕組みは
注意機構
だ
例えば書籍カバーを付箋として
KJ法
を行ったことがある
クリーンスペース+KJ法実験
この「付箋の位置」は2次元のベクトルである
これを分散表現に混ぜることは可能:
分散表現のマージ
回転無視は適切か?
Tweet
Related Pages
KJ法
概念のハンドル
注意機構
文字の分散表現
分散表現のマージ
分散表現
クリーンスペース+KJ法実験
→
分散表現
×
次元
×
固有表現抽出
×
センチメント
→
分散表現の次元
→
Transformer
×
注意機構
×
metaformer
×
poolformer
×
注意機構の計算量削減
→
MetaFormer Is Actually What You Need for Vision
→
焦点
×
無視
×
意識
×
限られたリソース
×
重要
×
情報過多
×
注意
×
注意機構
×
加算注意
×
内積注意
×
ソースターゲット注意
×
自己注意
→
アテンション
→
拡散モデル
×
denoising_diffusion_probabilistic_models
×
ddpm
×
high-resolution_image_synthesis_with_latent_diffusion_models
×
latent_diffusion_model
×
vae
×
stable_diffusion_latent_space_visualization
×
denoising_diffusion_implicit_models
×
ddim
×
stable_diffusionのpromptは77×768次元のテンソルになる
×
positional_encoding
×
clip
×
clip-vit-l-14
×
注意機構
×
u-net
×
オートエンコーダ
×
stable_diffusionのシードとプロンプトの関係
×
stable_diffusion埋め込みテンソル編集
×
stable_diffusion_inpaintの仕組み
×
mask_again_after_inpaint
×
img2prompt
×
clip_interrogator
×
blip
×
画家の発見
×
高次元においてコサイン類似度0.2は激レア
×
textual_inversionを試してみる
×
dreambooth
×
stablediffusion
×
バタフライ効果
×
word2vec
→
Stable Diffusion勉強会
→
クリーンスペース
×
500冊の書籍の構造化実験
×
kj法とクリーンスペースとマインドパレス
×
クリーンスペース+KJ法実験
×
ディソシエイト
×
相対化
→
クリーンスペース実験
→
注意機構
→
分割困難な集計
加法注意
→
注意機構
×
要約生成
×
要約
×
深層学習による自然言語処理
→
注意機構を用いた要約生成
→
記憶と抽象化
×
注意機構
×
次元削減
×
記憶
×
抽象化
×
dropout
×
概念の類似度は距離ではない
×
次元を落として比較
×
想起
×
アナロジー
×
連想
→
次元削減注意
→
Transformer
×
BERTとTransformer
×
rnn
×
cnn
×
注意機構
×
BERT
×
curriculum_learning
×
masklm
→
BERT
→
自然言語処理
×
深層学習
×
rnn
×
lstm
×
gru
×
recursive_neural_networks
×
tree-rnn
×
cnn
×
分散表現
×
lbl_model
×
対数双線形モデル
×
word2vec
×
skip-gram
×
cbow
×
seq2seq
×
注意機構
×
memory_network
→
深層学習による自然言語処理
→
注意機構
×
キーワードと質問の選択は内積注意
→
キーワードと質問の選択は注意機構
→
電子的kj法ツール
×
埋め込みベクトル
×
分散表現
×
pca
×
欠損値
×
線形回帰
×
線形従属
×
回転
→
埋め込みベクトルの拡張
→
文字の分散表現
×
分かち書き
×
2-gram
×
分散表現の良し悪し
×
キーフレーズ抽出
→
文字の分散表現をくっつける
→
埋め込みベクトル
×
類義語
×
対義語
×
word2vec
×
分散表現の良し悪し
×
分散表現
→
埋め込みベクトルの良し悪し
→
複数のベクトル
×
まとめかた
×
平均
×
rnn
×
lstm
×
注意機構
→
複数のベクトルのまとめかた
→
分散表現
×
未知語
×
word2vec
×
文字
×
特徴量
→
文字の特徴量
→
BERT
×
Transformer
×
注意機構
→
BERTとTransformer
→
cnn
×
注意機構
×
Transformer
×
positional_encoding
→
CNNと自己注意
→
rnn
×
cnn
×
注意機構
×
łukasz_kaiser_et_al.,_arxiv,_2017/06
×
注意機構は辞書オブジェクト
×
加法注意
×
内積注意
×
ソースターゲット注意
×
自己注意
×
縮小付き内積注意
→
Transformer
→
注意機構
×
Transformer
×
cnn
→
自己注意
→
注意機構
×
辞書オブジェクト
×
内積注意
×
次元の呪い
×
soft-argmax
×
key-value_memory_networks_for_directly_reading_documents
→
注意機構は辞書オブジェクト
→
KJ法
×
空間配置
×
ベクトル
×
分散表現
×
表札
→
KJ法とベクトル
→
直接引用モデル
×
注意機構
×
隠れマルコフモデル
×
ビタビアルゴリズム
×
文章の粒度
×
発話
×
ppoi
→
注目部分を切り出す
→
連続化
×
単語分散表現
×
分散表現
×
svd
×
word2vec
×
charcnn
×
kim+_2016
→
単語の連続ベクトル化
→
c-space
×
ベクトル
×
分散表現
×
離散オブジェクト
×
ベクトル空間
→
C-Spaceと分散表現
"
Engineer's way of creating knowledge
" the English version of my book is now available on
[Engineer's way of creating knowledge]
(C)NISHIO Hirokazu / Converted from
[Scrapbox]
at
11/23/2025, 4:48:02 PM
[Edit]