埋め込みベクトルの良し悪し
埋め込みベクトルの良し悪しは何によって決まるのか
近い2単語について
同一: BをAにする(PythonとPyth0n)→元データのBをAに置換
同義: AとBは同じ意味である(ください 下さい)→元データはそのまま、単語とIDの対応づけをユニファイ
類義: 類義語である→これはそのままでOK
対義: AとBは対義語である→ベクトルに対義語用の1軸を追加して+1/-1を適当に振る
連接: AとBは”AB"の形で1つの意味の塊である→語彙の追加、入力読み込み時に工夫が必要
連接を教えることによって、語彙が増える。同一を教えると減る。
この教師データ自体は使いまわせる
学習プロセスにもちょっと手を加える必要があるし、ベクトルを使いまわしたいし、結局word2vec的なものを自作する必要があるのか
Related Pages
- →埋め込みベクトル×umap×クラスタリング×an_empirical_configuration_study_of_a_common_document_clustering_pipeline×tfidfvectorizer×bertopic×top2vec→
- →自分のScrapboxをChatGPTにつないだ×サイボウズラボ勉強会×LlamaIndex×langchain×embedding_api×埋め込みベクトル×コサイン類似度×aiパネルディスカッション×ブレインストーミング×toolformer×langchainのagent×オペレーティングシステム×llm_os×c言語×人間は周辺機器の一つに過ぎない→
- →埋め込みベクトル×textual_inversion×stable_diffusion×面影を求めてガチャを回し続ける人×心の中に生きてる×行ったことのない観光地で記念撮影×バーチャルリアリティ×リアル本人風アバター×メタバース×死んだ人が生き続ける世界としてのメタバース×下手な本人アバター×メタバースで永遠に飼われる×アイドル×顔を覆って家族以外に見せない→
- →precise_zero-shot_dense_retrieval_without_relevance_labels×仮説的文書埋め込み×Hypothetical Document Embeddings×hyde×instructgpt×contriever×埋め込みベクトル×blu3mo→
- →word2vecによる自然言語処理×距離×三角不等式×ベクトルの類似度×軸を潰す×潰す×無視×次元削減は抽象化×抽象化×特徴量の無視×違いを無視×word2vec×deep_learning×dropout×ニューロン×汎化性能×概念×類似度×単語の意味×意味の類似度×話が飛躍する人=ベクトル検索エンジンか？×連想×次元削減してから類似度検索→
- →拡散モデル×denoising_diffusion_probabilistic_models×ddpm×high-resolution_image_synthesis_with_latent_diffusion_models×latent_diffusion_model×vae×stable_diffusion_latent_space_visualization×denoising_diffusion_implicit_models×ddim×stable_diffusionのpromptは77×768次元のテンソルになる×positional_encoding×clip×clip-vit-l-14×注意機構×u-net×オートエンコーダ×stable_diffusionのシードとプロンプトの関係×stable_diffusion埋め込みテンソル編集×stable_diffusion_inpaintの仕組み×mask_again_after_inpaint×img2prompt×clip_interrogator×blip×画家の発見×高次元においてコサイン類似度0.2は激レア×Textual Inversionを試してみる×dreambooth×stablediffusion×バタフライ効果×word2vec→
- →思考の結節点2019-10-14×知識の保存形式×知識の表現形式がアップデートされなければならない×知識の表現形式のアップデート×連想のストック×連想装置×レコメンド×検索×2-hop_link×連想×知識を編むプログラム×リンクサジェスト×過去の自分の書き物と今の思考の結合支援×類似文書検索×word2vec×gyazz×転置インデックスと指差し×文書は場所×指差し×文書が階層的×長さをパラメータにしたdf×接尾辞配列×scrapboxの良さ(その2)×抽象概念×メタファー×知性を高めるシステム×アイデアの干渉効果×類似度ベースではないレコメンド×レコメンドとscrapbox×明示的なブラケティング→
- →自然言語処理×深層学習×rnn×lstm×gru×recursive_neural_networks×tree-rnn×cnn×分散表現×lbl_model×対数双線形モデル×word2vec×skip-gram×cbow×seq2seq×注意機構×memory_network→
"Engineer's way of creating knowledge" the English version of my book is now available on [Engineer's way of creating knowledge]
(C)NISHIO Hirokazu / Converted from [Scrapbox] at [Edit]