word2vecとKJ法
word2vecとKJ法
>関係の有りそうなものが近くに来るように配置します」までが短文をベクトルに対応づけるフェーズで、そこからグループを作って表札をつけるのは現状のword2vecに欠けている何か。
>word2vecで作ったベクトルの適当に1点を選んでそれに近いものベスト50とかを画面に出したらどうか。
>仲間なものとそうでないものをいくつか選ぶと、それらが一番分離されるような方向に回転されると良いのではないか
word2vecは単語の意味をベクトルに対応付ける
単語の「意味」をシンボル＝離散集合の元から、ベクトル＝連続集合の元に変えた
自然言語処理において、書かれた単語は同一視されて離散集合の元となっている
しかしこれは技術発展の一時期において情報通信技術が貧弱であったために圧縮せざるを得なかった、と解釈できる
1ピクセル16万色の写真が使える今の時代から振り返って、16色しか使えなかった時代が「一時的な技術的制約」に見えるのと同様
語彙数100万=1単語当たり20bit
関連 シニフィアンとシニフィエ
Related Pages
- →体験過程と意味の創造×「体験過程と意味の創造」勉強会3×概念マップ勉強会×フェルトセンスとシンボルの図×フェルトセンス×意味×言の葉の影×ストーリーの交差点がアトムになる×non-numerical×ぼやけた丸×濃い薄い円の図×無数的特徴の模式図×不一不異→
- →シラー×普遍のために特殊を求める×ゲーテ×特殊のなかに普遍を見る×寓意×特殊×普遍×象徴×シンボリックモデリング×シンボル×抽象概念×具体例×心象風景×経験×事後的×普遍を獲得×アナロジー×根なし草の知識×無数的特徴×ストーリーの交差点がアトムになる×交差点→
- →coordinating_perceptually_grounded_categories_through_language:_a_case_study_for_colour×赤カテゴリ×波長分布×除去イベント構文×luc_steels×シンボルグラウンディング問題×記号接地問題×シンボル×表象×representation×身体性×embodiment×意味の動的生成×社会的相互作用を活用した知識創発×環境への適応的なカテゴリー形成→
- →u理論×中山_心太×2014×オカルト×経験した人にとっての正しさ×センゲ×オットー・シャーマー×ピーター・センゲ×説明のための比喩×大衆向け自己啓発本の作り方×水の伝言×how×エミュレーション×u理論は結晶化を経験したことのある人にとっては、自分の体験を言語化してくれるラベリング×結晶化×体験×言語化×ラベリング×暗黙知×体験のラベリング×経験×意識して繰り返せるようにする×ラベリングによる再現×デザインパターン×パターンランゲージ×フロー理論×フロー×プレゼンシング×グループフロー→
- →伝達×抽象化×シンボル×抽象概念×解釈×共同観察×具体的×現象×言語化前×言語化以前×未言語化×まだ言葉になっていないもの×抽象的でわからないのは具体的経験不足×アインシュタインの経験公理検証モデル→
- →日記2024-04-03×llmとは電磁気そのもの×イノベーション化×シニフィエ×綱引きがゴンゴン変わっていく×ゲゼルシャフトは梯子外し率が上がる×ゲゼルシャフト×フェルディナント・テンニース×梯子外し率が上がる×ゲマインシャフトがより安牌になる×ゲマインシャフト×避難所×shogochiai2/8×shogochiai3/1→
- →学び方のデザイン×盲点×学び×学び方×2014×灘校土曜講座×灘校土曜講座2014質疑×正しさとは何か×先入観なく見ることは難しい×学びのハシゴモデルは正しいか？×互いに知識を交換して学ぶ×灘校土曜講義での資本主義の話×資本家×ポスト資本主義社会×経験を抽象化して理解を育てる×経験と結びつかない知識は応用ができない×知っているだけでは価値がない×「わかった」は仮説×仮説は実験して検証しよう×暗算と筆算どちらが楽か×目隠し将棋×他人の意見を聞いて判断保留して書き留める×既存の枠組み×問題は理想と現実のギャップ×ボトムアップでないと応用ができない×根無し草の知識→
- →2014×断片的×重要度×知識の行動による証明×整合説×脱「抜き書き」論×知識の整合性×ネットワークの図×本の理解×書籍の理解×理解の過程×理解のステップ×本が理解されるステップ×断片が本の外とつながっていく→
- →概念×ハンドル×概念のハンドル×douglas_carl_engelbart×日本語と英語のハンドルの違い×取っ手×思考×言葉×エンジニアの知的生産術×思考の道具×(4.5.3.3)_思考の道具を手に入れる×操作×言語化×(6.2.6)_言語化のまとめ×engelbart×シンボル×考える×パターン×(column)_パターンに名前を付けること×名前×名前をつける×容器×入れ物×augmenting_human_intellect:_a_conceptual_framework×液体が容器に入っているメタファー×コップ×鍋→
- →考える×立川_智也×語の意味は語の使用×取っ手×思考×engelbart×概念×シンボル×操作×読書について×ショーペンハウアー×読書とは他人にものを考えてもらうこと×多読×アウトプットを焦ると劣化コピーになる×人間を考える×演題を考える×書いて考える×塩澤_一洋×書考×客体化×双対を考える×盲点カード×盲点×神託を解釈するのは人間×タロット×連想接続×絶縁破壊×プラセボ×アナロジー×メタファーの空間×考える＝情報を別の情報と結合すること×気づいた×連想×2-hopリンク→
- →word2vecによる自然言語処理×距離×三角不等式×ベクトルの類似度×軸を潰す×潰す×無視×次元削減は抽象化×抽象化×特徴量の無視×違いを無視×word2vec×deep_learning×dropout×ニューロン×汎化性能×概念×類似度×単語の意味×意味の類似度×話が飛躍する人=ベクトル検索エンジンか？×連想×次元削減してから類似度検索→
- →期待と現実のギャップ×誤差×逆伝搬×抽象度の高い知識は修正が少ない×応用×do×具体化×出力×check×現実×ギャップ×抽象化×pdca×パーセプトロン×2014×2014-11×誤差逆伝搬×変わりにくいもの×陳腐化しにくい知識×降りて登るメタファー×登って降りるメタファー→
- →言葉×抽象的×シンボル×具体的×感覚×リンク×意識的に切ったりつないだり×活版印刷×複製コスト×文字の複製コスト×主に文字によって伝達する×表現形式×デファクト化×文字によって思考する癖×非言語的思考の例→
- →ゴチャゴチャ×一次元化×ストーリー×関係×消えない×ディソシエイト×俯瞰×客体化×主客分離×keichobot×モヤモヤ×シンボル×kozaneba×KJ法×表札×関係ありそう×体験過程と意味の創造×relevance×フェルトセンス×線を引く×既存の構造×なぜ線が必要不可欠か×ごちゃごちゃ×待ち状態のタスク→
- →拡散モデル×denoising_diffusion_probabilistic_models×ddpm×high-resolution_image_synthesis_with_latent_diffusion_models×latent_diffusion_model×vae×stable_diffusion_latent_space_visualization×denoising_diffusion_implicit_models×ddim×stable_diffusionのpromptは77×768次元のテンソルになる×Positional Encoding×clip×clip-vit-l-14×注意機構×u-net×オートエンコーダ×stable_diffusionのシードとプロンプトの関係×stable_diffusion埋め込みテンソル編集×stable_diffusion_inpaintの仕組み×mask_again_after_inpaint×img2prompt×clip_interrogator×blip×画家の発見×高次元においてコサイン類似度0.2は激レア×textual_inversionを試してみる×dreambooth×stablediffusion×バタフライ効果×word2vec→
- →主観的×体験×抽象概念、身体感覚、メタファ×sensory×conceptual×symbolic×身体感覚×抽象概念×シンボル×メタファー×clean_approaches_for_coaches×metaphoric×nonverbal×まだ言語になってないもの→
- →eugene_t._gendlin×体験過程×experiencing×フォーカシング×focusing×象徴化における体験過程の機能×象徴化×シンボル化×体験×シンボル×メタファー×概念のハンドル×体験過程と意味の創造→
- →書いては消し×原稿を消してはいけない×結城_浩×文章を書く心がけ×何でも書いていいんだよ×最初から完璧×運×実装とリファクタリングは同時にはできない×しっくりこない×コーディングを支える技術×2014×01-20×2014-01×視野が狭い→
- →思考の結節点2019-10-14×知識の保存形式×知識の表現形式がアップデートされなければならない×知識の表現形式のアップデート×連想のストック×連想装置×レコメンド×検索×2-hop_link×連想×知識を編むプログラム×リンクサジェスト×過去の自分の書き物と今の思考の結合支援×類似文書検索×word2vec×gyazz×転置インデックスと指差し×文書は場所×指差し×文書が階層的×長さをパラメータにしたdf×接尾辞配列×scrapboxの良さ(その2)×抽象概念×メタファー×知性を高めるシステム×アイデアの干渉効果×類似度ベースではないレコメンド×レコメンドとscrapbox×明示的なブラケティング→
- →自然言語処理×深層学習×rnn×lstm×gru×recursive_neural_networks×tree-rnn×cnn×分散表現×lbl_model×対数双線形モデル×word2vec×skip-gram×cbow×seq2seq×注意機構×memory_network→
"Engineer's way of creating knowledge" the English version of my book is now available on [Engineer's way of creating knowledge]
(C)NISHIO Hirokazu / Converted from [Scrapbox] at [Edit]