概念の類似度は距離ではない
word2vecによる自然言語処理 p.64にこう書いた
>リンゴとトマトは似ています。どちらも赤いです。リンゴと青リンゴも似ています。どちらもリンゴです。ところが、青リンゴとトマトはあまり似ていません。
この問題の解決方法
現状の word2vec によって作られるベクトルの 1 つの軸が「色の違い」のような都合の良い属性を表現しているかは疑問
word2vec はあくまで単語の周辺にどのような単語が出現するかの情報だけを基にベクトルを作っているから
人間の脳内では近いことが行われているのではないか
ランダムにニューロンを選び、その活動を止めて学習をさせる手法
これをやると汎化性能が上がる
ランダムに選んだニューロンの活動を止める
=そのニューロンが表現していた値を0にする
=ランダムに選んだ軸の方向に潰す
連想はベクトル検索か？違うと思う
ランダムに次元削減してから類似度検索してしてる
Related Pages
- →qr×エンジニアの知的生産術_著者公式ページ×エンジニアの知的生産術第5刷の増刷が決定！×一般社団法人未踏の理事に就任しました×一般社団法人未踏の理事を退任しました×灘2021講演準備×未踏と僕の関わり×pluralitybook×mashbean×創造一個充滿團隊合作的社會×face×コーディングを支える技術×word2vecによる自然言語処理×視点を変えてみよう×3d-nws×パーフェクトシャッフル×世界一わかりやすいプログラミングのしくみ→
- →承認欲求×目立つ×自己価値×交流分析×正のストロークに餓えると負のストロークを集める×ストローク×正のストローク×負のストローク×存在承認の欲求×注目×無視×自分の存在×存在承認×自分の価値×コンビニのアイス容器に入って自撮りする人→
- →西尾泰和×外部脳×思考は脳の中だけで行われるものではない×川喜田二郎×知的生産術×kj法×考える花火×紙切れ×書き出し×空間的に配置×脳の外で思考する×方法論×生身の脳×短期記憶×梅棹_忠夫×知的生産の技術×情報カード×ツェッテルカステン×断片的書き物×公開しない理由がない限り情報は公開されるべきである×scrapbox×リンクを使って情報を構造化×知識のネットワーク×予期せずリンクがつながる×scrapboxのリンクサジェストが便利×2-hop_link×似たものを比較することで新たな学びがある×思考の解像度を高める×連想×脱線×連想のストック×nota×helpfeel×cosense×西尾泰和の外部脳×道具を使用する技能の向上によって世界の認識が詳細になる×読者向けlinks×for_visiter_of_/nishio-en×公表されたものは引用できる→
- →社会を人間による計算として考える×テクノ・コミュニタリアニズム×江戸文化×江戸文化が「あたらしい専制とａｉが支配する社会」を救う？×江戸、編集工学とplurality多様性に開かれた社会に向かうために×つながりの発見×connection_as_first-class_objects×連想のストック×連想×第一級の対象×ハイパーグラフ×intersecting_group×cosenseではリンクが第一級のオブジェクトである×端的な説明は万人にわかりやすくない×cosenseはplurality的×日記2025-07-31×日記2025-08-02×日記2025-04-23×日記2024-08-01→
- →独自の用語を造語する×新しい用語×世界の新しい切り取り方×概念×表層的×言葉を生み出す×有用×三島由紀夫×造語×軽薄×流行語×いままでにある言葉ではどうしても表現できない×ジョイス×フィネガンズ・ウェイク×柳瀬尚紀×翻訳はいかにすべきか×切実さ→
- →連想×リンク×過去の連想の再利用×リンクサジェスト×あいまい検索×原始的連想×オーガニック連想×手繰る×xy問題×メタノート×赤リンク×有用な概念の当たり判定を拡大する×長いタイトルを刻む×長いタイトルを刻むページ→
- →論理×意見の食い違い×公理×作業仮説×哲学×真理論×正しさの相対化×エミュレート×エミュレーション×思惟×抽象化×思惟経済説×不可知×近似×均質×ステレオタイプ×ステレオタイプによる近似×プラグマティズム×ダブルスタンダード×勝つための議論×不毛な議論×掘り下げ×循環論法×掘り下げて底に到達×未来予知×力は悪である×奴隷道徳×ルールを作って欲しがる人→
- →書籍×抽象化産物×具体的な経験×抽象化×raw画像×リンクが張れないメディア×同じことを何度も説明する×毎回記憶がリセットされるメディア×書籍というレガシーフォーマット×ホモサピエンスに抽象化させない→
- →エアリプ×一般論×長期的に価値のある知識×具体的側面×削ぎ落とし×抽象化×共通点を見出し×「最速のコースは最速ではない」誕生プロセス×抽象度の高い概念は応用範囲が広い×エアリプだと思う自意識過剰のバグ×人に対して話す×虚空に向かって文章を書く×希少なリソース感の食い違い→
- →実体ベースの概念×プロセスベースの概念×物のスキーム×流れのスキーム×barsalouの知覚的シンボルシステム理論×記号創発ロボティクス×知覚的シンボルシステム理論×経験の再活性化×身体性の認知×概念×🌀名詞化を無効にする→
- →変わりやすいもの×変わりにくいもの×変わりにくいものを学べ×エンジニアの知的生産術×変化しにくい知識×個別具体的な事例×個別ケース依存×抽象化×個別具体的情報×土台から順に積む必要がある×箱を上に積む×具体的情報×汎用性の高い×抽象化された知識×ピラミッドの頂上を取ってきても期待と違う×根無し草の知識×浮き草と樹木のたとえ×PDCAと誤差逆伝搬×mitoujr-mentoring-tips→
- →思考の結節点×タユピンコ人×何か生まれそうな予感×新しい抽象化が起きそうな気配×辞書を読む×辞書×実りのあるメタファー×実り×メタファー×メタファー空間×概念間のネットワーク×ワープポータル×遠いものの結合を促進×アナロジー×遅い読み方×図と紐付いてる概念×共同注意×指差し×積み上げる作業×人間の経験にはパーマリンクがない×忘却×曖昧化×分解×腐敗×発酵×重要でない×抽象化×連想は類似検索ではない×metric×10年かかる学習プロセス×写経×翻訳はゆっくり読む手段の一つ×翻訳×書きながら考える×違うシンボル空間ではシンボルの分布が異なる×抽象化フェーズ×抽象化を促す情報×クリーンな質問×重要な部分を抽出×ハンドル×他の情報へのリンク×人間の増強×芋づる検索×人間+コンピュータ=増強された人間×連想接続×メタファー空間へのリンク→
- →思考の結節点2019-01-21×概念間のネットワーク×概念のネットワーク×概念ネットワーク×知識ネットワーク×知識×客観的×主観的×世界認識×世界観×世界記述×ユクスキュルの環世界論×連想のネットワーク×連想×世界×思い出し×仮想的に見る×状況が接続してる×未来予知能力としての理解→
- →答え×無益×解き方×新しい問題×抽象化×鶏と卵×パラレルワーク×mba×mot×ケーススタディ×知識交換×nda×営業秘密×解法×知識移転×抽象化能力×抽象化能力が高まるとndaを回避できる×抽象化して流通させる×法的思考×具体と抽象の行き来×法的三段論法→
- →書き出し法×kj法×ボトムアップ×グループ編成×関係×物理的な近さ×scrapbox×連想×リンク×検索×連想接続×リンクを使って情報を構造化×連想雪崩×情報片のつながり×過去のこの日×アウトプットしたものにはit技術が適用できる×連想をストック×連想の軌跡→
- →伝達×抽象化×シンボル×抽象概念×解釈×共同観察×具体的×現象×言語化前×言語化以前×未言語化×まだ言葉になっていないもの×抽象的でわからないのは具体的経験不足×アインシュタインの経験公理検証モデル→
- →エンジニアの知的生産術_ビフォー・アフター_aiまとめ×エンジニアの知的生産術_著者公式ページ×エンジニアの知的生産術×コーディングを支える技術_著者公式ページ×学びの加速×学びを加速させる人×なぜ知的生産術に投資するのか×生産性の向上×知識と資本論とテクノロジストの条件×何をどう学ぶか？×何をどう学ぶか？２：三大入力方法×なぜ学び方に興味を持ったか？×特集_エンジニアの学び方×アウトプット×理解は仮説×知識の行動による証明×リーン・スタートアップ×言葉×概念×物質×道具×言葉によって道具を作る×生身の人間×ハンドル×液体が容器に入っているメタファー×付箋は本体ではない×概念のハンドル×フック_×エンジニアの知的生産術_反響まとめ×scrapbox×連想のストック×著者の数とフォーマット×ネットワーク的な情報表現×エンジニアの知的生産術と体育型授業×知識資本→
- →連想×association×connection×連×to_connect×to_link×to_join_together×continuity×chain×series×想×thought×idea×imagination×linking_thoughts→
- →概念×ハンドル×概念のハンドル×douglas_carl_engelbart×日本語と英語のハンドルの違い×取っ手×思考×言葉×エンジニアの知的生産術×思考の道具×(4.5.3.3)_思考の道具を手に入れる×操作×言語化×(6.2.6)_言語化のまとめ×engelbart×シンボル×考える×パターン×(column)_パターンに名前を付けること×名前×名前をつける×容器×入れ物×augmenting_human_intellect:_a_conceptual_framework×液体が容器に入っているメタファー×コップ×鍋→
- →メタファー×アナロジー×概念のトリクルダウン×連想×話が飛躍する人=ベクトル検索エンジンか？×たまたま表記の文字列が共通であるだけ×たまたま良いものを生み出す可能性は否定できない×考えたい人は考えさせておけば良い×実りの多い思考をした人がより多くの価値を生み出す→
- →複数の選択肢×選択×深堀り×選択した結果だけ書くとやったことの難しさや凄さが伝わらない×連想×寄り道しすぎ×省略しすぎ×選択肢×複数のストーリーを重ねた時の共通部分を見る×ストーリーの交差点がアトムになる×文章が作られるプロセス×レポートの書き方→
- →gyazo_pro×pdfからpngへの変換×google_cloud_vision×ja_pdf_to_text×pdfminer×word2vecによる自然言語処理×cmapの再生成×poppler×pdftotext×cid問題×pdfminerの座標系解析→
- →考える×立川_智也×語の意味は語の使用×取っ手×思考×engelbart×概念×シンボル×操作×読書について×ショーペンハウアー×読書とは他人にものを考えてもらうこと×多読×アウトプットを焦ると劣化コピーになる×人間を考える×演題を考える×書いて考える×塩澤_一洋×書考×客体化×双対を考える×盲点カード×盲点×神託を解釈するのは人間×タロット×連想接続×絶縁破壊×プラセボ×アナロジー×メタファーの空間×考える＝情報を別の情報と結合すること×気づいた×連想×2-hopリンク→
- →抽象化×llmに解かせて×引き戻す×指導要領×モデリングシミュレーション×数学的活動のサイクル図×アナロジー×メタファー空間でgpt4に発散と抽象化をさせてから具体化する×chatgpt攻略×xが優秀なのは、友人もまた優秀だから→
- →昔話をする老人×自分の発言を受け止められたと感じられない人は同じ発言をくりかえす×テーマに対して見当違いなことを言っているから無視されている×同じことを繰り返して違う結果を望む狂気×理解者を探す×見当違い×無視→
- →灘校土曜講座2014×経験を抽象化×理解を育てる×経験×抽象化×理解×育てる×産婆術×本質的な知識は各人が生み出さねばならない×与えられてもそれは使えるものにならない×哲学は生むのを助けるだけ×知識創造の方法論→
- →愚問×法律×ルール×具体的な事実×抽象化×自分勝手な事実認定×前提が異なっていれば結論が異なるのは当たり前×前提が食い違ったまま議論をしても何も積み上がらない×承認欲求に飢えた人が飢えた人同士で奪い合いをする×snsでは断言をする人が目立つ→
- →締め切りがないと、到達しないすごく遠いゴールに向かって走ってしまう×締め切り×ストレスフリー×gtd×気になることをすべて書き出せ×心に浮かんだことをすべて書き出せ×事前にフィルタリングしない×kj法×進んでいる実感×ボトムアップ×人生の目的×失敗体験×抽象化×認知的負荷×結晶化×エンジニアの知的生産術×(2.2.4.2)_価値観はボトムアップに言語化する→
- →自己紹介×エンジニアの知的生産術×コーディングを支える技術×word2vecによる自然言語処理×自分のscrapboxをchatgptにつないだ×scrapbox_chatgpt_connector×中高生のためのchatgpt×新しい自然×誰も正解を知らない×みずからの目で見なければならない×chatgpt_plugins実験×1×chatgpt×2023-04-10 LLM Meetup→
- →エンジニアの知的生産術×箱を上に積む×抽象化×モデル×モデル化×パターンの発見×体験に対するラベリング×発想の累積効果×集めて並べる×試行錯誤×試行錯誤は見えにくい×自分の経験×知識を提供するサービスの登場×既に書かれた知識×見えにくい試行錯誤×まだ書かれていないことの森を切り拓いていく仕事×上位の概念ほど陳腐化しにくい×PDCAと誤差逆伝搬→
- →期待と現実のギャップ×誤差×逆伝搬×抽象度の高い知識は修正が少ない×応用×do×具体化×出力×check×現実×ギャップ×抽象化×pdca×パーセプトロン×2014×2014-11×誤差逆伝搬×変わりにくいもの×陳腐化しにくい知識×降りて登るメタファー×登って降りるメタファー→
- →週記2023-01-28×発散と収束のリンコグラフィーでの解釈×kozaneba開発日記2023-02-03×geoguessr×現象学×現象学入門:_新しい心の科学と哲学のために×カントにおけるアプリオリの概念×ヒューム的懐疑×自分のペースで読む×拡大解釈後に見出された関係は元の概念との関係とは限らない×合理論×概念×cnnは分類せずに学習できている×形而上学×自信に根拠なんかないのでは→
- →個別×n=1×科学×思考法×繰り返し実験×事例が少なくて何も言えない×ゼロからイチ×掘り下げる×抽象化×瑣末×枝葉×本質×解釈×事実と解釈×アインシュタインの経験公理検証モデル×目の前の事実×関連する情報×周辺情報×生成システム→
- →拡散モデル×denoising_diffusion_probabilistic_models×ddpm×high-resolution_image_synthesis_with_latent_diffusion_models×latent_diffusion_model×vae×stable_diffusion_latent_space_visualization×denoising_diffusion_implicit_models×ddim×stable_diffusionのpromptは77×768次元のテンソルになる×positional_encoding×clip×clip-vit-l-14×注意機構×u-net×オートエンコーダ×stable_diffusionのシードとプロンプトの関係×stable_diffusion埋め込みテンソル編集×stable_diffusion_inpaintの仕組み×mask_again_after_inpaint×img2prompt×clip_interrogator×blip×画家の発見×高次元においてコサイン類似度0.2は激レア×textual_inversionを試してみる×dreambooth×stablediffusion×バタフライ効果×word2vec→
- →エンジニアの知的生産術×(1.1)_学びのサイクル×学び×情報収集×モデル化×検証×具体×体験×抽象化×モデル×パターン×パターンの発見×パターンを発見する×理解×モデルを獲得×仮説×理解は仮説×応用×実践×実験×学びのサイクル(旧)×学びのサイクルの最初の一歩は？→
- →悪意である可能性を除外するな×ハンロンのカミソリ×ゲーテ×若きウェルテルの悩み×誤解×軽視×策略×悪意×neglect×無視×注意を怠る×悪意は誤解より頻度が低い×無能×ハンロンの剃刀×無能で十分説明されることに悪意を見出すな→
- →思考の結節点2019-10-14×知識の保存形式×知識の表現形式がアップデートされなければならない×知識の表現形式のアップデート×連想のストック×連想装置×レコメンド×検索×2-hop_link×連想×知識を編むプログラム×リンクサジェスト×過去の自分の書き物と今の思考の結合支援×類似文書検索×word2vec×gyazz×転置インデックスと指差し×文書は場所×指差し×文書が階層的×長さをパラメータにしたdf×接尾辞配列×scrapboxの良さ(その2)×抽象概念×メタファー×知性を高めるシステム×アイデアの干渉効果×類似度ベースではないレコメンド×レコメンドとscrapbox×明示的なブラケティング→
- →自然言語処理×深層学習×rnn×lstm×gru×recursive_neural_networks×tree-rnn×cnn×分散表現×lbl_model×対数双線形モデル×word2vec×skip-gram×CBOW×seq2seq×注意機構×memory_network→
- →metaphor×learning cycle×the_three_elements_correspond_to_three_dimensions×具体×concrete×体験×experience×情報収集×information_gathering×抽象×abstract×抽象化×abstraction×モデル化×modeling×パターンの発見×pattern_discovery×応用×application×実践×practice×検証×verification×(1.1.1)_information_gathering×(1.1.2)_modeling_and_abstraction×(1.1.3)_practice_and_verification→
- →motivation×記憶×memory×外部の情報×external_information×input×情報収集×information_collection×information_gathering×断片的情報×fragmentary_information×積み上げる×stack×抽象化×abstraction×モデル化×modeling×パターンの発見×pattern_discovery×噛み砕く×chew×具体化×concretion×言語化×verbalization×文章化×to_create_sentences×output×実践×practice×応用×application×reaction×検証×verification×自分以外(世界・他人）の反応×reactions_other_than_yourself→
- →information_gathering×modeling×verification×具体×concrete×情報収集×体験×experience×抽象×abstract×抽象化×abstraction×モデル化×パターンの発見×pattern_discovery×応用×application×実践×practice×検証×(0.2.1)_collect_information_concretely×(0.2.2)_compare_and_find_patterns×(0.2.3)_practice_and_verification×learning cycle→
- →(0.2) How to learn programming×(1.1) The learning cycle×information_gathering×modeling×verification×具体×concrete×情報収集×体験×experience×抽象×abstract_2×抽象化×abstraction×モデル化×パターンの発見×pattern_discovery×応用×application×実践×practice×検証×cycle_of_learning→
- →シチュエーションによって好む入力手法は異なる×ipadでは手書き入力したい×ipad×手書き×一人でも共同編集は必要×グループ開閉が必須×隠す機能×抽象化×空間的に書くことは良い×マインドマップ×kj法×手書きストロークが最小単位×芋づる検索→
- →タスク×ふせん×川喜田二郎×フェーズ×知識×あなた×サイクル×読み方×メタファ×本章×優先順位付け×kj法×全体像×しくみ×抽象化×プログラミング×やる気×ピラミッド×ソフトウェア×注×プログラム×whole_mind_system×パターン×プログラミング言語×ボトムアップ×たとえ話×価値×プロセス×知的生産術×分野×概念×アウトプット×グループ×学び×目的×他人×言語化×海馬×情報×考え方×誰か×視点×創造性×書き出し法×速度×盲点×教科書×原動力×方法×アナロジー×表札×発想法×方法論×それ自体×抜き書き×incremental_reading×単語×抽象概念×情報収集×見積り×一覧性×著者×文章×意思決定×シナプス×脳内×インプット×記憶×ルール×暗黙知×ゴール×写経×ソースコード×モデル×仮説×顧客×コンピュータ×実験×エンジニア×グラデーション×モデル化×アジャイル×supermemo×速読術×言葉×自分×複数×ボトルネック×ラット×複数人×フィードバック×具体例×symbolic_modelling×書籍×何回か×コーディング×岩波書店×メリット×レポート→
"Engineer's way of creating knowledge" the English version of my book is now available on [Engineer's way of creating knowledge]
(C)NISHIO Hirokazu / Converted from [Scrapbox] at [Edit]