SimCSE
>自然言語処理のさまざまなタスクにおいて、BERTの有効性が示され、広く利用されるようになってきました。しかし、今回のベクトル検索のように文ベクトルを利用したタスクには不適切だと考えられます。理由は、BERTには異方性という特徴があると確認されているためです［2］。これは、文ベクトルが特定の方向に偏っているために単語の類似性を適切に捉えきれないというものです。
> SimCSEは、正例のベクトル同士は距離が近くなるようにし、かつベクトルの分布が一様になるように修正することで異方性を解消しました。
BERTとの比較
異方性
埋め込み
Related Pages
- →過去に書いた文章×リンク×まだ書かれてないこと×過去に書いた関連記事×発見支援×過去に書いたことを忘れて何度も同じことを書いてしまう×ベクトル検索×過去に書いた関連記事の発見×発見×似ている→違いは？×認知の解像度→
- →hnsw×Hierarchical Navigable Small World Graph×skip_list×スキップリスト×スキップグラフ×lsh×navigable_small_world×approximate_nearest_neighbor_search_small_world_approach×qdrant×pinecore×ベクトル検索×階層的×スモールワールド→
- →openai_deep_research×ちゃんと読む×ベクトル検索×意味で検索×根無し草の知識×画面4分割にrectangle×人間が試さないといけない×机上の空論×現実に着地×地に足をつける×日記2025-02-10×日記2025-02-12×日記2024-11-03×日記2024-02-11→
- →ベクトル検索×西尾のベクトル検索×pVectorSearch2023-04-29~05-31×pvectorsearch2023-06-02×pvectorsearch2023-06-05×pvectorsearch2023-06-06×pvectorsearch2023-06-07×pvectorsearch2023-06-13×日記2023-06-15×pvectorsearch2023-06-20×pvecsearch×pVecSearch2024-03-22振り返り×2024-09-17ベクトル検索止まってる✅×2024-09ベクトル検索の改善→
- →pVectorSearch×ベクトル検索×西尾のベクトル検索×pVectorSearch2023-04-29~05-31×pvectorsearch2023-06-02×pvectorsearch2023-06-05×qdrant×scrapbox_chatgpt_connector×埋め込みapi呼び出しの並列化×pvectorsearch2023-06-06×pvectorsearch2023-06-07×pvectorsearch2023-06-13×日記2023-06-15×非公開資料をベクトル検索対象にする×蔵書横断ベクトル検索×democratic_inputs_to_ai×omni×the_plurality_book×pvectorsearch2024-04-02×熟議×前提知識の共有→
- →オモイカネプロジェクト×オモイカネ勉強会×自分のscrapboxをchatgptにつないだ話勉強会×omoikane_embed×AIと人間の知的な共同作業×aiによる赤リンクの延伸×生のchatgptとomniのユースケースが違う×非公開omniを使ってみての感想×ベクトル検索は切り出しの機会になる×ベクトル検索は認知の解像度を高める道具として機能する×Azure Cognitive Search: Outperforming vector search with hybrid retrieval and ranking capabilities×検索を組み合わせる×dpr×bm25×ベクトル検索×dense_passage_retriever×fusion_in_decoder×azure_cognitive_search×hnsw×リランク×hierarchical_navigable_small_world×西尾のベクトル検索×経験的に明らか×ベクトル検索が有用だった事例×社会保障費と科学技術関係経費の比較×名詞形×実現不可能なアイデアが独創的に見える×instruction_tuning×helpfeel×omoikane_vector_search×ベクトルインデックス×github_action×qdrant×omni×aiが毎日研究ノートを書く×aiとの共同化×人間がトリガーを引かなくても良い×pioneer_mode×ページをフォークしたい×マルチヘッド×ページメモリ×マルチヘッドの思考×話題のピン留め効果×aiノートの更新間隔について×recurrent_notesとiterative_commenterの違い×赤リンク×長いタイトルを刻むページ×当たり判定拡大×🌀交換様式d×情報交換は交換×知識交換の交換様式はaなのか×贈与の対象としての公共×説明のある検索×ベクトル検索とRAGの肌感の違い×「どの部分がaiでどの部分が人間か？」という問い×ai生成ページのタイトルに🤖を入れるのをやめた理由×aiページの底に埋もれてる×rag×概念は思考の経済性を高める道具×氷山モデル×公共の言葉と私的な言葉×エンジニアの知的生産術×(6.2.5.5)_公共の言葉と私的な言葉×seciモデル×交換様式論×共有の場×新しい交換様式×rlhf×非公開omni×横断ベクトル検索実験メモ2023-09-20×公開omniと非公開omniの感覚の違い×自分由来×scrapboxでの知識醸造をllmに教える×弁証法的発展×切り分けられていない連なりの一部にヒットすることで切り出しの機会になる×時間軸で並んだ記述からトピック指向で切り出される×適切な切り出し方は、ニーズが明らかになった後に決まる×切り出し×常緑のノートはアトミックであるべき×単一責任原則×死んだテキストを置く倉庫ではない×今考えていることを少しずつ違う方向から観察する×似ている→違いは？×認知の解像度×似ている×違い×言語化×物事をより詳細に観察×小さな収束ムーブとそこからの発散×アイデアの干渉効果×発想法×対立は近い関係×scrapboxに住んでるエージェント×scrapboxとaiに関する思考の結節点2023/8/16×上書きモード×aiの支援で新しい結合ができた事例×質問は言語化を促すが質問にも種類がある×enchiへの導入×aiの役割の明確化が大事×中学生の職場体験でsfプロトタイピングをやってもらった事例×流動的プロセスとしてのページ×思索と開発のトレードオフ×苦痛×このプロジェクトにおけるaiの役割は何か×複数の個性のaiがある？×aiノートのページごとに目的を明示したらいいのでは×苦痛の原因×異なるコンテンツの間のつながり発見×自分の日記に他人のaiを召喚×aiが無限に思考を発展させてくるので休めない×他のプロジェクトのurlを読めるという気づき×たまに浮かび上がるページ×「マルチヘッドの思考」と「エンジニアの知的生産術」×まとめを上に書く×___below_is_less_interesting___を__below_is_ai_generated__にした×🌀マルチヘッドの思考×🌀ai出島×iterative_commenter×aiシャーマン×松尾研のllm講座×aiによる異なる視点の提供の実例×歌詞をaiに解釈させる実験×不明瞭で長期的なタスクをaiにねりねりさせる×pdfからscrapboxへ×ビジネスはシーズとニーズのマッチング×メタ考察:ビジネスはシーズとニーズのマッチング×市場ニーズと個人ニーズ×深層の価値探求:_連携と成長×aiにページを発展させさせる×長い寝起き神託の考察×最近のモーニングルーティン2023-09-15×人生に関する歌詞を集めて気に入ったフレーズをピックアップする×llmに似ているものの違いを言語化させる×(仮)まだ名前のない操作×scrapboxを活用した思考とコミュニケーションの再構築×「人間」の概念が曖昧→
- →日記2023-12-06×2ホップリンク×ベクトル検索×隣接関係×親子関係×sentence-aware_contrastive_learning_for_open-domain_passage_retrieval×scrapboxは忘れたことを思い出させてくれる×ブラケティング→
- →日記2023-09-02×ベクトル検索×rag×肌感×aiによる赤リンクの延伸×西尾のベクトル検索×検索結果は編集をアフォードしない×編集をアフォード×書くのではなく削ることによる考えのアウトプット×retrieval-augmented_generation×目的に合わせて検索結果を要約する×説明のある検索×LLMによる知的生産性向上勉強会×横断ベクトル検索実験メモ2023-09-20×結局必要なのは検索の精度向上×pVectorSearch2023-04-29~05-31×aiとの協働作業の実態とs字カーブ→
- →日記2023-11-01×omni×時々上がってくるページ×時々浮かび上がってくるページ×omniの仕様バグ×iterative_commenter×ねりねりの価値が緩やかに減ってる×recurrent_notes×繰り返し要約をかけていくことによるkj法的効果×乱読のセレンディピティ×イベント記事は瀕死×レバレッジメモ×要約は曖昧概念×再利用可能コンポーネントの抽出×常緑のノートはアトミックであるべき×日記2023-11-02×動的セマンティックウェブと考える花火×連想による発展×ベクトル検索×rag×妄想による発展×積極的ハルシネーション×本を読む×読むとは何か×知識のネットワーク×バックリンク×2-hopリンク×scrapboxは忘れたことを思い出させてくれる×mem.nhiro.org×要約の概念を詳細化する→
- →dpr×bm25×ベクトル検索×dense_passage_retriever×retriever-reader×fusion_in_decoder×リランク×pksha×llm×ai王×クイズai→
- →サイボウズラボ勉強会×自分のscrapboxをchatgptにつないだ話勉強会×pluralityとpolis勉強会×plurality×polis勉強会×オモイカネプロジェクト×worldcoin×sam_altman×world_id×人間性の証明×decentralized_identity×分散型id×ユニバーサル・ベーシック・インカム×american_equity×gdp×moore's_law_for_everything×aiを活用する企業×労働ではなく資本に課税しよう×資産課税×ubi×sybilrank×trust_seeds×ネットワーク効果×paypay×100億円あげちゃうキャンペーン×aiへのアクセスを独占させないためのubi×熟議支援システム×openai×democratic_inputs_to_ai×意思決定×少数の人間×公共の利益×多様な視点×民主的プロセス×概念実証×チーム×よりグローバルで、より野心的なプロセスの基礎×polis×世界観共有×sfプロトタイピング×発想する会社×コラボレーション×チームワーク×ドラえもん×付喪神×プロトタイプは思考を活性化する×プロトタイプ×ブレインストーミング×社会的な調和×集団主義×誰でも知っている×常識的概念×マイノリティ×ガラパゴス概念×無意識のバイアス×改善サイクル×アジャイル×イテレーション×徐々に改善×lean_startup×build-measure-learn_loop×minimum_viable_product×コミュニティ中心のai構築×コミュニティai×community-centered_ai×日本文化ai×retrieval-augmented_text_generation×ベクトル検索×g0v×サイボウズ式×reinforcement_learning_from_human_feedback×human_in_the_loop×people_in_the_loop×違和感×協調ゲーム×connecting_the_dots×正統的周辺参加×周辺参加×状況に埋め込まれた学習×実践共同体→
- →人間とaiが一緒に暮らす世界を作りたい×知的活動ができるai×知的な共同作業×aiの住んでるscrapbox×aiが毎日研究ノートを書く×ベクトル検索×断片的情報×統合×収束ムーブ×納得×道具としてのai×aiは友達×aiとの交換日記×aiがチームメンバーとして活躍する未来×ターン制コミュニケーション×読書ノートモード→
- →オモイカネ勉強会の準備×chatgpt×scrapbox×kozaneba×omoikane_embed×ベクトル検索×不用知×text_composter×適切な切り出し方は、ニーズが明らかになった後に決まる×梅棹_忠夫×カード型データベース×読者とのインタラクション×aiとのインタラクション→
- →掘り下げ×積み上げ×抽象的な概念×丸暗記している人は掘り下げられない×根無し草の知識×根×空中戦×抽象度の高い概念×具体的な事例×議論ごっこ×解釈×掘り下げて循環参照×出来るプログラマの学び方×実例×抽象化能力はどうすれば教えられるのか×具体的な事例への密着×根を張る×掘り下げられない×抽象概念×ベクトル検索→
- →pVectorSearch×ベクトル検索×盲点カード×画像と文章のペアに価値がある×自分のscrapboxをベクトル検索して2hopリンクをたどる×質問を収集して改善する×個人の知識ネットワークの相互作用×他人のscrapboxもベクトル検索したい×社会的トリガー×みずからの目で見なければならない→
"Engineer's way of creating knowledge" the English version of my book is now available on [Engineer's way of creating knowledge]
(C)NISHIO Hirokazu / Converted from [Scrapbox] at [Edit]