自分用の検索エンジン
2021-06-24
そういう意味では裁断スキャンしてOCRした書籍の横断検索ができるようにしてるって話、まさに自分用の検索エンジンを使ってると言える
それの話、書いたかな？
自分検索エンジン(2018-10-18)
本の内容や自分の過去のブログ記事、他人の記事などを記憶していて、僕が今考えていることを読んで、そこから連想して提示するシステムが欲しい
これのPoorな実装は、僕がキーワードを入力して、そのキーワードを含む文章を返す「検索エンジン」だ
まずはこのPoorな「検索エンジン」があるべきではないか？
実はsilver_searcherでデータフォルダ内をがすっと検索するプログラムはある
書籍PDFを1ページ1行で出力してあるので、ヒットしたファイル名とその行番号を見ればどの本の何ページにあるかがわかる
これでは何が不足か？
最新に保つ手段が不明
前にデータを作ったのは大分前なのでもう忘れた
Facebookを検索対象にするにはdumpfbを使うはずだが…
書籍はどこまで検索対象に加えたかな…
公開できないタイプのデータ源は公開の場所に書いてないので自分自身が忘れてしまう
非公開でも書いておくべき
公開できるものは公開してGoogleなどの検索に任せた方が良い
クエリを決めなければいけない
例えばScrapboxにここまで書いたところで、ワンクリックで「この文章全体」をクエリとして検索ができて欲しい
2023-12-19
>例えばScrapboxにここまで書いたところで、ワンクリックで「この文章全体」をクエリとして検索ができて欲しい
西尾のベクトル検索で実現された
まだワンクリックではないが文章による検索ができる
Related Pages
- →日記2024-11-17×自動英訳×西尾泰和のscrapbox→西尾泰和の外部脳×なんかもうscrapboxにimportするの辞めた方がいいんじゃないの×mem.nhiro.org×memとは×mem×2022-03-08×next-mem×etude-github-actions×github_actionsでのscrapbox自動翻訳×西尾のベクトル検索×濃い塊の抽出×omni×オモイカネプロジェクト×omoikane_embed×nihia×pnihia×⿻plurality_assistant×激動の2024年5月下旬×obsidian_canvas×自動英訳した後のものをホストする場が欲しい×抽象度が高くなると応用範囲が広くなる×quartz×preact×scrapboxtoobsidian→
- →西尾のベクトル検索×aiアシスタント×gpts×書籍の裁断スキャンデータの活用に関する議論×omniとnihiaの関係×ゴールが帯状の問題×西尾の精神の形×nihia×gpt_mention×pnihia→
- →英語発信×機械フレンドリーな英語を元に多国語展開×文化的同質化×自動翻訳×pcontinuoustranslation2023-04-27×継続的翻訳×pcontinuoustranslation2023-05-06×aiによる英語化の考察×scrapbox英語化計画×scrapboxautotrans開発日記2021-10-30×翻訳の質と速度のトレードオフに関する対立解消思考×翻訳後の改善の問題×o1_pro×西尾のベクトル検索×advanced_voice×目立つプロジェクトの隙間に落ちる×人間がボトルネックにならない仕組みづくり×日記2024-12-10×日記2024-12-12×日記2024-09-02×日記2023-12-11→
- →ベクトル検索×西尾のベクトル検索×pvectorsearch2023-04-29~05-31×pvectorsearch2023-06-02×pvectorsearch2023-06-05×pVectorSearch2023-06-06×pvectorsearch2023-06-07×pvectorsearch2023-06-13×日記2023-06-15×pvectorsearch2023-06-20×pVecSearch×pVecSearch2024-03-22振り返り×2024-09-17ベクトル検索止まってる✅×2024-09ベクトル検索の改善→
- →エンジニアの知的生産術_著者公式ページ×エンジニアの知的生産術5刷記念イベント×コーディングを支える技術_著者公式ページ×主観か客観かではなく、一人の主観から大勢の主観へ×plurality×polis×polis体験レポート:テロの原因究明をするか×polis体験レポート:同性婚を合法化すべきか×盲点カード×盲点×二人が違うことを言う絵のシリーズ×たとえ×kj法×kj法勉強会@ロフトワーク×西尾のベクトル検索×パスタロジック×ゼロワンバース→
- →時間的文脈×書籍の一次元性×執筆は一次元化×フラクタル要約×ブロードリスニング×kj法×繰り返し要約をかけていくことによるkj法的効果×omniに関する現時点での感想と思考の整理×西尾のベクトル検索×memochat:_tuning_llms_to_use_memos_for_consistent_long-range_open-domain_conversation→
- →pVectorSearch×ベクトル検索×西尾のベクトル検索×pvectorsearch2023-04-29~05-31×pvectorsearch2023-06-02×pvectorsearch2023-06-05×qdrant×scrapbox_chatgpt_connector×埋め込みapi呼び出しの並列化×pVectorSearch2023-06-06×pvectorsearch2023-06-07×pvectorsearch2023-06-13×日記2023-06-15×非公開資料をベクトル検索対象にする×蔵書横断ベクトル検索×democratic_inputs_to_ai×omni×the_plurality_book×pvectorsearch2024-04-02×熟議×前提知識の共有→
- →オモイカネプロジェクト×オモイカネ勉強会×自分のscrapboxをchatgptにつないだ話勉強会×omoikane_embed×aiと人間の知的な共同作業×aiによる赤リンクの延伸×生のchatgptとomniのユースケースが違う×非公開omniを使ってみての感想×ベクトル検索は切り出しの機会になる×ベクトル検索は認知の解像度を高める道具として機能する×azure_cognitive_search:_outperforming_vector_search_with_hybrid_retrieval_and_ranking_capabilities×検索を組み合わせる×dpr×bm25×ベクトル検索×dense_passage_retriever×fusion_in_decoder×azure_cognitive_search×hnsw×リランク×hierarchical_navigable_small_world×西尾のベクトル検索×経験的に明らか×ベクトル検索が有用だった事例×社会保障費と科学技術関係経費の比較×名詞形×実現不可能なアイデアが独創的に見える×instruction_tuning×helpfeel×omoikane_vector_search×ベクトルインデックス×github_action×qdrant×omni×aiが毎日研究ノートを書く×aiとの共同化×人間がトリガーを引かなくても良い×pioneer_mode×ページをフォークしたい×マルチヘッド×ページメモリ×マルチヘッドの思考×話題のピン留め効果×aiノートの更新間隔について×recurrent_notesとiterative_commenterの違い×赤リンク×長いタイトルを刻むページ×当たり判定拡大×🌀交換様式d×情報交換は交換×知識交換の交換様式はaなのか×贈与の対象としての公共×説明のある検索×ベクトル検索とRAGの肌感の違い×「どの部分がaiでどの部分が人間か？」という問い×ai生成ページのタイトルに🤖を入れるのをやめた理由×aiページの底に埋もれてる×rag×概念は思考の経済性を高める道具×氷山モデル×公共の言葉と私的な言葉×エンジニアの知的生産術×(6.2.5.5)_公共の言葉と私的な言葉×seciモデル×交換様式論×共有の場×新しい交換様式×rlhf×非公開omni×横断ベクトル検索実験メモ2023-09-20×公開omniと非公開omniの感覚の違い×自分由来×scrapboxでの知識醸造をllmに教える×弁証法的発展×切り分けられていない連なりの一部にヒットすることで切り出しの機会になる×時間軸で並んだ記述からトピック指向で切り出される×適切な切り出し方は、ニーズが明らかになった後に決まる×切り出し×常緑のノートはアトミックであるべき×単一責任原則×死んだテキストを置く倉庫ではない×今考えていることを少しずつ違う方向から観察する×似ている→違いは？×認知の解像度×似ている×違い×言語化×物事をより詳細に観察×小さな収束ムーブとそこからの発散×アイデアの干渉効果×発想法×対立は近い関係×scrapboxに住んでるエージェント×scrapboxとaiに関する思考の結節点2023/8/16×上書きモード×aiの支援で新しい結合ができた事例×質問は言語化を促すが質問にも種類がある×enchiへの導入×aiの役割の明確化が大事×中学生の職場体験でsfプロトタイピングをやってもらった事例×流動的プロセスとしてのページ×思索と開発のトレードオフ×苦痛×このプロジェクトにおけるaiの役割は何か×複数の個性のaiがある？×aiノートのページごとに目的を明示したらいいのでは×苦痛の原因×異なるコンテンツの間のつながり発見×自分の日記に他人のaiを召喚×aiが無限に思考を発展させてくるので休めない×他のプロジェクトのurlを読めるという気づき×たまに浮かび上がるページ×「マルチヘッドの思考」と「エンジニアの知的生産術」×まとめを上に書く×___below_is_less_interesting___を__below_is_ai_generated__にした×🌀マルチヘッドの思考×🌀ai出島×iterative_commenter×aiシャーマン×松尾研のllm講座×aiによる異なる視点の提供の実例×歌詞をaiに解釈させる実験×不明瞭で長期的なタスクをaiにねりねりさせる×pdfからscrapboxへ×ビジネスはシーズとニーズのマッチング×メタ考察:ビジネスはシーズとニーズのマッチング×市場ニーズと個人ニーズ×深層の価値探求:_連携と成長×aiにページを発展させさせる×長い寝起き神託の考察×最近のモーニングルーティン2023-09-15×人生に関する歌詞を集めて気に入ったフレーズをピックアップする×llmに似ているものの違いを言語化させる×(仮)まだ名前のない操作×scrapboxを活用した思考とコミュニケーションの再構築×「人間」の概念が曖昧→
- →日記2023-09-02×ベクトル検索×rag×肌感×aiによる赤リンクの延伸×西尾のベクトル検索×検索結果は編集をアフォードしない×編集をアフォード×書くのではなく削ることによる考えのアウトプット×retrieval-augmented_generation×目的に合わせて検索結果を要約する×説明のある検索×LLMによる知的生産性向上勉強会×横断ベクトル検索実験メモ2023-09-20×結局必要なのは検索の精度向上×pvectorsearch2023-04-29~05-31×aiとの協働作業の実態とs字カーブ→
- →切り出し×切り分けられていない連なりの一部にヒットすることで切り出しの機会になる×盲点カード×pVectorSearch×pvectorsearch2023-04-29~05-31×横断ベクトル検索実験メモ2023-09-20×西尾のベクトル検索×next勉強会×ベクトル検索が有用だった事例→
- →西尾のベクトル検索×日記2023-06-09×同期的コミュニケーションは場の設営コストが高い×非同期コミュニケーションでは不確定な待ち時間がある×フィードバックを期待しな×短期記憶から文脈が抜けている×他人の記憶からの連想→
"Engineer's way of creating knowledge" the English version of my book is now available on [Engineer's way of creating knowledge]
(C)NISHIO Hirokazu / Converted from [Scrapbox] at [Edit]