qdrant
Qdrant - Vector Database
>A collection is a named set of points (vectors with a payload) among which you can search. Vectors within the same collection must have the same dimensionality and be compared by a single metric.
>One of the significant features of Qdrant is the ability to store additional information along with vectors. This information is called payload in Qdrant terminology.
> Qdrant allows you to store any information that can be represented using JSON.
プロジェクト名をペイロードに積んでおけば特定のプロジェクトだけから検索したり横断検索したりできそう
IDは64ビット整数、PUTする側が決める
UUID的に作るか、連番など他のメカニズムで作るか…
同じIDを指定してPUTすれば上書きされる
ペイロードに対する条件を指定して、条件を満たすすべてのIDを取得することができる
類似度スコアで足切りすることもできるけど、適切な閾値なんてわからないからどちらかというと類似度の可視化の方が良さそう
"Match Any"
json{
"key": "project",
"match": {
"any": ["aaa", "bbb"]
}
}全文検索マッチもある
json{
"key": "description",
"match": {
"text": "good cheap"
}
}インデックスを作らない場合は部分文字列を中に含むかのサーチになる
Vector Storage: In-memmory / memmap
Payload Storage: InMemory / OnDisk
ペイロードが大きいならメモリに載せるのは現実的ではない〜という話
ミニマムプランで1GB RAMで、このScrapboxのJSONが32MBだから、とりあえず気にせずオンメモリにすべき
裁断スキャンした1000冊の書籍を入れようとするとギリギリあふれるくらい
まあまずはスモールスタートだよな
フルテキストインデックスのトークナイザー、説明を見る限りだと日本語に対してまともに機能するか疑わしい
試してみる
特に問題なく文字列の部分一致でヒットするな
インデックスの仕組み
>Qdrant currently only uses HNSW as a vector index. HNSW (Hierarchical Navigable Small World Graph) is a graph-based indexing algorithm.
...
Related Pages
- →なめら会議×semantic_knowledge_base×napier_protocol×pixelaw×algocracy×ブロックチェーントリレンマ×敵と味方をなめらかにする×なめらかな社会とその敵×見慣れないものをちゃんと見ずに攻撃する×技術は人々の相互作用の方法を変えるので民主主義もそれに合わせて変わる必要がある×picsy×qv×自由エネルギー最小化×記号創発×谷口忠大×作られるシェマの量と身体能力の関係×ノートクローゼット×memex×複数の視点に支えられた判断×概念の類似度は距離ではない×hnsw×curveファイナンス×金利スワップ×crvトークンが分配の意思決定の投票権になる×crvトークン×バブル×curve_war×オーストリア学派×触ってみることでしか得られない知識×yield_tokenization×キャズム×ポンジ×axie×stepn×dark_forest×opcraft×zksnarks×結城_東輝×正当性×正統性×justness×legitimacy×一階の公共性×二階の公共性×納得感×翻訳困難×words_as_public_goods×聞く人がボトルネック×ブロードリスニング×ai独裁制×アルゴクラシー×aiへの服従を公約とする人間×ハイエク×経済計算論争×ebgm×後継者をaiにする×不老不死×独裁者のai化×ニューロマーケティング×クオリア構造学×正統性が最も希少な資源×パフォーマンスによる正統性×正統性が最も重要で希少なリソース×贖宥状×技術者が贖宥状を売って儲ける×ホモルーデンス×セルフィッシュマイニング×ダブルスペンディング×チャリティーとフィランソロピーの区別×林_篤志×山古志村×水道哲学×視座×エミュレータ×得度×チベット×エストニア×台湾×dex×cbdc×最適輸送×両界曼荼羅×なめ敵会→
- →日記2023-11-17×kj法×hnsw×要約は曖昧概念×壺に入れて混ぜてしまう×箇条書き×アウトライナー×レバレッジメモ×読書ノート×デカルト哲学について×KJ法はHNSW×Hierarchical Navigable Small World Graph→
"Engineer's way of creating knowledge" the English version of my book is now available on [Engineer's way of creating knowledge]
(C)NISHIO Hirokazu / Converted from [Scrapbox] at [Edit]