embeddingは$0.4 / 1M Token
>Model Usage
> Ada $0.0004 / 1K tokens
大雑把にいえば1000人の社員が毎日平均1000文字をグループウェアに投稿しているような会社で、全発言をembeddingした場合、1日200円弱になる。
平均10投稿だとすると1日60MBのベクトルインデックスが作られるのでPinecoreの従量課金は0.05ドル、ランニングコストは1000円くらいか
2022-12-15
text-embedding-ada-002 がbestcontext length: 8192
1536 dimensions
1/8のサイズにしたけど、それでも才能が上がったらしい
cl100k_baseはトークナイザの名前
>For second-generation embedding models like text-embedding-ada-002, use the cl100k_base encoding.
Related Pages
- →自分のScrapboxをChatGPTにつないだ×サイボウズラボ勉強会×llamaindex×langchain×embedding_api×埋め込みベクトル×コサイン類似度×aiパネルディスカッション×ブレインストーミング×toolformer×langchainのagent×オペレーティングシステム×llm_os×c言語×人間は周辺機器の一つに過ぎない→
- →hnsw×Hierarchical Navigable Small World Graph×skip_list×スキップリスト×スキップグラフ×lsh×navigable_small_world×approximate_nearest_neighbor_search_small_world_approach×qdrant×Pinecore×ベクトル検索×階層的×スモールワールド→
- →pvectorsearch×qdrant×scrapbox_chatgpt_connector×embedding_api×埋め込みapi呼び出しの並列化×url_fragment_text_directives→
"Engineer's way of creating knowledge" the English version of my book is now available on [Engineer's way of creating knowledge]
(C)NISHIO Hirokazu / Converted from [Scrapbox] at [Edit]