NISHIO Hirokazu[Translate]
Scrapboxのtoken/page
Scrapboxをcl100k_baseでトークナイズするとどれくらいになるのか
元データはこのScrapbox 14178ページ
8192トークンに収まらないものは1%未満
OpenAIのEmbedding APIは8192トークンまで取れるので、ほとんどのページは丸ごと埋め込める
500トークンより短いものが過半数
それより長いものだけ500トークンずつに区切ることにした
:
total14178
< 819214092
< 5009344

Related Pages

  • →pvectorsearch×qdrant×scrapbox_chatgpt_connector×embedding_api×埋め込みapi呼び出しの並列化×url_fragment_text_directives→
  • pVectorSearch2023-06-02
  • →embedding_api×completion_api×chatgpt_api×chat_completion_api→
  • OpenAI API
  • →embedding_api×埋め込みベクトル×ベクトル検索×chatgpt_api×新しい知識を生み出す能力を向上させるような知識×具体的な言語化×知識を生み出す能力×aiパネルディスカッション→
  • 自分のScrapboxをChatGPTにつないだ
"Engineer's way of creating knowledge" the English version of my book is now available on [Engineer's way of creating knowledge]
(C)NISHIO Hirokazu / Converted from [Scrapbox] at [Edit]