トークン数見積り2024-05-17
2024-05-17
:num book 336
num page 98526
num char 63668699
num token gpt4o 46738772
num token gpt4 62413985gpt4 : gpt4o = 1.34 : 1
char : gpt4o = 1.36 : 1
エンジニアの知的生産術1冊で
:num page 273
num char 249144
num token gpt4o 178800
num token gpt4 236547トークナイザ
pygpt4o = tiktoken.encoding_for_model("gpt-4o") # <Encoding 'o200k_base'>
gpt4 = tiktoken.encoding_for_model("gpt-4") # <Encoding 'cl100k_base'>text-embedding-3-small はcl100k_baseで、書籍336冊、98526ページで62M tokenで、今 $0.02 / 1M tokens だから$1.25
2023-03-24の自分のScrapboxをChatGPTにつないだ話勉強会でこう書いた
>このScrapboxだと17,229,603 tokens
> Embedding APIのコストは$0.4 / 1M Token
> つまり7ドルくらい
> 「コーディングを支える技術」を丸ごと埋め込んで$0.13
> (このScrapboxが書籍54冊分ということに驚き…)
1年ちょいでEmbedding APIのコストが1/20に下がったので、書籍1冊で1円を切るようになった
price
| gpt-4o | $5.00 / 1M tokens | $15.00 / 1M tokens |
| gpt-3.5-turbo-0125 | $0.50 / 1M tokens | $1.50 / 1M tokens |
このScrapboxが17M token(cl100k), 13M token(o200k)だから、読むのにGPT3.5で$8.5、GPT4oで$65って感じ
Related Pages
- →サイボウズラボ勉強会×devin.ai×devin.aiを試す2025-01×aiエージェント飲み会×第66回_プログラミング・シンポジウム×aiエージェント×自分のScrapboxをChatGPTにつないだ話勉強会×Toolformer×nishio_hirokazu's_assistant×babyagi×scrapboxに住んでるエージェント×computer_use×model_context_protocol×browser_use×cline×ターン制コミュニケーション×aiタスク管理システム2025-01-08×プロジェクトのソースコードをまとめてクリップボードに入れるツール→
- →よくわからない気持ち×漠然とした不安感×恐怖は常に無知から生まれる×知識は恐怖の解毒剤×明確な不安感×問題は理想と現実のギャップ×悲観的な勘違い×強化学習_その1×s字発展×pscrapboxautotrans2023-03-25×英語話者国の競争優位×自分のScrapboxをChatGPTにつないだ話勉強会×chatgpt_plugins×まだらな未来が拡大しない×世界がちぎれた後×未来はすでにまだらに存在している×未来から来ました×奥田_浩美×ビジョナリーリーダー×まだら×世間の常識×未来人×まだらな未来×定住する人×孤立して農耕をする村×茹でガエル×移動する人×ベーシックインカム×worldcoin×観光立国×優秀な若者×人攫い×詐欺師×面白い×アーリーアダプター集団の形成×人的ネットワーク×移動×アーリーアダプター×ムーブメントはフォロワーが作る×アーリーアダプター濃縮効果×観測困難×世界のちぎれ×snsはなぜ栄枯盛衰するのか×弱い紐帯×津波てんでんこ×一人でも逃げろ×指示待ち×話を聞かない人×動かない人×津波×どこに逃げればよいか×観測範囲を広く×移動先が決まる前に移動を始めなければならない×津波が来る方に賭ける×パスカルの賭け×バーベル戦略×反脆弱×llm無職×人生を悩む×人間のために書くよりllmのために書く方が楽×自分が興味がある分野の知識パッケージをllmに与える機能×openai_devday×assistants_api×執筆は一次元化×知識の投網×領域を開拓して旗を立てる×ノウアスフィアの開墾×需要の規模によってgpuの使用効率に差が生じる×垂直統合×llm時代のグループウェアの適切な抽象レベル×ビジネスモデル探索×ai失業をfactorioで説明する×aiに仕事を奪われる×0/1の思考×システムの理解×factorio×解雇規制×人事異動×仕事に役立つ新・必修科目「情報ⅰ」×プログラミング教育の必修化×世界とのインターフェース×情報を抽出伝搬する×要約は曖昧概念×正常性バイアス→
- →情報処理×新時代の道具，_chatgpt：14_の視点からその可能性を探る×chatgpt×一人の主観から大勢の主観へ×主観か客観か×誤った二項対立×chatgpt_api×陳腐化×抽象度の高い知識×具体的経験×みずからの目で見なければならない×根無し草の知識×今開いている扉が未来も開いている保証はない×幸運の女神には前髪しかない×エンジニアの知的生産術×知的生産性の向上×人間増強の四要素×概念のハンドル×取っ手×(column)_パターンに名前を付けること×(4.5.3.3)_思考の道具を手に入れる×発想法×方法論×名前×一部が消えて一部残り新しく生まれる×思考の結節点2023-02-23×chatgptに「質問を繰り返す聞き手」の役割を演じさせる実験×クリーンランゲージ×かんがえをひきだすチャットボットkeichobot×scrapboxに住んでるエージェント×aiの住んでるscrapbox×ai質問箱uiについて考える×自分のscrapboxをchatgptにつないだ×Scrapbox ChatGPT Connector×自分のScrapboxをChatGPTにつないだ話勉強会×aiパネルディスカッション×scrapboxはアイデアの精製器×エミュレータ×書籍とは双方向のコミュニケーションができない×仮想人格とのブレインストーミング×正しさと有用性は別物×異なる視点×盲点×気づく×すべてのデータはうそである×円柱は円にも四角にも見えるが、円でも四角でもない×コントロールできることに力を注ぎ、コントロールできないことは気にしない×コストが下がれば構造が変化する×plurality×audrey_tang×シンギュラリティ×ブロードリスニング×熟議×熟議のための4つのステップ×polis×sentiment_gathering_platform×認知能力の限界×人間増強×情報の複製により情報発信は効率化されたが、受信は改善しない、情報を減らす技術が必要×pluralityとpolis勉強会×シビックテックによる、社会と民主主義のアップデート×階層構造×中間管理職×間接民主制×代議士×デジタルネイティブ×選挙は4年に一度5bit送信する遅い通信だ×デジタルネイティブは4年に1度のアップロード帯域で十分とは思わない×まだ言語化されていない知識×文明に対する貢献×既に言語化された知識×世界とaiのインターフェース×世界をセンシングしてaiに与える仕事×まだ書かれていないことの森を切り拓いていく仕事×aiが読めない形での情報発信は価値が下がっていく×フォーク×正統性×投票×移動式投票×主観主義×panarchy×arxiv×査読×品質担保×情報共有の速度×オープンアクセス×有用性×大勢の主観×品質より速度×文明の乗り物×人間は一時的キャッシュ×accessism×openai×democratic_inputs_to_ai×anthropic×スケールする熟議×scalable_deliberation×opportunities_and_risks_of_llms_for_scalable_deliberation_with_polis×community_notes×主観的×オモイカネプロジェクト×主観か客観かではなく、一人の主観から大勢の主観へ:q&a×chatgptについてのコラムの準備×chatgptについてのコラムの準備2→
- →オモイカネプロジェクト×オモイカネ勉強会×自分のScrapboxをChatGPTにつないだ話勉強会×omoikane_embed×aiと人間の知的な共同作業×aiによる赤リンクの延伸×生のchatgptとomniのユースケースが違う×非公開omniを使ってみての感想×ベクトル検索は切り出しの機会になる×ベクトル検索は認知の解像度を高める道具として機能する×azure_cognitive_search:_outperforming_vector_search_with_hybrid_retrieval_and_ranking_capabilities×検索を組み合わせる×dpr×bm25×ベクトル検索×dense_passage_retriever×fusion_in_decoder×azure_cognitive_search×hnsw×リランク×hierarchical_navigable_small_world×西尾のベクトル検索×経験的に明らか×ベクトル検索が有用だった事例×社会保障費と科学技術関係経費の比較×名詞形×実現不可能なアイデアが独創的に見える×instruction_tuning×helpfeel×omoikane_vector_search×ベクトルインデックス×github_action×qdrant×omni×aiが毎日研究ノートを書く×aiとの共同化×人間がトリガーを引かなくても良い×pioneer_mode×ページをフォークしたい×マルチヘッド×ページメモリ×マルチヘッドの思考×話題のピン留め効果×aiノートの更新間隔について×recurrent_notesとiterative_commenterの違い×赤リンク×長いタイトルを刻むページ×当たり判定拡大×🌀交換様式d×情報交換は交換×知識交換の交換様式はaなのか×贈与の対象としての公共×説明のある検索×ベクトル検索とragの肌感の違い×「どの部分がaiでどの部分が人間か？」という問い×ai生成ページのタイトルに🤖を入れるのをやめた理由×aiページの底に埋もれてる×rag×概念は思考の経済性を高める道具×氷山モデル×公共の言葉と私的な言葉×エンジニアの知的生産術×(6.2.5.5)_公共の言葉と私的な言葉×seciモデル×交換様式論×共有の場×新しい交換様式×rlhf×非公開omni×横断ベクトル検索実験メモ2023-09-20×公開omniと非公開omniの感覚の違い×自分由来×scrapboxでの知識醸造をllmに教える×弁証法的発展×切り分けられていない連なりの一部にヒットすることで切り出しの機会になる×時間軸で並んだ記述からトピック指向で切り出される×適切な切り出し方は、ニーズが明らかになった後に決まる×切り出し×常緑のノートはアトミックであるべき×単一責任原則×死んだテキストを置く倉庫ではない×今考えていることを少しずつ違う方向から観察する×似ている→違いは？×認知の解像度×似ている×違い×言語化×物事をより詳細に観察×小さな収束ムーブとそこからの発散×アイデアの干渉効果×発想法×対立は近い関係×scrapboxに住んでるエージェント×scrapboxとaiに関する思考の結節点2023/8/16×上書きモード×aiの支援で新しい結合ができた事例×質問は言語化を促すが質問にも種類がある×enchiへの導入×aiの役割の明確化が大事×中学生の職場体験でsfプロトタイピングをやってもらった事例×流動的プロセスとしてのページ×思索と開発のトレードオフ×苦痛×このプロジェクトにおけるaiの役割は何か×複数の個性のaiがある？×aiノートのページごとに目的を明示したらいいのでは×苦痛の原因×異なるコンテンツの間のつながり発見×自分の日記に他人のaiを召喚×aiが無限に思考を発展させてくるので休めない×他のプロジェクトのurlを読めるという気づき×たまに浮かび上がるページ×「マルチヘッドの思考」と「エンジニアの知的生産術」×まとめを上に書く×___below_is_less_interesting___を__below_is_ai_generated__にした×🌀マルチヘッドの思考×🌀ai出島×iterative_commenter×aiシャーマン×松尾研のllm講座×aiによる異なる視点の提供の実例×歌詞をaiに解釈させる実験×不明瞭で長期的なタスクをaiにねりねりさせる×pdfからscrapboxへ×ビジネスはシーズとニーズのマッチング×メタ考察:ビジネスはシーズとニーズのマッチング×市場ニーズと個人ニーズ×深層の価値探求:_連携と成長×aiにページを発展させさせる×長い寝起き神託の考察×最近のモーニングルーティン2023-09-15×人生に関する歌詞を集めて気に入ったフレーズをピックアップする×llmに似ているものの違いを言語化させる×(仮)まだ名前のない操作×scrapboxを活用した思考とコミュニケーションの再構築×「人間」の概念が曖昧→
- →サイボウズラボ勉強会×自分のScrapboxをChatGPTにつないだ話勉強会×pluralityとpolis勉強会×plurality×polis勉強会×オモイカネプロジェクト×worldcoin×sam_altman×world_id×人間性の証明×decentralized_identity×分散型id×ユニバーサル・ベーシック・インカム×american_equity×gdp×moore's_law_for_everything×aiを活用する企業×労働ではなく資本に課税しよう×資産課税×ubi×sybilrank×trust_seeds×ネットワーク効果×paypay×100億円あげちゃうキャンペーン×aiへのアクセスを独占させないためのubi×熟議支援システム×openai×democratic_inputs_to_ai×意思決定×少数の人間×公共の利益×多様な視点×民主的プロセス×概念実証×チーム×よりグローバルで、より野心的なプロセスの基礎×polis×世界観共有×sfプロトタイピング×発想する会社×コラボレーション×チームワーク×ドラえもん×付喪神×プロトタイプは思考を活性化する×プロトタイプ×ブレインストーミング×社会的な調和×集団主義×誰でも知っている×常識的概念×マイノリティ×ガラパゴス概念×無意識のバイアス×改善サイクル×アジャイル×イテレーション×徐々に改善×lean_startup×build-measure-learn_loop×minimum_viable_product×コミュニティ中心のai構築×コミュニティai×community-centered_ai×日本文化ai×retrieval-augmented_text_generation×ベクトル検索×g0v×サイボウズ式×reinforcement_learning_from_human_feedback×human_in_the_loop×people_in_the_loop×違和感×協調ゲーム×connecting_the_dots×正統的周辺参加×周辺参加×状況に埋め込まれた学習×実践共同体→
- →週記2023-03-22~2023-03-31×中高生のためのchatgpt×pscrapboxautotrans2023-03-25×自分のScrapboxをChatGPTにつないだ話勉強会×chatgpt_plugin×ワークアズライフ×自分が最適だと思う行動を自分の責任で行うしかない×利他的行動×たまたま余裕があるアトラスが天球を支えてる×津波てんでんこ×現金は弱い資本×利他ではなく長期投資×肩をすくめるアトラス×概念として有益→
"Engineer's way of creating knowledge" the English version of my book is now available on [Engineer's way of creating knowledge]
(C)NISHIO Hirokazu / Converted from [Scrapbox] at [Edit]