pEnglish2023-12-20
I practiced English conversation until I used up the GPT quota yesterday before sleep. Reviewing the chat logs in the morning and organizing them is a good practice for improving my English. It generates English contents and serves as a way to express my thoughts in English.
タイトルの翻訳の過程で衝突するケースを観察
num collision 54
いやーーーこれは同一視されたくないな
[Subjectivity]: [属人性] / [主体性] [Common Sense]: [当たり前のこと] / [当たり前] 違うと思う
[Community]: [コミュニティ] / [共同体] うーん
残り2件、難しいので続きは明日
[Diversity]: [多様性] / [多元] [Empathy]: [共感] / [同理心] 2023-12-21にすること
残り2件の解決
✅
翻訳を開始
多分長いのがエラーになる
失敗リストに入れて続行
2023-12-21
翻訳システム、どうせリンク取得のためにクロールしてるのでJSONのエクスポートは不要なのでは？という気がしてきている
インデント保存しない問題
>A key feature of your translation is the preservation of formatting, especially spaces and tabs at the beginning of lines. These are crucial for indicating indentation in bullet lists and must be accurately replicated in your translations.
GPT3.5での翻訳、59件目までできた
そして想定通り長すぎる記事でエラー
:20%|███████████████████▎ | 59/300 [04:55<20:05, 5.00s/it]
openai.BadRequestError: Error code: 400 - {'error': {'message': "This model's maximum context length is 4097 tokens. However, your messages resulted in 6138 tokens. Please reduce the length of the messages.", 'type': 'invalid_request_error', 'param': 'messages', 'code': 'context_length_exceeded'}}
python -m tasks.translate.from_jsonl 9.23s user 2.91s system 4% cpu 5:01.91 totalそれはそう
長すぎる記事はスルーしてとりあえずやり切る案
一旦スルーして翻訳できるものだけ翻訳してみる
エラーが起きたページはエラーの内容だけ記録して、とりあえず最後まで走ることを目指す
実行開始した
続きはまた明日
未来の自分のための書き置き
完了したら時間と処理されたページ数をみる
エラーとして記録されたページがいくつあるかみると良い
かかった料金を確認する
エラーのほとんどは長すぎるページだと思う
長いページをどうするのかは要検討
翻訳する必要がないケース、きっちり翻訳すべきケースがある
単にコンテキスト幅の広いAPIでやればいいケース
分割して翻訳するケース
...
長すぎるページは切り出されるべき？
一方で元のページを残しておきたいニーズもある
PDFでいい説もある？
2023-12-23
2023-12-22の朝に確認して38%だったんだけど、どうもその時点でハングしてたらしい
38%|█... | 6668/17569 [11:16:08<7:32:13, 2.49s/it] 今見たら進んでてなかった、うーん失敗
エラーを出さずにサイレントにハング
2023-12-24
47%|█... | 8310/17569 [00:23<00:39, 234.63it/s] return self._sslobj.read(len) readでブロックしてる
Related Pages
- →日記2023-12-26×同じ苦しみ繰り返してる_気付くまでずっとラビリンス×辺縁は移動コストが高い×めんどくさい×壁の中×気づくまでずっとラビリンス×壁の内側に未踏の地はない×適切な切り出し方は、ニーズが明らかになった後に決まる×引っ張ることによってクラスターが分かれる×ほどける×モヤっとした大きな塊が線に引っ張られて分解する×バーベル戦略×他の集落×新しい交易路×交易×すでにあるものを広げるのか新しいものをつくるのか→
- →トピック指向×無名の概念に名前を付ける×概念のハンドル×収束ムーブ×切り出しにのりしろが必要×ニーズが明らかになってから切り出される×噛み砕く×問いによる掘り下げ×適切な切り出し方は、ニーズが明らかになった後に決まる×切り出されるとコメントしたくなる×育ったページから切り出すスタイル×かみくだいた説明×井戸端には切り出す人が複数人いる×脱「抜き書き」論×日記2023-08-07→
- →縦に長い概念と横に広い概念×縦に深い概念×深い理解×概念のトリクルダウン×アナロジー×知識のネットワーク×描きやすい絵のバイアス×他人の情報処理を期待して書く×他人に期待しない×共用のscrapbox×未知の発展×確率で価値が出る×一歩手前の質問×距離は主観的×距離は一種類ではない×概念間の主観的な距離×暗黙に共通の距離空間であることを仮定×知識のベン図記法×知識のネットワーク記法×最適解は無条件で定まらない×知識のピラミッド記法×高速道路×適切な切り出し方は、ニーズが明らかになった後に決まる×graph_of_thoughts:_solving_elaborate_problems_with_large_language_models×scrapboxはアイデアの精製器×情報カード×ツェッテルカステン×なぜカードに書くのか×自分由来llmの思考加速効果×過去の自分の和との対話×日記2023-12-16×日記2023-12-18×日記2023-09-08×日記2022-12-17→
- →オモイカネプロジェクト×オモイカネ勉強会×自分のscrapboxをchatgptにつないだ話勉強会×omoikane_embed×aiと人間の知的な共同作業×aiによる赤リンクの延伸×生のchatgptとomniのユースケースが違う×非公開omniを使ってみての感想×ベクトル検索は切り出しの機会になる×ベクトル検索は認知の解像度を高める道具として機能する×azure_cognitive_search:_outperforming_vector_search_with_hybrid_retrieval_and_ranking_capabilities×検索を組み合わせる×dpr×bm25×ベクトル検索×dense_passage_retriever×fusion_in_decoder×azure_cognitive_search×hnsw×リランク×hierarchical_navigable_small_world×西尾のベクトル検索×経験的に明らか×ベクトル検索が有用だった事例×社会保障費と科学技術関係経費の比較×名詞形×実現不可能なアイデアが独創的に見える×instruction_tuning×helpfeel×omoikane_vector_search×ベクトルインデックス×github_action×qdrant×omni×aiが毎日研究ノートを書く×aiとの共同化×人間がトリガーを引かなくても良い×pioneer_mode×ページをフォークしたい×マルチヘッド×ページメモリ×マルチヘッドの思考×話題のピン留め効果×aiノートの更新間隔について×recurrent_notesとiterative_commenterの違い×赤リンク×長いタイトルを刻むページ×当たり判定拡大×🌀交換様式d×情報交換は交換×知識交換の交換様式はaなのか×贈与の対象としての公共×説明のある検索×ベクトル検索とragの肌感の違い×「どの部分がaiでどの部分が人間か？」という問い×ai生成ページのタイトルに🤖を入れるのをやめた理由×aiページの底に埋もれてる×rag×概念は思考の経済性を高める道具×氷山モデル×公共の言葉と私的な言葉×エンジニアの知的生産術×(6.2.5.5)_公共の言葉と私的な言葉×seciモデル×交換様式論×共有の場×新しい交換様式×rlhf×非公開omni×横断ベクトル検索実験メモ2023-09-20×公開omniと非公開omniの感覚の違い×自分由来×scrapboxでの知識醸造をllmに教える×弁証法的発展×切り分けられていない連なりの一部にヒットすることで切り出しの機会になる×時間軸で並んだ記述からトピック指向で切り出される×適切な切り出し方は、ニーズが明らかになった後に決まる×切り出し×常緑のノートはアトミックであるべき×単一責任原則×死んだテキストを置く倉庫ではない×今考えていることを少しずつ違う方向から観察する×似ている→違いは？×認知の解像度×似ている×違い×言語化×物事をより詳細に観察×小さな収束ムーブとそこからの発散×アイデアの干渉効果×発想法×対立は近い関係×scrapboxに住んでるエージェント×scrapboxとaiに関する思考の結節点2023/8/16×上書きモード×aiの支援で新しい結合ができた事例×質問は言語化を促すが質問にも種類がある×enchiへの導入×aiの役割の明確化が大事×中学生の職場体験でsfプロトタイピングをやってもらった事例×流動的プロセスとしてのページ×思索と開発のトレードオフ×苦痛×このプロジェクトにおけるaiの役割は何か×複数の個性のaiがある？×aiノートのページごとに目的を明示したらいいのでは×苦痛の原因×異なるコンテンツの間のつながり発見×自分の日記に他人のaiを召喚×aiが無限に思考を発展させてくるので休めない×他のプロジェクトのurlを読めるという気づき×たまに浮かび上がるページ×「マルチヘッドの思考」と「エンジニアの知的生産術」×まとめを上に書く×___below_is_less_interesting___を__below_is_ai_generated__にした×🌀マルチヘッドの思考×🌀ai出島×iterative_commenter×aiシャーマン×松尾研のllm講座×aiによる異なる視点の提供の実例×歌詞をaiに解釈させる実験×不明瞭で長期的なタスクをaiにねりねりさせる×pdfからscrapboxへ×ビジネスはシーズとニーズのマッチング×メタ考察:ビジネスはシーズとニーズのマッチング×市場ニーズと個人ニーズ×深層の価値探求:_連携と成長×aiにページを発展させさせる×長い寝起き神託の考察×最近のモーニングルーティン2023-09-15×人生に関する歌詞を集めて気に入ったフレーズをピックアップする×llmに似ているものの違いを言語化させる×(仮)まだ名前のない操作×scrapboxを活用した思考とコミュニケーションの再構築×「人間」の概念が曖昧→
- →収束的ムーブ×リンコグラフィー×バックリンク×発散と収束のリンコグラフィーでの解釈×関係ないグループの間に見出された関係線が大事×予期しない青リンク×scrapboxのリンクサジェストが便利×scrapboxは収束ムーブを支援する×適切な切り出し方は、ニーズが明らかになった後に決まる→
- →結晶化×対立概念×液状化×腐らせる×腐葉土のメタファー×コンポスター×アイデアの精製器×現在の文脈に適合した新たな知識の創出×適切な切り出し方は、ニーズが明らかになった後に決まる×分節化された情報群×暗黙的な情報群×knowledge_nebula×再構築×contextual_keyword×現在の文脈に適合した新たな知識×知識の結晶化×knowledge_nebula_crystallizer×液状化と結晶化×ねりねり×既存の構造を破壊→
- →知識の結晶化×現在の文脈に適合した新たな知識の創出×適切な切り出し方は、ニーズが明らかになった後に決まる×crystallizing×(6.1.2.3)_otto_scharmer's_patterns_of_change→
- →オモイカネ勉強会の準備×chatgpt×scrapbox×kozaneba×omoikane_embed×ベクトル検索×不用知×text_composter×適切な切り出し方は、ニーズが明らかになった後に決まる×梅棹_忠夫×カード型データベース×読者とのインタラクション×aiとのインタラクション→
- →週記2023-02-04~2023-02-11×プログラミングの変化勉強会×kozaneba:この10年のプログラミング言語の変化×kozaneba開発日記2023-02-06×独自の用語を造語する×適切な切り出し方は、ニーズが明らかになった後に決まる×ニーズが明らかになってから切り出したものは収束ムーブ×2023-02-14_トップページの導線を整理→
- →適切な切り出し方は、ニーズが明らかになった後に決まる×ニーズが明らかになる前の切り出し×別のコンテキストから言及したい×切り出し×収束ムーブ×ニーズが明らかになってから切り出したものの方がなんかいい×予期しない青リンク×scrapboxは収束ムーブを支援する×赤リンク×外でも必要になったら切り出して共通化する×外で必要にな×必要になったら切り出す×yagni×再利用の目的が決まってから適切な切り出しが決まる×切り出す×切り出し意欲×ページの切り出し方×ページの切り出しが難×ページの切り出し基準×行リンクは切り出しの機会×ページの切り出し×共通化→
"Engineer's way of creating knowledge" the English version of my book is now available on [Engineer's way of creating knowledge]
(C)NISHIO Hirokazu / Converted from [Scrapbox] at [Edit]