言語モデル
2023年現在、LLMの迫力で下記の話が全部吹き飛んでいる
カウントベース
まあまあ良い
ゼロ頻度問題が解決できない
Kneser-Ney smoother
べき分布も再現できる
BPTTは勾配消失しやすい
→LSTM
Related Pages
- →eniac×フォン・ノイマン型コンピュータ×prolog×論理プログラミング×hindley-milner型システム×単一化×coq×形式証明×alloy×sat×モデル検査×satソルバー×LLM×大規模言語モデル→
- →LLM×進化×互換性×言語処理系×リファクタリング前にテストケース×機械的検証可能kpi×わかりやすいニーズ×境目×変化する部品としての人間×人間の学習能力×学習しない人間×人間の可変性×ピア生産×オンデマンド生産×ダイバーシティ生産×scrapboxを活用した英語チャットボットの可能性×dspy×レッドオーシャン×プロンプトは機械語×狩野モデル×高速道路を抜けると渋滞×c言語×guiというvr→
- →中の理解×外の理解×共同の理解×脳の中だけの理解×脳の外で構造を発見していくkj法×共同編集×共同編集のwikiであるscrapbox×興味関心の軌跡×散らばった努力×キャンプファイヤー×求心力のある中心が必要？×LLM×小さなフレーズのきっかけで大きな文章が生成されるマシン×協力の深さと広さのトレードオフ×理解は単に個人が独力で生み出すものではなく、多様な形の協力を通じて人々が共同で生み出すもの×多様性を力に変えるplurality→
- →LLM×機械翻訳×知的生産×ボトルネック×ネイティブ言語×アウトプット効率×あるボトルネックが解消されると別のボトルネックが発生する×エンジニアの知的生産術×日本語話者×読者が日本語話者ではない可能性×言葉の生産効率→
- →LLM×hallucination×good-turing推定×calibrated_language_models_must_hallucinate×一度しか経験してないことに意味を見出してしまう×ホモサピエンス×キャリブレーション×人間のバグ→
- →日記2023-10-20×LLM×plurality×world_id×大勢の主観×ユージン・ジェンドリン×川喜田二郎×人々のまだ言語化されていないinner_experiencesからtherapeutic_usesによってinsightやdissenting_viewをもたらす、それはよりresponsive_governanceに近づく→
- →dpr×bm25×ベクトル検索×dense_passage_retriever×retriever-reader×fusion_in_decoder×リランク×pksha×LLM×ai王×クイズai→
- →bmot×平時のマネジメント×産業共和制×共通言語×企業は過度の抽象化×緊急時のリーダーシップ×平時のリーダーシップ×生き残る×定量的kpi×認知能力×情報の伝達×ティール組織×ひとかたまり×知識資本×インターコネクト×追いつけ追い越せ×よいものをより安く×量産効果×軸が絞られている状況×軸が絞られてない状況×plurality×地球規模の熟議×LLM×通訳→
- →plurality×polis×サイボウズラボ勉強会×階層組織×llmがもたらす組織構造の変化×ダンバー数×国民ラジオ×松下幸之助×サイロ化×LLM×audrey_tang×ブロードリスニング×人間の増強×知識社会は上司と部下の社会ではない×階層的な組織よりも水平的な組織の方が容易になる×統治構造×選挙は4年に一度5bit送信する遅い通信だ×vtaiwan×チームワークあふれる社会を創る×技術は中立×善用×悪用×パノプティコン×監視×社会信用システム×フェイクニュース×画像認識×雨傘運動×シンギュラリティ×broad_listening×decentralized_id×quadratic_funding×retroactive_funding×ソーシャルインパクトボンド×quadratic_voting×decentralized_identifiers×gitcoin_passport×worldcoin×web3はオワコン×終わったように見えるのは流行の上振れしか見えてないから×共感×異文化理解力×意思決定×合意形成×空気が支配する日本ではブロードリスニングが重要×human_augmentation×when_we_hear_“the_singularity_is_near”,_let_us_remember:_the_plurality_is_here×roulette_wheel_selection×t-sne×polis:_scaling_deliberation_by_mapping_high_dimensional_opinion_spaces×polis勉強会×都市国家×デジタルネイティブは4年に1度のアップロード帯域で十分とは思わない×紙と箱による民主主義×デジタル投票×アジェンダ設定の権限を人々に開放する×シルバー民主主義×一人一票×論点のブレインストーミング→
- →LLM×まだ書かれていないもの×まだ言語化されてない×(6.2.5)_まだ言葉になっていないもの×知識の応用×応用×すりあわせ×書籍は既に抽象化産物×u曲線モデル×performing×大部分のシステムには不十分なドキュメントしかない×高速道路×すでに書かれていること×最前線×森のたとえ×thinking_at_the_edgeのエッジ×社会実装→
- →自然言語処理×深層学習×rnn×LSTM×gru×recursive_neural_networks×tree-rnn×cnn×分散表現×lbl_model×対数双線形モデル×word2vec×skip-gram×cbow×seq2seq×注意機構×Memory Network→
"Engineer's way of creating knowledge" the English version of my book is now available on [Engineer's way of creating knowledge]
(C)NISHIO Hirokazu / Converted from [Scrapbox] at [Edit]