一度だけ見たものは未知
>hillbig LLMはたとえ訓練データが正しくてもHallucination（幻覚）を起こす。これは正しく較正された予測分布はGood-Turing推定と同じく、訓練中に1度だけ観測した事実と同じ確率を未知の事実に割り振るためである。幻覚低減には事前学習後、別の学習が必要であることを示す
> Recent language models have a mysterious tendency to generate false but plausible-sounding text. Such "hallucinations" are an obstacle to the usability of language-based AI systems and can harm...
Related Pages
- →eniac×フォン・ノイマン型コンピュータ×prolog×論理プログラミング×hindley-milner型システム×単一化×coq×形式証明×alloy×sat×モデル検査×satソルバー×LLM×大規模言語モデル→
- →LLM×進化×互換性×言語処理系×リファクタリング前にテストケース×機械的検証可能kpi×わかりやすいニーズ×境目×変化する部品としての人間×人間の学習能力×学習しない人間×人間の可変性×ピア生産×オンデマンド生産×ダイバーシティ生産×scrapboxを活用した英語チャットボットの可能性×dspy×レッドオーシャン×プロンプトは機械語×狩野モデル×高速道路を抜けると渋滞×c言語×guiというvr→
- →中の理解×外の理解×共同の理解×脳の中だけの理解×脳の外で構造を発見していくkj法×共同編集×共同編集のwikiであるscrapbox×興味関心の軌跡×散らばった努力×キャンプファイヤー×求心力のある中心が必要？×LLM×小さなフレーズのきっかけで大きな文章が生成されるマシン×協力の深さと広さのトレードオフ×理解は単に個人が独力で生み出すものではなく、多様な形の協力を通じて人々が共同で生み出すもの×多様性を力に変えるplurality→
- →人間を超える×人間のバグ×自分の強化×アップグレード×人間には興味がない×学びのプロセス×分かっていない事が分かるプロセス×言語化出来ていない事を言語化するプロセス×意外な事実×予期しない繋がり×離れていると思っていた概念同士の意外な関連性×有益な事と面白い事の関係性×面白い事はしたくなる×面白くないが有益な事を面白いと感じられるようになるのが理想×情報を表現する模様×黒船×翻訳→
- →立川_智也×キャリブレーション会の発生プロセス×思考プロセスの共有が大事？×シンボリックモデリング×思考の結節点×思考の結節点2021-08-06×思考の結節点20200825×試行の結節点2019-12-05×死んだテキストの倉庫×人間のバグ×ちゃんと主観×人には個人差がある×時間超越×ロープのたとえ×社会的トリガー×高濃度社会的トリガー源×枝が茂る×抽象概念×生煮えの概念×久池井_淳→
- →使い物にならない×有益な結果×有益×話者の能力不足×人間のバグ×コミュニケーション能力が低い×過度の一般化×主語が大きい×自分の失敗は自分の能力以外に原因を求める×xは使えない×デザイン思考は使えないという前に×役に立たない→
- →LLM×機械翻訳×知的生産×ボトルネック×ネイティブ言語×アウトプット効率×あるボトルネックが解消されると別のボトルネックが発生する×エンジニアの知的生産術×日本語話者×読者が日本語話者ではない可能性×言葉の生産効率→
- →日記2023-10-20×LLM×plurality×world_id×大勢の主観×ユージン・ジェンドリン×川喜田二郎×人々のまだ言語化されていないinner_experiencesからtherapeutic_usesによってinsightやdissenting_viewをもたらす、それはよりresponsive_governanceに近づく→
- →dpr×bm25×ベクトル検索×dense_passage_retriever×retriever-reader×fusion_in_decoder×リランク×pksha×LLM×ai王×クイズai→
- →知識×proモデル×民法マップ×転置インデックス×状況を入力として行動の案を返す×人間の生身の脳は劣っているので置き換えたい×時間差で意味を理解×人には個人差がある×人間のバグ×名言は文脈依存×ドラッカー×偽の客観性×ちゃんと主観→
- →bmot×平時のマネジメント×産業共和制×共通言語×企業は過度の抽象化×緊急時のリーダーシップ×平時のリーダーシップ×生き残る×定量的kpi×認知能力×情報の伝達×ティール組織×ひとかたまり×知識資本×インターコネクト×追いつけ追い越せ×よいものをより安く×量産効果×軸が絞られている状況×軸が絞られてない状況×plurality×地球規模の熟議×LLM×通訳→
- →plurality×polis×サイボウズラボ勉強会×階層組織×llmがもたらす組織構造の変化×ダンバー数×国民ラジオ×松下幸之助×サイロ化×LLM×audrey_tang×ブロードリスニング×人間の増強×知識社会は上司と部下の社会ではない×階層的な組織よりも水平的な組織の方が容易になる×統治構造×選挙は4年に一度5bit送信する遅い通信だ×vtaiwan×チームワークあふれる社会を創る×技術は中立×善用×悪用×パノプティコン×監視×社会信用システム×フェイクニュース×画像認識×雨傘運動×シンギュラリティ×broad_listening×decentralized_id×quadratic_funding×retroactive_funding×ソーシャルインパクトボンド×quadratic_voting×decentralized_identifiers×gitcoin_passport×worldcoin×web3はオワコン×終わったように見えるのは流行の上振れしか見えてないから×共感×異文化理解力×意思決定×合意形成×空気が支配する日本ではブロードリスニングが重要×human_augmentation×when_we_hear_“the_singularity_is_near”,_let_us_remember:_the_plurality_is_here×roulette_wheel_selection×t-sne×polis:_scaling_deliberation_by_mapping_high_dimensional_opinion_spaces×polis勉強会×都市国家×デジタルネイティブは4年に1度のアップロード帯域で十分とは思わない×紙と箱による民主主義×デジタル投票×アジェンダ設定の権限を人々に開放する×シルバー民主主義×一人一票×論点のブレインストーミング→
- →LLM×まだ書かれていないもの×まだ言語化されてない×(6.2.5)_まだ言葉になっていないもの×知識の応用×応用×すりあわせ×書籍は既に抽象化産物×u曲線モデル×performing×大部分のシステムには不十分なドキュメントしかない×高速道路×すでに書かれていること×最前線×森のたとえ×thinking_at_the_edgeのエッジ×社会実装→
- →老害化×老害ではなく人間のバグ×老害×人間のバグ×加齢による変化×ワーキングメモリは30歳代でピークに達する×加齢による好奇心の減退×エミュレーションで社会に溶け込んだ非定型は加齢と共に純度を高める→
- →キャリブレーション会×キャリブレーション×事後的×「面白い」のKJ法×第54回情報科学若手の会の反転講演スタイル×市場が判断すること×思考の結節点2021-10-28×卓球のラリー×決断力は自分の感情にフォーカスする訓練によって培われる×キャリブレーション会部分公開実験2×大勢に話すのではなく一人に話して大勢に聞かせる×人とのアポが強制力→
- →認知の機能不良×認知の狂い×人間のバグ×非合理的な思考パターン×全か無かの思考×行き過ぎた一般化×心のフィルター×選択的抽象化×マイナス化思考×論理の飛躍×心の読みすぎ×先読みの誤り×拡大解釈×過小解釈×感情の理由づけ×～すべき思考×世界を現実と違った形に期待している×レッテル貼り×誤った自己責任化→
- →人間のバグ×チャットボットは一つの話題に縛り付けて掘り下げる×will/can/mustとプロジェクトの採択×public→private転送×「問題解決の選択肢」と「人生の選択肢」は少し違う気がする×人生の選択肢をどうやって知ったか？→
- →人間のバグ×帰属×fundamental_attribution_error×基本的帰属錯誤×基本的な帰属の錯誤×基本的な帰属のエラー×対応バイアス×correspondence_bias×行為者-観察者バイアス×actor-observer_bias×顕現性×salience×バイアス→
"Engineer's way of creating knowledge" the English version of my book is now available on [Engineer's way of creating knowledge]
(C)NISHIO Hirokazu / Converted from [Scrapbox] at [Edit]