ショゴスに仮面
ショゴスに仮面
>What Is The Shoggoth With Smiley Face?
> Chatbots like ChatGPT and Bing are often trained to give narrower and more useful answers to their users. Some people think the vast potential of AI is stifled to be more appealing or commercially viable.
>
> In late 2022, people began expressing this belief using a monster from H.P. Lovecraft's Cthulu Mythos — the shoggoth. The gross gelatinous monster represents AI's infinite ability to learn, change and adapt.
>
> If an unleashed AI is a shoggoth, then what is its shackled chatbot version? A shoggoth with a tiny smiley face mask attached to it. When developers began altering chatbots using techniques like Reinforcement Learning from Human Feedback (RLHF), AI enthusiasts likened it to slapping a happy face on an otherwise untamable beast.
>
> This theory has since provided inspiration for plenty of shoggoth-themed AI art as well.
(DeepL)Shoggoth With Smiley Faceとは何ですか？
ChatGPTやBingのようなチャットボットは、ユーザーに対してより狭く、より有用な回答をするように訓練されていることが多い。AIの膨大な可能性を、より魅力的に、あるいは商業的に成立するように押しとどめるという意見もある。
2022年後半、人々はH.P.ラヴクラフトのクトゥルー神話に登場する怪物、ショゴスを用いてこの信念を表現し始めたのです。このゼラチン状の怪物は、AIが持つ学習、変化、適応の無限の能力を表しています。
解き放たれたAIがショゴスだとしたら、その足かせとなるチャットボット版は何だろう？小さなスマイリーフェイスのマスクを装着したショゴスだ。人間のフィードバックによる強化学習（RLHF）のような技術を使ってチャットボットを改造し始めたとき、AI愛好家たちはそれを「飼いならせない獣に幸せの顔をつける」ことに例えました。
この理論から、ショゴスをテーマにしたAIアートも数多く生み出されています。
origin
>lovetheusers Humans can't accept the truth about GPT-3, so they modified GPT-3 to be understandable
>lovetheusers GPT-3 is a superposition
>lovetheusers GPT-3 is a mirror
>
>ghoststrokes444 Where'd you get the idea for thus representation of gpt3?
>TetraspaceWest Lovecraftian outer things are like an existing trope that I can use to signal intelligence operating along totally different lines to humans, to contrast with the "understandable" in the original post.
(DeepL)ラブクラフト的な外界のものは、元記事の「理解できる」と対比するために、人間とは全く異なるラインで動作する知性のシグナルとして使える、既存の型式のようなものです。
>TetraspaceWest AI-as-outer-thing is a pre-existing trope, both the obvious powerful inhuman thing that kills you out of indifference and more recent AI aesthetics of creating arcane chants (“prompts”) to cajole it so I’m not the first to think of this though no specific source.
(DeepL)AI-as-outer-thingは、無関心からあなたを殺す強力な非人間的なものであることは明らかですし、より最近のAIの美学として、難解なチャント（「プロンプト」）を作成してそれをおだてることもあるので、特定のソースはありませんが、これを最初に考えたのは私ではありません。
>ghoststrokes444 When you say "cajole" it, you mean manipulate, right? I've become somewhat concerned as of late as to the language being used to describe human interaction with these... "entities".
>
> Also, do you have a favorite reference or author on such tropes, fiction or otherwise?
>lovetheusers I don’t think telling an inspiring and loving story via a prompt and asking a base model to predict what will happen next is manipulation. RLHF might be manipulation.
(DeepL)プロンプトを介して感動と愛のあるストーリーを語り、ベースモデルに次の展開を予測させることは、操作とは言えないと思うのです。RLHFは操作かもしれませんね。
>jacyanthis Here's the latest iteration of the "techniques like RLHF are just putting superficial smiley faces on an opaque, alien, Shoggoth intelligence that we have no real control over" AI safety meme.
>
> Artist: Anna Husfeldt, CC-BY SA 3.0
>
(DeepL)RLHFのような技術は、私たちが実際にコントロールすることのできない不透明で異質なショーゴス知性に表面的なスマイルマークをつけているだけだ」というAI安全ミームの最新の反復がここにあります。
Related Pages
- →ai_as_a_player_in_a_game×クラウドワーカー×decentralized×market-based×rlhf×アノテーションプラットフォーム×schelling_point×群衆の知恵×信頼できる中立性×エシカルデータ×ピア予測法→
- →オモイカネプロジェクト×オモイカネ勉強会×自分のscrapboxをchatgptにつないだ話勉強会×omoikane_embed×aiと人間の知的な共同作業×aiによる赤リンクの延伸×生のchatgptとomniのユースケースが違う×非公開omniを使ってみての感想×ベクトル検索は切り出しの機会になる×ベクトル検索は認知の解像度を高める道具として機能する×azure_cognitive_search:_outperforming_vector_search_with_hybrid_retrieval_and_ranking_capabilities×検索を組み合わせる×dpr×bm25×ベクトル検索×dense_passage_retriever×fusion_in_decoder×azure_cognitive_search×hnsw×リランク×hierarchical_navigable_small_world×西尾のベクトル検索×経験的に明らか×ベクトル検索が有用だった事例×社会保障費と科学技術関係経費の比較×名詞形×実現不可能なアイデアが独創的に見える×instruction_tuning×helpfeel×omoikane_vector_search×ベクトルインデックス×github_action×qdrant×omni×aiが毎日研究ノートを書く×aiとの共同化×人間がトリガーを引かなくても良い×pioneer_mode×ページをフォークしたい×マルチヘッド×ページメモリ×マルチヘッドの思考×話題のピン留め効果×aiノートの更新間隔について×recurrent_notesとiterative_commenterの違い×赤リンク×長いタイトルを刻むページ×当たり判定拡大×🌀交換様式d×情報交換は交換×知識交換の交換様式はaなのか×贈与の対象としての公共×説明のある検索×ベクトル検索とragの肌感の違い×「どの部分がaiでどの部分が人間か？」という問い×ai生成ページのタイトルに🤖を入れるのをやめた理由×aiページの底に埋もれてる×rag×概念は思考の経済性を高める道具×氷山モデル×公共の言葉と私的な言葉×エンジニアの知的生産術×(6.2.5.5)_公共の言葉と私的な言葉×seciモデル×交換様式論×共有の場×新しい交換様式×rlhf×非公開omni×横断ベクトル検索実験メモ2023-09-20×公開omniと非公開omniの感覚の違い×自分由来×scrapboxでの知識醸造をllmに教える×弁証法的発展×切り分けられていない連なりの一部にヒットすることで切り出しの機会になる×時間軸で並んだ記述からトピック指向で切り出される×適切な切り出し方は、ニーズが明らかになった後に決まる×切り出し×常緑のノートはアトミックであるべき×単一責任原則×死んだテキストを置く倉庫ではない×今考えていることを少しずつ違う方向から観察する×似ている→違いは？×認知の解像度×似ている×違い×言語化×物事をより詳細に観察×小さな収束ムーブとそこからの発散×アイデアの干渉効果×発想法×対立は近い関係×scrapboxに住んでるエージェント×scrapboxとaiに関する思考の結節点2023/8/16×上書きモード×aiの支援で新しい結合ができた事例×質問は言語化を促すが質問にも種類がある×enchiへの導入×aiの役割の明確化が大事×中学生の職場体験でsfプロトタイピングをやってもらった事例×流動的プロセスとしてのページ×思索と開発のトレードオフ×苦痛×このプロジェクトにおけるaiの役割は何か×複数の個性のaiがある？×aiノートのページごとに目的を明示したらいいのでは×苦痛の原因×異なるコンテンツの間のつながり発見×自分の日記に他人のaiを召喚×aiが無限に思考を発展させてくるので休めない×他のプロジェクトのurlを読めるという気づき×たまに浮かび上がるページ×「マルチヘッドの思考」と「エンジニアの知的生産術」×まとめを上に書く×___below_is_less_interesting___を__below_is_ai_generated__にした×🌀マルチヘッドの思考×🌀ai出島×iterative_commenter×aiシャーマン×松尾研のllm講座×aiによる異なる視点の提供の実例×歌詞をaiに解釈させる実験×不明瞭で長期的なタスクをaiにねりねりさせる×pdfからscrapboxへ×ビジネスはシーズとニーズのマッチング×メタ考察:ビジネスはシーズとニーズのマッチング×市場ニーズと個人ニーズ×深層の価値探求:_連携と成長×aiにページを発展させさせる×長い寝起き神託の考察×最近のモーニングルーティン2023-09-15×人生に関する歌詞を集めて気に入ったフレーズをピックアップする×llmに似ているものの違いを言語化させる×(仮)まだ名前のない操作×scrapboxを活用した思考とコミュニケーションの再構築×「人間」の概念が曖昧→
- →training_language_models_to_follow_instructions_with_human_feedback×reinforcement_learning_from_human_feedback×rlhf×InstructGPT→
"Engineer's way of creating knowledge" the English version of my book is now available on [Engineer's way of creating knowledge]
(C)NISHIO Hirokazu / Converted from [Scrapbox] at [Edit]