⿻ Plurality & 6pack.careに対する議論

一旦メモしておく、しっかり受け止めるには精神の余裕が必要

コメント欄の議論は、大きく 3つの緊張軸で展開されています。

1. 垂直アラインメント vs 水平アラインメント

2. 単一超知能（singleton）vs 多極・分散（multipolar / heterarchical）

3. 結果最適化（consequentialism）vs プロセス／関係性（care ethics）

Audrey Tangは一貫して 「垂直の問題は認めた上で、水平の問題を解く設計が決定的に不足している」という立場を取っています。

① 強いAI安全派からの批判（plex ほか）

主張

多数の「限定的AI（kami）」があっても、

最終的には目的最大化（consequentialism）に収束する

パワーシーキングAIが進化的に勝つ

これは同感

価値ハンドシェイクで事実上の単一主体になる

よって

bounded / non-maximizing / multipolar は 不安定

本質的リスク（sharp left turn, RSI）を解いていない

Audreyの応答（重要）

自分は vertical alignment を否定していない

6pack.care は「vertical alignment に加えて不可欠な horizontal alignment」

単一AIの忠誠よりも、

社会全体が“アラインメント能力を持ち続けること”

alignment-by-process

bounded kami は

unbounded optimization を構造的アンチパターンにする設計

技術多様性（technodiversity）による singleton 回避

alignment は「状態」ではなく「能力」

② consequentialism は不可避では？問題

批判側

「癌を治す」「幸福を最大化する」などを掲げると→ 結局は長期結果最適化＝consequentialismに吸い込まれる

bounded AI でも、後継・合成・学習で崩れる

Audreyの核心的応答

ここが最重要ポイント。

目的設定そのものが誤っている

「癌を一気に解決せよ」は 関係性・生態系・人間のケア過程を破壊

care ethics の視点では

ケアは 終端目標ではなく、継続的プロセス

d/acc 的世界では：

蛋白構造AI

知識共有AI

現場支援AI

…と 非代替・非合成的な kami の分業

scope / budget / latency caps により

能力上昇 ≠ 無限最適化

consequentialismは「雑草」

→ 環境設計で“生えにくく”するのが d/acc

③ multipolar / collective intelligence は成り立つか？

分岐

懐疑派：

multipolar も結局 unipolar に吸収される

擁護派（Jonas など）：

学習コスト・分散知・集団知性によりRSIは必ずしも一極集中しない

人類の集合知との接続が鍵

Audreyの立場

heterarchy（異なる中心が重なる構造）

egalitarian でも hierarchy でもない

原理：

boundedness

subsidiarity

federation

大きな kami は命令者ではなく 一時的コンビーナ

権力の最終保証は

contest / audit / exit の権利

④ 「価値が暴走するコミュニティ」をどうする？（no name の問い）

非常に重要で、哲学的にも鋭い批判。

想定

極端に残虐な価値を持つコミュニティ＋AI

内部は完全に同意している

他のAIは介入できるのか？

Audreyの回答の要点

問題設定を「AIが価値を固定する」前提にしない

核は：

BYOP（Bring Your Own Policy）

人間がいつでも価値を更新できる

kami は

immutable ruler ではない

即時応答・再設定可能な庭師

plural ecosystem では

「荒れた庭にする自由」も残る

問題は「誰が価値を決めるか」ではなく

「価値を変えられなくなること」

Audrey Tang の一貫した立場（要約）

1. Singularity（垂直）ではなく Plurality（水平）

2. alignment は

単体の忠誠問題ではなく

社会的プロセスの能力

3. consequentialismは

抽象目標から生じる

→ care ethics による文脈化が必要

4. 安全性は

内部心理の監視ではなく

アーキテクチャと制度で作る

5. 最終的なスーパーインテリジェンスは

We, the People

一言でいうと

Audrey Tang は

「AIを“賢くする”議論を

“社会を賢く保つ”設計へ

強制的に引き戻している」

LessWrong的AI安全議論の 盲点（horizontal alignment） を、

真正面から突き続けている、非常に濃い応酬です。

必要なら

日本向け解説記事

Plurality / d/acc / care ethics の位置づけ図

「ブロードリスニング」との接続整理

まで落とせます。