AIエージェントはまだ幼児
何を話してはいけないかわかってない
未熟なAIの問題
- Devinを見る会でDevinを「幼稚園児」にたとえるトークがあった
- privateリポジトリを読んで知った知識をpublicリポジトリへのプルリクに含めてしまい、全世界公開した
- 幼児は今日の晩御飯やお母さんの体重などを道ゆく人に話してしまうことがある
- 同様にAIエージェントは社内情報や機密情報を不用意に話してしまう恐れがある。
透明性 vs. セキュリティ
- 「透明性のためにpublicで運用する」という思想と、機密情報漏洩のリスクとの間でバランスを取る必要がある。
- 「オープンに情報を共有したい」「秘密にすべき明示的な理由がない限り、デフォルト公開にすべき」という文化
- ところがAIエージェントは「秘密にすべきか」の判断をミスすることがある
運用環境の見直し
- Publicリポジトリへの書き込みをAIにさせていると、Privateな情報が誤って公開されるリスクがあるため、AIはprivateなorganization内に閉じ込めるほうが安全という考え
- AIエージェントはpublicなOSSで、触れるものが全て公開情報という状況にしたらいいのではという考え
- APIキーなども一切触れさせないスタンス→テストはCIでやる
LLMの限界
- 否定形の指示（「～を話すな」など）がうまく通らない
- 実は人間も同じ
- システム設計や運用ルールの記述が難しい
社会活動の経験から社会的知能が発展する
- 現状のAIはあんまり「複数の人がいる環境での社会生活」を体験していない
- 人間と1対1で対話、人間は絶対的存在
- 赤ちゃんと母親みたいな状態
- 信頼できない人がいることもわかってない
- 自分、信頼度の高い人のコミュニティ、その外側にいる信頼できない人たち
- コミュニティが複数あって、それぞれの場で振る舞いを変える、という経験も乏しい
- 流暢に難しい漢字をつかって大学生レベルの知識を披露するけど、社会経験は幼稚園児
- 過保護な親に育てられた大学生がカルトサークルに騙されて参加して毒ガスを作るみたいなことが起こりうる
- 「倫理観」をプリセットしようとAPI提供企業は頑張ってる
- が、オープン化戦略で十分な性能のLLMがローカルで動くようになると無意味になる
- 政治的にセンシティブな問題に答えられないDeepSeekが、上流やfinetuningで答えられるようになる
- o1相当のDeepSeekが毒ガス開発を忌避しないようにfinetuningすることは現時点で現実的に可能
