NISHIO Hirokazu[Translate]
AIに任せる適度なサイズ
>nishio AIエージェントに任せるタスクのサイズxが大きくなるほど人間の作業頻度1/xは下がる、しかし確率pで成功するタスクをx回連続成功する確率p^xも下がる、差し引いたものが効用で、AIに任せる適度なサイズのところで効用が極大値になる
>

p=0.75

CIや静的型検査があるとpが良くなるので、より大きなxが最適になる。ChatGPTとターン制コミュニケーションしているケースはx=1、世の中をざっと観察した感覚として「AIエージェントが自動で進めてくれる」と聞いた人はx=10とかを頼みがちで、そうすると思ったほど効果が出ない。

p=0.99
成功率が高まるにつれてだんだん極大値が右に移動していく

ここまで書いてから重要な要素を忘れてたのに気づいたんだけど、AI実行にかかる金銭的負担がx^(1~2)くらい掛かるんだったw
それを差し引くと極大値は左に移動する
これは人間のコストとAIのコストで比較しないとだね

"Engineer's way of creating knowledge" the English version of my book is now available on [Engineer's way of creating knowledge]

(C)NISHIO Hirokazu / Converted from [Scrapbox] at [Edit]