NISHIO Hirokazu[日本語][English]

AIに任せる適度なサイズ

nishio AIエージェントに任せるタスクのサイズxが大きくなるほど人間の作業頻度1/xは下がる、しかし確率pで成功するタスクをx回連続成功する確率p^xも下がる、差し引いたものが効用で、AIに任せる適度なサイズのところで効用が極大値になる image

p=0.75 image

CIや静的型検査があるとpが良くなるので、より大きなxが最適になる。ChatGPTとターン制コミュニケーションしているケースはx=1、世の中をざっと観察した感覚として「AIエージェントが自動で進めてくれる」と聞いた人はx=10とかを頼みがちで、そうすると思ったほど効果が出ない。

p=0.99 image

  • 成功率が高まるにつれてだんだん極大値が右に移動していく

ここまで書いてから重要な要素を忘れてたのに気づいたんだけど、AI実行にかかる金銭的負担がx^(1~2)くらい掛かるんだったw

  • それを差し引くと極大値は左に移動する
    • これは人間のコストとAIのコストで比較しないとだね

(C)NISHIO Hirokazu / Converted from Markdown (ja)
Source: [GitHub] / [Scrapbox]