AIに任せる適度なサイズ

nishio AIエージェントに任せるタスクのサイズxが大きくなるほど人間の作業頻度1/xは下がる、しかし確率pで成功するタスクをx回連続成功する確率p^xも下がる、差し引いたものが効用で、AIに任せる適度なサイズのところで効用が極大値になる

https://pbs.twimg.com/media/Gj9IDFNagAAuC9v?format=png&name=900x900#.png

p=0.75

https://gyazo.com/a9a487edffecbcc86a194f22ebae342c

CIや静的型検査があるとpが良くなるので、より大きなxが最適になる。ChatGPTとターン制コミュニケーションしているケースはx=1、世の中をざっと観察した感覚として「AIエージェントが自動で進めてくれる」と聞いた人はx=10とかを頼みがちで、そうすると思ったほど効果が出ない。

p=0.99

https://gyazo.com/58d8b92c73db83c6409aff0d7ac19795

成功率が高まるにつれてだんだん極大値が右に移動していく

ここまで書いてから重要な要素を忘れてたのに気づいたんだけど、AI実行にかかる金銭的負担がx^(1~2)くらい掛かるんだったw

それを差し引くと極大値は左に移動する

これは人間のコストとAIのコストで比較しないとだね