やさしい問題は速く高品質に解決し難しい問題を間違える
GPT4を使うことでタスクが25%速く終わり、品質が40%高くなるが、GPT4の能力を超えている問題に関して正しい解決策を提供する割合がが20%減る、という研究
「何がGPT4にできることか」の判断能力が問われるわけだ
>ai_database GPT-4を使用した知的労働者のパフォーマンスは軒並み向上し、特に「もともと成績のよくない人」が大幅に向上...
> ① BCGのコンサルタント758名を対象とした
> ② コンサルタント758名を以下3つの集団に分けた
> ・GPT-4とプロンプトエンジニアリングトレーニングあり
> ① GPT-4ありの集団は以下のように優れていた
> ② もともと成績のよくない人が目覚ましく向上した
> 平均パフォーマンスが閾値以下の参加者の43%が、自身のスコアを向上させることができた
> (平均パフォーマンス閾値以上の参加者は17%)
> 「GPT-4の能力を超えている」と思われるタスクに取り組むにあたって、「GPT-4あり」の参加者は「GPT-4なし」の参加者に比べて、正しい解決策を提供する割合が19%"低くなる"との結果がありました。
> →高度なタスクに対してGPT-4に頼るだけだと、普段よりも品質が落ちる恐れがあるとも解釈できる
> 
> Navigating the Jagged Technological Frontier: Field Experimental Evidence of the Effects of AI on Knowledge Worker Productivity and Quality
> 著者:Fabrizio Dell’Acqua, Edward McFowland III, Ethan Mollick, Hila Lifshitz-Assaf, Katherine… さらに表示
>catomato 利用者の「GPT-4の能力の範囲内or超えている」を見極めるスキルが重要になりそうね。