やさしい問題は速く高品質に解決し難しい問題を間違える

「何がGPT4にできることか」の判断能力が問われるわけだ

① BCGのコンサルタント758名を対象とした

② コンサルタント758名を以下3つの集団に分けた

・GPT-4なし

・GPT-4あり

・GPT-4とプロンプトエンジニアリングトレーニングあり

③ 実験は以下3つのフェーズで行わた

・デモと心理的プロファイリングが行われた

・複数のタスクのパフォーマンスを評価された

・インタビューが行われた

■報告内容

① GPT-4ありの集団は以下のように優れていた

・タスクの完了数が平均で12.2%多い

・タスクの完了速度が平均で25.1%早い

・タスクの品質が平均で40%高い

② もともと成績のよくない人が目覚ましく向上した

平均パフォーマンスが閾値以下の参加者の43%が、自身のスコアを向上させることができた

（平均パフォーマンス閾値以上の参加者は17%）

■注意すべき事実

「GPT-4の能力を超えている」と思われるタスクに取り組むにあたって、「GPT-4あり」の参加者は「GPT-4なし」の参加者に比べて、正しい解決策を提供する割合が19%"低くなる"との結果がありました。

→高度なタスクに対してGPT-4に頼るだけだと、普段よりも品質が落ちる恐れがあるとも解釈できる

https://pbs.twimg.com/media/F6XQHftb0AAriEm?format=png&name=900x900#.png

Navigating the Jagged Technological Frontier: Field Experimental Evidence of the Effects of AI on Knowledge Worker Productivity and Quality

著者：Fabrizio Dell’Acqua, Edward McFowland III, Ethan Mollick, Hila Lifshitz-Assaf, Katherine… さらに表示