人間よりも正答率が高い場合にそのLLMを信用しない理由は何？（責任再考）
人間よりも正答率が高い場合にそのLLMを信用しない理由は何？（責任再考）
このパラダイムシフトが起こるのは時間の問題かもtakker.icon
もう起こりつつあるのではないだろか575.iconcak.icon
ここは二度数えたはるひ.icon
精度を上げることと回答を完璧にすることの間には無下限呪術的な溝があると思ってるMijikko.icon 「「ある道具」が正しいのかチェックできないから勉強は大事」
道具のエラー率が高い時にはtrue。そして今まで、ほとんどの場合エラー率は高かった
完全に置き換えられたものは人間の役割がなくなったが、仕事は多種多様であり、多くの仕事は人間が主体で道具を使って効率化されていた
しかし、LLMでエラー率が下がった
現代のLLM（例えばo3）はほとんどの状況（=自分が普段やらないこと）で自分より正しい答えを返す
専門分野においてはまだコンテキストを持っている分、自分の方がよく理解できている点はあるが、今後コンテキストを収集するようになるだろう。フリーのLLMはできないかもしれないが、会社内のLLMはそのようになるインセンティブが会社に大きいので確実になる（エキスパートシステム再来） エキスパートシステムが再び脚光を集める展開アツいtakker.iconcak.icon
LLMが容易には判定できないものは、専門家でも容易には判定できないものになりつつある
この時、LLMは実質的に専門家と同じに見做せる
AIは全ての状況で自分より圧倒的に早い
ボトルネックは自分。ボトルネックをなくす=自分の介入をできる限り少なくする
人間の高速化は高々数倍なので高速化では対応できない
自分よりも良い判断をするAIの判断を専門家が聞いて、追認する。失敗した場合の責任を追認者がとる。責任装置。
この責任装置が当たり前になった時、責任装置に実質的な専門性は不要になる（追認してるだけだから）
初めは「専門家も言ってるんだから」から入り、だんだん「専門家は追認してるだけだからあんまり意味ない」になる
社長と同じ感じになる気がするSummer498.icon
2つの乗りこなし方
明確なゴールがあると、LLMができない部分を自分でやるしかない
できる範囲で最も近づけるところにゴールを置いてしまえばかなり早くゴールに到達できる
自分がLLMにしている問いや要求の精度を信用していないからonuma.icon
百歩譲ってLLMの回答が完全に正しくても質問が間違っている可能性があるから駄目Mijikko.icon
要件定義やらせた場合とかはよくあると思う
要求者にちゃんと逆質問して回答の精度を上げるように努められないと真の正答にたどり着かない場合がある 一般論的には完璧でも、要求者にとっては間違いという場面が往々にしてあるから
この問題は残るけど、人間の専門家相手でも同様の問題があるからLLMと人間を分けない問題だと思う基素.iconerniogi.icon
LLMと人間双方に内在している問題という点は+1Mijikko.icon