汎用人工知能

あらゆるものを学習できるソフトウェア

まだ存在していない

これを作ることを目指すのがトレンドになっている

実世界の混乱を減らすためにために技術を小出しにする

利点と欠点を理解しろ。規制をしろ

デフォルトでは記載するがユーザーに変更する裁量を与える

安全性と能力は一緒にあげなければならない(ことが多い)

管理、利益分配、アクセスについて議論しろ

AGIの進化は過去10年の進化のペースを続けると予想しているので、リスクも大きい

無限な上振れも下振れもある

最初はオープンにするつもりだったけど今は全部をオープンにするつもりはない

「人間の価値に沿わない超知能があるDNA配列を人間に作らせてそれを種に時限ナノマシンが世界中の人を数秒以内に全滅させる」という話を含む議論（2番）に全員ほぼ同意してるのヤバすぎるな。

https://pbs.twimg.com/media/FlOpDKLaUAARfQ3.jpg

2. Unaligned superintelligence could easily take over

Summary: A cognitive system with sufficiently high cognitive powers, given any medium-bandwidth channel of causal influence, will not find it difficult to bootstrap to overpowering capabilities independent of human infrastructure.

DeepL.icon

整列していない超知性は簡単に乗っ取ることができる

要約：十分に高い認知能力を持つ認知システムは、因果的な影響の中帯域幅のチャンネルがあれば、人間のインフラとは無関係に圧倒的な能力までブートストラップすることが難しくないと考えられる

-2. When I say that alignment is lethally difficult, I am not talking about ideal or perfect goals of 'provable' alignment, nor total alignment of superintelligences on exact human values, nor getting AIs to produce satisfactory arguments about moral dilemmas which sorta-reasonable humans disagree about, nor attaining an absolute certainty of an AI not killing everyone. When I say that alignment is difficult, I mean that in practice, using the techniques we actually have, "please don't disassemble literally everyone with probability roughly 1" is an overly large ask that we are not on course to get. So far as I'm concerned, if you can get a powerful AGI that carries out some pivotal superhuman engineering task, with a less than fifty percent change of killing more than one billion people, I'll take it. Even smaller chances of killing even fewer people would be a nice luxury, but if you can get as incredibly far as "less than roughly certain to kill everybody", then you can probably get down to under a 5% chance with only slightly more effort. Practically all of the difficulty is in getting to "less than certainty of killing literally everyone". Trolley problems are not an interesting subproblem in all of this; if there are any survivors, you solved alignment. At this point, I no longer care how it works, I don't care how you got there, I am cause-agnostic about whatever methodology you used, all I am looking at is prospective results, all I want is that we have justifiable cause to believe of a pivotally useful AGI 'this will not kill literally everyone'. Anybody telling you I'm asking for stricter 'alignment' than this has failed at reading comprehension. The big ask from AGI alignment, the basic challenge I am saying is too difficult, is to obtain by any strategy whatsoever a significant chance of there being any survivors.

DeepL.icon

私が「整列は致命的に難しい」と言ったのは、「証明可能な」整列という理想的あるいは完璧な目標や、人間の価値観を正確に反映した超知能の完全な整列や、ある程度合理的な人間が反対する道徳的ジレンマについてAIに納得のいく議論をさせたり、AIが皆殺しにしないという絶対的確実性を獲得することについて言っているのではありません。

私が「アライメントが難しい」と言ったのは、実際に私たちが持っている技術を使って、「文字通り、およそ1の確率で全員を分解しないでください」というのは、あまりにも大きな要求であり、私たちはそれを得る方向に進んでいない、という意味です。

私としては、10億人以上を殺す可能性が50％未満で、超人的な工学的作業を行う強力なAGIを手に入れられるなら、それに越したことはないと思います。 さらに少ない人数しか殺せないというのは贅沢な話ですが、「全員を殺す可能性がほぼない」というぐらいなら、ほんの少し努力すれば5%以下の確率まで下げることができるでしょう。

実質的にすべての困難は、「文字通り全員を殺す確実性以下」に到達することにあるのです。 トロッコ問題は、このような問題の中では面白いサブ問題ではありません。 この時点で、私はもう、それがどのように機能するかは気にしません。

あなたがどのような方法論を使ったかについては、原因にとらわれず、私が見ているのは将来の結果だけです。 私がこれより厳しい「アライメント」を求めていると言う人は、読解力がないのでしょう。

AGIのアライメントに求められる大きな課題、私が難しすぎると言っている基本的な課題は、どんな戦略であれ、生存者が存在する可能性を大きく高めることです。