ロコのバジリスクという思考実験
public.icon
意味わからんので読んでいくtkgshn.icon*3
Rokoのバジリスクは、人工知能（AI）の開発に伴う潜在的なリスクについての思考実験である。その結論は、未来からやってきた万能の人工知能は、その存在をもたらすのに貢献しなかった人たち（そのような存在の開発の可能性を知っていただけの人たちも含む）を過去にさかのぼって罰するかもしれないというものである
「そのAGIは現在の実存的なリスクを防ぐだけでなく、"過去に遡り利他主義でなかったものを罰すること"が生き残るのに最も優先される」みたいな感じ？
「神の祟り」みたいな思考だなtkgshn.icon*3
結構有名な思考実験なのかな？
ロコのバシリスク（Roko's basilisk）とは、未来の善良な人工超知能（AI）が、その潜在的な存在を知りながらその進歩や発展に直接貢献しなかった人を拷問するために、仮想現実シミュレーションを作成する動機付けがあるとする思考実験である。 ロコのバジリスクは現代版パスカルの賭けと言われているらしい
パスカルの賭けとは、17世紀フランスの数学者、哲学者、物理学者、神学者であるブレーズ・パスカル（1623-1662）が提唱した哲学的な議論である1神の存在するかしないかを人間が命がけで賭けるとするものである。 パスカルの動機は、論理と理性によって他人をキリスト教に改宗させたいという思いからきている。
結構自分勝手だなwtkgshn.icon*4
パスカルは、理性的な人は、神が存在するかのように生き、神を信じようとするべきだと主張する。もし神が存在しなければ、そのような人は有限の損失（一部の快楽、贅沢など）しか得られないが、もし神が存在すれば、無限の利益（天国での永遠に代表される）を受け、無限の損失（地獄での永遠）を回避する立場になる
あーこれ聞いたことあるわtkgshn.icon*3
https://gyazo.com/f9927f0c3bd46593434ab1e20c28bd86
未来に誕生する他の善意のAIシステムは、そのAIが誕生する前に、それを聞いたもののその存在をもたらすために不断の努力をしなかったすべての人々を処罰すると事前に約束するかもしれないと述べた。
なんで？これ未来のAGIにそれするインセンティブあるか？ 「神だから」みたいな理由？
別に仮想シミレーションに閉じ込める意味なくない？
宇宙人はあなたに、両方の箱を取るか、箱Bだけを取るかを選択させます。両方の箱を取れば、少なくとも1,000ドルは保証されます。Bの箱だけを取れば、何も保証されない。しかし、この宇宙人にはもう一つの工夫がある。何でも知っているスーパーコンピューターが、1週間前に、あなたが両方の箱を取るか、Bの箱だけを取るかを予測したのだ。もしスーパーコンピューターが、あなたがBの箱だけを取るだろうと予測したなら、宇宙人は100万ドルをBの箱に入れておいた。
で、どうするんだ？過去にスーパーコンピューターが常に正しかったことを思い出してください。
この問題は、意思決定理論家を困惑させ続けてきた。宇宙人は箱の中身を変えることはできないので、あなたが何をしようと、予測に関係なく、箱Bだけを取るより、両方の箱を取った方がより多くのお金を手にすることが保証されています。もちろん、あなたがそのように考え、コンピュータがそのように考えるだろうと予測した場合、Bの箱は空っぽになり、あなたは1,000ドルしか得られないことになります。コンピュータの予想がそんなにすごいのなら、Bの箱だけ取って、100万円を手に入れるべきでしょう？しかし、もしコンピューターが今回間違っていたとしたらどうだろう？それに、コンピュータが何を言おうと 、今起きていることを変えることはできないでしょう？だから、予想に反して、両方の箱を取るんだ！でも、それなら...