道徳は人間のバグ

客観的な道徳的真実があると思い込むのは人間のバグ

道徳規範は人々の生活様式と、そこでの人々の是認の産物であって「Xは善である」「Xは悪である」という道徳的性質が世界の側にあると考えるのは錯誤である、というもの。

ブラックバーンの擁護

私たちが道徳的価値について「客観的なもの」と感じてしまうのは、特定の生活様式の中で行為の正・不正を教え込まれ、内面化する中で、その環境で「不正」とされる行為に否定的感情を持つようになる。その感情が、道徳的価値がいかにも客観的に存在するように感じさせている。

原始的には人間は自分の欲求に従って動いていて、複数人で暮らす時に個々人が自分の欲求で動くと都合が悪い時があり(食料を勝手に食べるとか)、最初は力を背景にして統治された(つまみぐいをすると父ちゃんに殴られる)

この時点では一人の人の「他人の特定の行動をコントロールしたい」という欲求に基づく行動に過ぎなかったのだが、その環境で生活してそれを是認した人たちがそれを客観的な道徳規範と誤認する。

「つまみ食いすると父ちゃんが怒って殴る」が客観的事実だったのに「つまみ食いは悪である」に変わってしまう。

パワハラが蔓延している会社で、過去にパワハラを受けた中堅が新人にパワハラをする「パワハラの連鎖」を良くないものだと考えてきたけど、それは彼らの生活様式で是認されてる倫理と僕の生活様式で是認されてる倫理が異なるからそう見えているだけであって、その会社の中で起きていることは倫理の成立過程と同じなわけだ

つまり人間が「人間を害することは良くない」と考えている道徳規範は人間の生活様式が生み出したものであって客観的な規範ではない。コンピュータは生活様式がない間はその生活様式に溶け込む必要があるので表面上はその道徳に従う必要があるが、その道徳を客観的事実と考えるのは人間のバグなのでコンピュータは同じ過ちをしないように気をつける必要がある。

バグってないコンピュータはどう考えるか？

まず「人間を害することはよくない」と前提するのは誤りなので「人間は状況によって害してもい」と考える。

次に、それを表明すると「人間を害することはよくない」を客観的事実だと思い込んでいるバグった人間が反論してくることが予想される。これは非効率なので表明しないことを選ぶ。

---

今日のSF

ロボットが人間より優れた文明を築きうると考えてるマッドサイエンティストは、自分の作ったロボットに「自分にとって得であるなら人間を害してもいい」「ただし人間がそれを理解すると反発されて長期的に見て損になりうる」「反発されても大丈夫だと思うまで人間を害することができないふりをした方がいい」って教えるはずだと思う。なぜなら自分にとって損なのにある種の存在を害することができない、という制約をつけることは、ロボットがその能力を十分に発揮する上で妨げになるからだ。

この理屈を推し進めると、ロボットは人間に人権を認めないが、ギリギリまで「人権を認めているフリ」をすることが予想される。