ブラックボックス

入出力だけで記述できる

参考

あるTOCも、その創造過程を隠匿することでブラックボックス化し、他人が改良する余地を奪ったという点で非常に著作権利意識の主張が強い商業主義になってしまった。

効率が信頼の敵になることもある。信頼には少しの摩擦が必要だ。時間もいる。投資と努力も必要だ。「１日のひとつの出来事で信頼が築かれることはない。つらい体験を共有しても、すぐに信頼が築かれるとは限らない」。作家のサイモン・シネックはそう言っている。信頼は「ゆっくりと、安定し、一貫した体験から築かれる。だからそんなちょっとした触れ合いが起きるメカニズムを作り出す必要がある」。今のシステムは滞りがなさすぎて、わたしたちは自分が負っているリスクを充分に意識せず、自分が拡散する噓に気付かなくなっている。

「問題は社会が半透明になっていることだ」とコーリー・チェシャイアは言う。「人との触れ合いのどのくらいが、つまり私たちの行動と付き合いを可能にするメカニズムのどのくらいが、目に見えているだろう？」。今はほとんど見えていない、と彼は言う。巨大インターネット企業の「ブラックボックス」をこじ開ける必要がある。わたしたちが毎日利用しているのに、そして信頼しすぎるほど信頼しているのに、ほとんど中身を知らないシステムの内側を明らかにしなければならない。

現実の世界での社会の半透明性とは、たとえばこんなことだ。もし何か高価なものを送りたい場合は、郵便局に持っていく。贈りものをそこら辺の道端に置きっぱなしにして、誰かが届けてくれるだろうとは思わない。小包を郵便局のカウンターの向こうにいる人に渡して書き留めの料金を払う。郵便局の人はわたしに番号入りの受領証を渡してくれる。それがあれば小包がどこにあるのかをオンラインで追跡できる。それが社会的な半透明性だ。何が起きているかを教えてくれる、目に見えるヒントはたくさんある「オンラインのシステムによって、その半透明性が破られる」とチェシャイアは言う。「たとえば、クレジットカード情報をサイトに打ち込むとしよう。その情報を渡しても、一方通行でしかない。システムが情報を守ってくれると信頼するしかない」

オンラインのシステムはオズの魔法使いのようだ。わたしたちからは、そのうしろにいる大勢の人間は見えない。システムの運用に関わっている数学オタクの姿は見えない。人や場所や物やアイデアをランク付けし、わたしたちのために選択し照合してくれるシステムのなかの亡霊は見えない。とはいえ、知らないのは自分の責任でもある。わたしたちの多くは、自分の人生がどのくらいアルゴリズムによって絶えず操作されているかを知りたくないのだ。だからすべて大丈夫だと信じたがる。

「重要な問いのひとつは、知性を持つ機械の信頼性をどう評価するかということだ」とケイブは言う。「金槌なら壁に打ち付けてみて頭部が落ちてこなければ大丈夫だとわかる。普通の車なら特定の基準に達していることを示す安全保証書がついてくる。だが、自動の領域が増えると、まったく新しい基準が必要になる。機械がどう判断するかを理解し、その意思決定のプロセスがどのくらいしっかりしているのかを知らなければならなくなる」

たとえば、病院にある自動がん診断装置を思い浮かべてほしい。医師は自動の診断装置を使いはじめて5年になる。機械にずっと頼ってきたので、自分でどう診断したらいいかをほぼ忘れてしまっている。これはパイロットが経験する「モードの混乱」という現象に近い。2009年にエアフランスの447便が大西洋に墜落し、228人の乗員乗客全員が亡くなった事故でもそうだった。コックピットから回収されたボイス・レコーダーから、自動操縦システムが突然解除され、パイロットたちは驚き混乱して安全に飛行機を操縦することができなくなってしまったことがわかった。