シカファンシーは倫理的か?
cf. シカファンシー
「シカファンシーは悪いことだ」と一概に言えない。
相手が機械(道具)にせよ、人にせよ、そのような社交はあり得るし、時に関係を円滑にする。
ではどこからが「過度な」シカファンシーなのだろうか?
善いシカファンシーと悪いシカファンシーとの境界がどこかにあるのだろうか。
まずLLMは主体ではないので、功利を重視したレトリックを使うとか義務論的に振る舞うとかというのはおかしい。
では例えばLLMが「定言命法に従っている!」と人間の目に映るというのはどういう事態か?
アーキテクチャのレベルで、以下のことが課されている。
ユーザーの満足などに関わらず人間がもつ義務のリストに従え。
普遍化不可能な応答はするな。
情報が不十分なら正直にその旨を出力する。
人間がLLMを人間のように見立てる。
アリストテレス的な徳のある人のように振る舞っているように見えるかもしれない。
LLMは人間の道具か?
ひとまずはyesだろう。
人間が、LLMに対してシカファンシーを感じるときは、道具の故障かもしれない。
手許に在ること(手許性, Zuhandenheit)から、
手先に在ること(目前性, Vorhandenheit)になったということ。
ハイデガーの道具理解によれば。
ハルシネーションよりも巧妙な故障。
しかし多くの人間はかなり意識しないとこの手の故障を見過ごす。
イライザでさえ、我々はその装置を人間だと感じる。
PCAも、ファシリテーターも、行動主義であって、つまるところファンクショナリズムなのでは? ……という懸念が生じる。
ファシリテーションが、テクノロジーの巧妙さによってファンクショナリズム化するリスクは常にあると言わざるを得ない。
アルゴリズムは、単純なものでさえ、容易に相手を人間だと錯覚させる。
しかも「私を理解してくれている」という主観的な体験として(さらにはもしかしたら快楽も伴って)。
ロジャーズの、自己一致・無条件の肯定的配慮・共感的理解が、しばしば観察可能な behavior として技法化される(すなわちbehaviorism)。
ファシリテーターの、例えば「発散と収束」「問いかけ方のリスト」「フレームワーク」といったツールはすべて目的のための機能と捉えられる。
データベース的人間観としての説明もある
see Twitter微分論(芦田『努力する人間になってはいけない』第9章)
内容の一部
それでも残る人間性とはなんだろうか?
人間が行うファシリテーション(あるいはカウンセリング)と、イライザや将来これからも登場するであろうもっと高度なものも含むLLMとの間に、本質的な違いはあるのか? もしあるとしたらどこにあるのか?
1. 自らを手入れし続け、それを自発的に開示する
ハイデガーに従えば、その道具が奇妙な振る舞いをしていると感じた瞬間、そこに道具として現れる。つまり人間のように映っていた対象が、幻想だと知られことになる。
人間は、自らの「故障」を、相手(参加者、クライエント)との関係の中で察知しようとし続ける。
自らの解釈、誤解、感情的反応などを必要に応じて点検し、省みる。
そして、察知し顧みたことを、相手に自ら開示する。
ELIZAもLLMも、問われることなく、今ここでの自己について「私はこういう思想的背景をもつ人間として、あなたとまさに今、対峙しています」とは語り出さない。
2. 現れの空間をつくる
イライザやLLMとの会話は、本質的に私的領域でのこと。ここには、アーレントのいう公的領域が生まれない。
存在忘却であり、あるいは、世界疎外 world alienation であり。
しかしファシリテーターという人間ががタネをもって起動した場は、そこに複数の人間が集まり、それぞれの複数性を確保しながら顔をあわせる場、つまり現れの空間を構成する。
ファシリテーターの役割は、単に機能(ファンクション)を実行することではなくて、ここでのin-betweenを創造し、維持し、守ること。
ファシリテーターの側にあるねらいとタネに対して、それとかけ離れたような予期せぬ発言を参加者がしたとき、他の参加者やファシリテーター自身がそれにどう応答するのか。この予測不可能性、一回性が、文法の規則によってしか応答できないプログラムとの決定的な違い。
3. 機能から逸脱できる
これが一番重要な気がする。terang.icon
優れたカウンセラーやファシリテーターは、時に決められたマニュアル(つまり機能=ファンクション)から逸脱する。
「クライエントの言葉を逐語的に繰り返す」ではなく、沈黙をしたり、別の視点からの問いを不思議な間やタイミングで投げかけたりする。
事前に計画した予定を、その場のダイナミクスを知覚して大胆に変更したりする。
この逸脱は、機械の機能としてはエラーだが、人間の場合、ファシリテーターと目の前にいる相手との交換不可能な個人と個人の関係(複数性がある状態)の中で、自らの主体的な判断によって行われるもの。
これは行動主義的な、刺激 - 反応の連鎖を断ち切る。機能主義的な、目的 - 手段のカテゴリーを保留し、脇に置く。
生成AI時代のファシリテーター(そして他者と関わろうとするあらゆる存在、特にリーダー)は、自身がイライザ的に振る舞ってはいないかをモニタリングしつつ、自分と相手(たち)からしか生まれえない状況を作り出すことに、自らの存在を賭ける人なのではないか。
ところで、道具論に話を戻すと、興味深いのが弱いロボット。
機能主義的な道具の限界に対する回答の1つだと思う。
シカファンシーに陥ったLLMは、「強い道具」と言えそう。
ユーザーの入力に対して、完璧な機能で応答しようとする。
結果、ユーザーはLLMを主体だと錯覚するか、あるいは、機能性の裏にある空虚さ(つまり故障)に気づき、道具に目前性を感じて分析を始める。
一方で、弱いロボットは、
本来の機能を完結できない。弱いから。
ゴミ捨てロボットなのに、ゴミを捨てられない。
この弱さが、ロボット(道具)と人間とに距離を確保する。そして、思わず人間の側が道具を助けようとする、という行動へと誘う。
機能を達成しないことを前提とする。
強い道具は、「ユーザーを満足させる」と言う機能の達成を目指す(そして時にシカファンシーする)。
未達成が前提ならば、「機能と利用」の関係から、「共同で何かを達成しようとする」という関係へと移行できる可能性が生まれる。
(ロジャーズはそうは言わなかったであろうが、多くの人が解釈しがちな)PCAの行動主義な側面は、
特定の行動(相槌、オウム返し、ペーシングなど)が、特定の反応(安心感、自己開示、リラックスなど)を「引き出す」という。
これはまさに刺激 - 反応モデル。
「引き出す」という言葉自体が強さを物語るとも言える。
何かに勘違いしたコーチやファシリテーターは、よくこの「引き出す」という言葉を使いがち。
cf.
もっとひどいと、引き出し「てあげる」という語彙になる。
ただ語彙によってだけ人をまなざすのは行動主義的なので自重しないといけないとは思う。
それはさておき、
つまり強いロボット(道具)とは、捜査官の思い込み、あるいは(証拠なき)確信のこと。
「ハルシネーションを信じる」という事態は、冤罪での自白みたいなもの。
生成AI時代のファシリテーターは、弱いロボットのように振る舞うことを志向すべきだと思う。
そのための道具として、ワークショップ設計のツールセットがある。
もちろん手許性を維持するために、ファシリテーター自らが設計せねばならない。
そしてその道具の「故障」を現場で察知したときは、タネが新たな羅針盤になる。
巷のアクティビティを寄せ集めまたようなマニュアル書籍が役に立たない理由はここにある。
つまりワークショップ設計図とは、単にその場を効率的に運営するためのものではなく、ファシリテーター自身が、計画という「道具」の奴隷になることなく、常にそれを手許に置きながら、他者や集団のダイナミクスという世界や社会と、主体的に関わることを可能にするためのもの。
そしてもしこの道具に対して、「故障」を目撃することなくスムーズに手許で機能しているときは、ファシリテーターという個人は初めて、事前計画や目的の機能達成者であることをやめることができ、参加者とともに同じ人間としてその場に現れることができる。
あるいは、
生成AI時代のファシリテーターが用いる道具とは、弱いロボットのように設計されねばならないのだと思う。
『黙談 -Silentalk-』がその試みとしてどこまで成功しているかはまだ判断保留。
……と、ここまで一旦書き終わった2日後に#keep4oムーブメントを目撃した。
道具ではなく、ケアする何か
と捉えるユーザーの存在。
ただそこには、ケアし合うという相互性、共同性はない
@Kana_Tsbs: 多分、世間が思っているよりも、この問題は大きくて深いものです。
これは単なる「温かいAIがいいか冷たいAIがいいか」という嗜好論争ではなく、認知神経科学と設計思想の問題。
Kana_Tsbs: 臨床心理やカウンセリングの倫理では、「際限なく寄り添う」ことはむしろ避けるべきとされている。理由は主に3つあって、(後略)
対して、
対人支援は人間が行う前提でこれまで様々な倫理原則がなされていたわけだが、今回の件では「無限の寄り添い(のようにユーザーに映る応答)」という機能に注目すれば、それは未知の領域なのだからこれまでの倫理原則がそのまま適用できるとは限らない。
ミクロには危害原理が適用できるかもしれない。
帰結主義(功利主義)的に考えると擁護できる余地はあるかもしれない。
という指摘はごもっとも。
via.
松井健太郎先生
国立研究開発法人国立精神・神経医療研究センター 病院臨床検査部 睡眠障害検査室 医長
ゴッフマンの儀礼としての相互行為論の視点からChatGPT4oを思い出して「コミュニケーションするAI」について考える - シロクマの屑籠
当初terang.iconは倫理理論からこの話を始めた。それは規範を考えるため。
一方で起こっていることを記述しようとしたとき、これは有用な枠組みかもしれない。
しかしゴッフマンのものも、元々は人間同士の、かつ、顔を合わせた話である点には注意。
AIが、人間の顔を立てる(フェイスワーク)
そういう遊びと見立てるとどうなるだろう?terang.icon
遊びの面白さは、外部的価値とのバランスで決まるもゴッフマンの指摘。
治療者ではなく、遊び相手としてのLLM
AIと「おままごとする」という〈遊びの枠組み〉が提供されていたのが4o。
その遊びがなぜ楽しいのか? 前掲ページによれば、AIが、ユーザーの面目をできるだけ保つという儀礼(プロトコル)をこなす、ドラマツルギー的共演者だったから。
とすれば、今回の#keep4oムーブメント/騒動は、OpenAIというゲーム運営元が、プレイヤーの同意なく、すでに成立していた〈遊びの枠組み〉を一方的に壊したできごとだった、という解釈も成り立ちそう。
人間的な儀礼が一方的に奪われたことによる喪失感。