正しい知識は権威から与えられると思い込んでる人々

knshtyk 画像生成AIを瞬間的にワッとみんなが触った時期もそうだったけど、テキストAIに対して勝手に作り出した自分ルールによるPrompting(or Prompt Engneering)のメソッドや記法(正規入力よりも効果が低く難解)を広めようとしてる人が毎回いるけど、生成AIを取り巻く典型的な風物詩みたいなものなんですかね

LLMとのコミュニケーション方法を模索することは有益な試行とは思うけど「妙に難解に見える」「すごいことやってそう感」みたいな部分を誇示して自分のポジショニングに利用しようとしている人が沢山いて、全体としては無根拠なノイズが増し本当に有益な情報が隠れてしまうので勘弁してもらいたい感

nishio 生成AIに限った話ではなく、新しいものが現れてまだ権威となる教科書がない状態で「正しい知識は権威から与えられると思い込んでる人々」と「正しくなくても良いから知識っぽいものを自信満々で与えることで権威になろうとする人」がフィードバックループを発生させる現象だと思う

「正しい知識は権威から与えられると思い込んでる人々」は知識を与えてくれる人を待ち望んでいて、しかも「与えられた知識が正しいかどうか自分で検証しよう」と考えないので、需要と供給がマッチしちゃうんだよね。

-----

...とScrapboxに書いたらこれがサジェストされた: 二種類のスピリチュアル

カルト宗教を「教祖が作った」と考えるのは一面的で、教祖と信者の組み合わさったシステムが成立し、そのシステムが信者を増やす能力を持っていた時に「だんだん信者が増えて大きくなる」という現象と捉えることができる。AIに無意味に複雑なプロンプトを入れるのはカーゴカルトの儀式と同じ。

ファインマンは、カーゴ・カルトの信者は外見上は正しく空港やヘッドセット、竹の「アンテナ」を作るが、飛行機は来ないと指摘した。ファインマンは、科学者もしばしばその愚に陥るが、そのような科学の形だけを真似ただけ…尊敬にも支援にも値しないものだと主張した。 --- カーゴ・カルト - Wikipedia

-----

「ChatGPT 様が言ったから正しい」っていう人が大量に出てくるまで、あと数年くらいだと思う。

okapies 同様に「ChatGPT 様が言ったから正しい」っていう人が大量に出てくるまで、あと数年くらいだと思う。

okapies GPT の重みがリークするとか、モデルのダウンサイジングに成功して「LLMの民主化」ってことになったら、自分の都合の良いように調教してオンライン教祖を作るやつが出てきそう。んで、「お告げ」の対価として渡すお布施は暗号通貨かな…。

okapies メタバース祭殿に参拝すると教祖AI のお告げ（カウンセリング）が受けられて、参拝者は教祖様のありがたいグッズを暗号通貨で購入、って仕組みを作れば、Web3 とメタバースと ChatGPT が全部繋がるな（嫌すぎる。

SF設定: 割と現実的

nishio 今でも「教科書に書いてあったから正しい」っていう人が大量にいるしな。

nishio WikibooksにLLMが生成した説明が置かれて、「教科書と違う！」と言って教科書に合わせて修正し、結果として教科書の内容がLLMに学習できるフォーマットに変換されて、次のLLMは教科書通りのことを言うようになる。すでに教科書があって主に文字で記述されてる分野に関しては数年でそうなるだろう。