これからのAIと「評価」、そして「価値」
このページは、AIや機械学習に対する近藤の個人的な所感を述べたものです。
ひとつの考え方、捉え方として、今後のAI時代を考えるためのヒントになれば幸いです。
評価にもとづいて作られる機械
機械による学習は「評価」により駆動する
評価の設計がほぼすべてといってもよいほど
評価によって「評価される方向へ自ずと動く」というしくみ
（人間も同じ・・・？）
https://gyazo.com/78ca41928cea05b8549e32eac68c2251
「ある価値観」を反映した機械
モデルに対する評価は何らかの「ある価値観」に基づいている（はず）
それに従って作られたAIは、評価の背後にある「その価値観」に基づいて、「答え（にみえるもの）]」を出力する
その出力は、鵜呑みにしてよいものなのか？
我々にとって本当に「良い」ものなのか？
すでに、AIの出したものを無条件に受け入れていることは多い
（そもそも人間の答えも鵜呑みにしてよいものなのか……？）
（参考）超知能の価値に「人間の生存」は…？
Why Superhuman AI Would Kill Us All - Eliezer Yudkowsky
超知能の目的関数に「人間を生かしておく」という項目が存在しないならば、AIが資源を最適化する過程で地球を焼き尽くすのは物理的な帰結にすぎない。問題は悪意ではなく、価値の不在だ。技術が意思を持たぬまま進化すれば、僕たちは単なる副作用として消滅するだろう。
AIにとっての「価値」
AIの学習における評価は人間が設計するしかないのか？
人間は、人間が持つ「価値」に基づいて評価する
「価値（よい、わるいの判断の源泉）」って何なのか？
人間にとっての「価値」というのは、なんらかの意味での「快・不快」の反映であるので、突き詰めると死を前提としたものなのかもしれない？
AIは「価値」を持ちうるか
もしAIに（AIにとっての）「不快」や「死に対する忌避」のような評価関数が設計されれば、AIのなかに「価値」に相当する概念は生じる？
ひいては、評価の設計如何で、AIに「意識」や「感情」なども生まれうる？
評価関数の与え方で感情が生起する？
ヤン・ルカン「ディープラーニング 学習する機械」P.361より（強調は近藤による）
「自律知能機械がいずれ感情をもつようになるのは間違いない。第9章では、目的関数の最小化によってシステムの挙動を制御するアーキテクチャを提案した。この目的関数は、機械の「瞬間的な不満」度を測定するコストを算出する。高コストを生み出す行動を機械が修正するのは、痛みや不快感を避けるのと同じことではないだろうか？
ロボットのバッテリー残量を測定する目的関数の成分が高コストを生成すると、ロボットはコンセントを探し始める。これは空腹感に似ていないだろうか？
（中略）
ロボットが世界モデルによって倒れて傷つくことを予測したとき、識別器は目的関数が計算する「痛み」を予想し、ロボットは不愉快な結果を避けるように軌道を計画しようとする。これは恐怖感に似ていないだろうか？」
「自ら湧き出るもの」も学習される？
最近（2025年）実装された某チャットアプリのAI機能
「ああ～」「（笑）」「！」など、感情の発露に近い表現が「学習」され、「推薦」される
それを人間が「選ぶ」ことで「ラクをする」？
本来人間が「自己のなかで」表出するものすら、AIによって駆動されてしまう？ もうそうなっている？
「楽しい」「悲しい」などの感情の「表現」が学習され、それを見て人間が「後追い」で感情を整理してしまう？
（……って、これって実はいまに始まった話ではないのかも？？）
自己表出と指示表出
自己表出と指示表出
吉本隆明は言語を「自己表出」と「指示表出」に分けた
自分のための、自己の中で発する言葉：自己表出
外とのコミュニケーションのための言葉：指示表出
言語の「幹と根」は「沈黙」である
この幹に近いところに、自分の中で渦巻く「やむにやまれぬことば」として自己表出がある
コミュニケーションのための指示表出は枝葉にすぎない
芸術の価値は自己表出の発露にある
（参考）「芸術言語論 ―沈黙から芸術まで」吉本隆明の183講演より
言語も、絵や音楽などの表現も、生成AIは学習していく
あくまでも「表現されたもの」から学習したモデルによる生成
AI自身の自己表出といえる日は来るのか？
これからの時代に学ぶ意味
シンギュラリティ？
AIが人間の知能を超える日は来る？
人間の（ある種の）知能は「めずらしく」なくなり、 知能の高さに対する価値がこれまでと根本的に大転換する？
これからの時代に人間が学ぶ意味とは？
AIに任せて脳を使わないと、脳は育たないということ
「とりあえずAIに訊く」前に、まずは自分で考えてみる
「世に数多のピアニストはいても、練習してピアノが弾けるようになることは嬉しい」ということ
個別の人間、一人ひとりの歴史があることが重要になる
データになりえない人間の記憶（自己表出の生成機を含む）
こうした「個別性」にもとづく「価値」は唯一無二のもの
いろいろなものを体験し、「自分の心で楽しんだり悲しんだりする」ことがこれからますます「大切」になるのだと思います
（参考）認知的負債
Your Brain on ChatGPT: Accumulation of Cognitive Debt when Using an AI Assistant for Essay Writing Task
Nataliya Kosmyna, Eugene Hauptmann, Ye Tong Yuan, Jessica Situ, Xian-Hao Liao, Ashly Vivian Beresnitzky, Iris Braunstein, Pattie Maes
生成AIでエッセイを書くと脳の活動が低下する（らしい）
タスクの速度が上がる代償として、脳機能低下という認知的負債（cognitive debt）が生まれる
参考：片山良平, ChatGPTで「考える力」が3割止まる — MITが実証した【脳の沈黙】
まとめ
AIの中身は「関数」であり、データをもとに「計算」によって「良い関数」を作っている、ということ
「良い」の評価は人間が設計し、評価によってAIは自動的に「良い」方向に向かう、ということ
評価は「価値」に基づく、ということ
これから人間はどうなる？
「価値」というものに対して自覚的であることが重要ではないか
自分だけの「感じる・思う」を大切にしていくことが大切