相対化する知性
https://scrapbox.io/files/6556e4051308aa001b0f422c.jpeg
https://scrapbox.io/files/6556e41392b23f001c4319ab.jpeg
深い階層を持った関数を学習することで、中間階層に有効な表現、あるいは特徴量が得られる
世界や知識に対する仮定
ディープラーニング
深い関数を使った最小二乗法
深い階層
非線形の近似
散布図にうまくのる。
2条和誤差の最小化
2.3階層と構成性
画像の視覚認知
パーツという認識
脳
因果関係の時間発展
言語
なぜ階層?の仮説
複数の構造を用いて新たな構造が生まれる「構成性」
ある構造が別の所で使われる「再利用性」
再利用される状況になると接続点インターフェースが揃う
再帰しやすい構造が再帰して階層性を生み出す
CNN
畳み込みニューラルネットワーク
に相当するユニットだけからコネク ションを張り、それ以外は張らないようにする。これによって、 パラメータの数を減らせる
処理するものが変わらない場合、
画像のどこの部分に相当するユニットでも、その下の層の近傍のユニットとの関係は同じはず
処理を変える必要はない。
各層のすべてのユニットに対して同じ重みを使用
重みの共有
パラメータの数をさら に大幅に減らすことができる。
この処理は、画像中の矩形の領域 に、特定の関数を重ね合わせることに相当するため「畳み込み (convolution)」という。
RNN
再帰的ニューラルネットワーク
マルコフ過程を用いて再帰的に処理することで深い階層を実現
従来、深い階層をもつニューラルネットワークは、多数の局所最適解があり、大域的な最適解を見 つけるのが難しいと思われてきた。
最近ではそうでない
多くの場合、 局所最適解は大域的最適解と同程度に良い
局所最適解は多く存在する
最適化は行いやすいはずだ
https://scrapbox.io/files/6556ec1a650c0c001cc3866c.jpeg
うまくいかない場合は何が問題
ある方向で見ると極大となるが、別の方向で見ると極小になるような「鞍点」あんてんにトラップされる。
あるいは、「プラトー (高原の意)」が 多いこと
うまく避けるように勾配を 取ると、大規模なネットワークでもうまく 学習できることになる。
深いネットワークは浅いネットワークよりもモデルの容量 が大きい。浅いネットワークで表現できる関数は深いネットワークでも表現できる。
学習データに対して深いネットワークで学習した結果が、浅いネットワークで学習した結果よりも悪く なるということが現実には頻繁に起こる。
深いネットワークはパラメータの数が多すぎて、与えられたデータでは安定しない。悪影響をもたらす
これまでは与えら れた学習データに応じて、深さをうまく調節する必要があった。
これを解決するためのしくみ
中間層をスキップする。
2、3層おきに何もしない層を設ける
1入力から出力をつなぐネットワークのアーキテクチャを構成する。CNNやRNN、スキッ プコネクションやアテンションなどを組み合わせる。
2 最小化すべき損失関数を定める。
3 4 結果を評価し、満足 ネットワークのアーキテクチャを修正する、あるいは、データを増やすなどを行う。
学習する。すなわち、教師データに対し、損失関数が最小になる
ようなパラメータを求める。 する精度であれば終了。そうでなければ、ハイパーパラメータを調整し たり、 1に戻る。
アルゴリズム化ではなくデータを集めて突っ込む
世界をいかにモデル化するか。
マルチモーダルな学習
インタラクションによるデータの多様体の学習とモデル化
記号系
動物OS 身体
言語アプリ 記号系
言葉の意味がわかる。
言葉が、身体性から擬似体験を生成すること。
Miyabi.iconコミュニケーションの観点一切ないな。
身体性 言語→身体性経験の生成系
コミュニケーションによる記号創発
Miyabi.icon画像生成を自己強化学習として組み込むか。
フレームや記号設置問題に対して
そもそも、記号解釈系を主役にした時の見え方の問題
実際に我々が意味としているのは知覚や身体性の側
記号系が知覚系から独立し出した
Miyabi.icon反実仮想を始める、ある程度の密度になったので系として独立して 象徴化
クオリア
人間の特徴
物語を好む
記号の予測を好む
音楽
パターン
発話入力と予測
記号系RNNが知覚運動系RNNから独立したということは、技術的には次のように考えることが できる。意識プライアは、環境からの入力に対して他者の言語を教師データとすることで概念化が促 進されるというものであった。ところが、虚構を信じるということは、環境からの入力ではなく、言 語を入力とし、それが知覚運動系RNNを駆動し、環境からの入力と似た擬似的な体験を作り出す。 つまり、他者の話を聞いて、それを脳の中に再現し、そして他者の次の言葉を予測する。言葉から状
況、状況から言葉という変換が、自己教師あり学習として学習の高速化に寄与することになる。 つまり、人間の知能においては、 記号の入力に対して、記号系RNNが知覚運動系RNNを駆動し、 記号の出力を予測する学習(他者の発話を予測する学習問題)と、環境におけるセンサ・アクチュエー の
タ 入力に対し、知覚運動系RNNが記号系RNNを駆動し、次に何を知覚するかを予測する学習 (知覚を予測する学習問題)の2系統の学習が相互に入れ子になり動いているということではないか。 そして、もともと知覚運動系RNNに従属し ていたはずの記号系RNNが、逆に知覚運動系RNNを 駆動できるように変化したというのが、人間の進化の過程で起こったことの機械学習的な解釈ではな
いだろうか。言い方を変えると、他者の発話予測と、近い未来の知覚予測という2系統の学習問題を 人間は解いている。動物が解いているのは後者だけである。学習問題が多ければ多いほど、(問題の背 後に同じ潜在構造がある限り) 学習
は加速される。つまり、他者の発話を聞いて、その内容を理解し、 次に何を言うかを当てにいっているのは人間だけであり、それが人間の知能を加速させているのではないか。
社会的蒸留
Miyabi.icon大体集合的予測符号化みたいな話
概念の精細化
ある興味を持った集団が存在すると、そこには自ずとその興味を細かい概念で文節する集団が発生する。
Miyabi.iconオタクなるもの
顧客の消費
概念の先鋭化と推移
オーソリティハブスコア モデル
顧客の購買行動の時系列モデル化
徐々に概念は先鋭化し、場合によっては成熟を好む
Miyabi.icon学習もそうだな
消費の記号化→言語への接近が、概念の先鋭化に寄与している。
認知構造の変化→技術革新か
技術革新→認知構造の変化か。
ハラリは前者の立場
認知構造の変化を示すことの困難性
認知構造は、すでにある物理的環境に反映されている。
認知構造は、欲望や志向という目的関数を規定している。
それ以外のことを追求することを想像しづらい。
認知構造は、主観的でも客観的でもない。
共同主観的なもの。
共同主観性を相対化するのは難しい。
認知構造はどう変わろうとしているのか?
ファインマンなど、
ヒッグス粒子
不恰好
パッチワーク的で統一的説明がない。
量子力学
確率分布の描写という物理学
反実在論的
アンダーソン
more is diffrent
振る舞いと関係の創発
通常の自然主義の立場は、不変の自然法則にしたがって展開する唯一の自然的な(つまり非精神的 な)世界のみが存在し、それを明らかにできるのは唯一それを客観的に観察することだけである、と いうものである。これに対してストーリーのある自然主義は、世界について語る語り口は沢山あり、 その語り口どうしは整合的でなくてはならないが、そのときどきの目的次第で最善の語り口が決定さ れる、という立場
エマージェンス
立ち現れ
強い還元主義
マクロの秩序はマクロの秩序に従う
ラプラスの悪魔的
強い立ち現れの立場
マクロ的な秩序自体がミクロの構造を支配することになるので、マクロ的秩序を理解することが、それを構成するミクロの構造理解に不可欠である、という立場。
そういう意味では、この立場は、マクロ現象の解明に知の極限をおいているといえるかもしれない。
ストーリーの自然は中間
標準モデルは正しそうだ。
語り口の立場
モア、とは何を指すか?
ボルツマンのエントロピー増大
秩序の増大
複雑性高
情報量高
のたちば
非平衡定常状態
なお、カルロ・ロベッリは、エントロピー増大則(があり、時間が存在するように感じるの)は、我々 のように地球という宇宙のなかでは局所的なサブシステムに存在するものが宇宙と関わるときの特定 の関わり方に起因しているのであって、宇宙一般の原理として語るのはおかしいと主張している Ro- velli, 2018。 この立場に立てば、単に「宇宙中間期」と表現するのは誤りであり、「我々から見た場合 の宇宙の中間期」というべきなのだろうか。 ヒダルゴは(そしてキャロルも)情報量が多いという場合の定義を厳密には与えていない。しかし、
情報量が多い、の定義とは?
この秩序は互いに対応していたない。こうした刺激を神経系の分類ネットワークの形成によって処理する
神経秩序と現象的秩序
外界からの刺激の受容、神経 系統の新結合、分類が繰り返される結果、同型 (isomorphous) になるとする。
分類を特徴量
再帰的かつ複合的な分類をディープラーニングとよべそう
「同型」とは、トポロジー的に同等のものであるという意味
神経系統の空間的配列と現象的秩序に現れる空間的配列とは無関係であるとする
物理的秩序と神経秩序との関係について
神経秩序は物理的秩序の一部
物理的秩序と神経秩序(それと同型の現象的秩序)で働く力は同じであるとも述べる。他方、物 理的秩序と神経秩序は同型ではない、とする。
神経秩序は世界の局所的位置から環境を把握・予測するためのものであって、そこに映し出されるものはあくまでも物理的秩序全体のうちの部分に過ぎない
物理的秩序と現象的秩序との関係は、上記と同様の 理由から同型にはなりえない
相似 (similar) になるという微妙な表現を用いる。
ハイエクの理論的立場
作用している力は物理的秩序で作用している力と同じ
一元論的
現象秩序は物理秩序の近似でしかない
二元論的
この知覚と経験には類軸が先行すると考える。
強い経験論を否定
知るとはパターン認識と考えている。
物自体は認識できないと共通
アリストテレスの受容を契機
中世ヨーロッパではアリストテレス哲学は唯名論的に受け入れられた
しかし、神にコミットできなくなる!
↓
実在論。
神学を哲学論理によって基礎付ける。
↓
オッカムヘ。
最後に登場するのが、ウィリアム・オッカム (1280?1347)である。ただし、八木はスコ トゥスをもって中世哲学は幕を閉じ、オッカムは近代哲学の扉を開けたと考えるべきかもしれない、 とする。
オッカムは、知性の抽象作用、感覚器官の直観が同時にあると主張する。
抽象は感覚表象からの抽象であり、抽象が真実であるたにはそれに対応する感覚表象がなければならないということになる。
感覚的直観が成立して いるところにだけ実在についての抽象があることになる。
感覚認識は不確かなものとして軽蔑され、学問は知性的認識によってのみ成立するというアリストテレス以来の真理観、学問観の転換
逆に感覚経験をデータとして提示できる概念だけが学問を真に構成することができる概念であることとなる。
そうでない概念は余計なものとして切り捨てる(「オッカムの剃刀」) という発想
経験科学の成立
感覚器官の直観と知性の 抽象作用についての関係を議論した一つの集大成が、ハイエクの『感覚秩序』
強い同型論
ハイエクのモデル
物理秩序
神経秩序
現象秩序
意識
ここの知識が神経秩序においてそのたび分類、タグ付けされる。
強い同型性
思想史的に見れば、この内部と外部を分け、サプライズ・ショックをできる限り少なくするという図式と類似 の図式を 人間の知能の側に用いたのは、ジークムント・フロイトである。フロイトは、人間の精神活動を説明するにあたって、精神装置の活動は快感原則にしたがうとし、その場合、快の感覚は刺激の減少と、不快感 覚は刺激の増大と結びついているとする。そうした感覚が生まれるのは、精神装置から見れば、そのなかに存 在する興奮量をなるべく低下させ、恒常に保とうとする結果だとする。I'm
モアイズディファレント
再帰するマルコフブランケット
ネットワーク理論
秩序が形成されるパターンの一つとして、大数の法則がある。ランダムなミクロの事象が積み重な ればマクロでは一つのパターンを示すという統計的な事象である。いわば「無秩序から生まれる秩 序」だと言えるだろうシュレーディンガーは、生物が示す秩序の精密さは、大数の法則では説明で きないのものだ(もし大数の法則によるのであればもっと誤差が大きいはずだ)と主張する。換言す れば、生物のなかでは、統計的な法則性を示すとは思われないくらい少数の原子であっても秩序を形成
大数の法則によらない秩序の形成はどのようにして可能なのか。シュレーディンガー
量子論で説明
量子論にはエネルギーの不連続性がある。
たとえば分子の配列構造をパターンAからパターンBへと変化させようとする場合には、い
「たんいずれのパターンのエネルギー準位よりも高いエネルギー準位を経なければならないからだそのことがいわば「壁」のような役割を果たして、パターンAとパターンBが各々で安定する
量子飛躍によって持続性のある分子の配列に飛躍が生じる
思想史的に見れば、この内部と外部を分け、サプライズ・ショックをできる限り少なくするという図式と類似
の図式を人間の知能の側に用いたのは、ジークムント・フロイトである。フロイトは、人間の精神活動を説明
するにあたって、精神装置の活動は快感原則にしたがうとし、その場合、快の感覚は刺激の減少と、不快の感
覚は刺激の増大と結びついているとする。そうした感覚が生まれるのは、精神装置から見れば、そのなかに 存
在する興奮量をなるべく低下させ、恒常に保とうとする結果だとする。
https://scrapbox.io/files/65602280e70037001beb5e11.jpeg