Norm-establishing and norm-following in autonomous agency｜Artificial Life（2013）

物質世界に存在しない規範的次元(normative dimension)がどのように現れるのか？

Naa_tsure.icon良い/悪いという概念は何かしらの評価者なしには存在しえない

強化学習(Reinforcement Learning; RL)では設計者が報酬関数としてエージェントに与えているが、自然界ではこれが自然に現れてくるはず

規範は外部から与えられたルールではなく、システム自身の生存可能性との関係から内在的に立ち上がるもの

問題

1. 生存可能性空間(viability space) のトポロジーの定義

完全な失敗ではなく、回復可能な失敗を含むような段階性をどう扱うか

2. 規範を成立させるプロセス(norm-establishing)と、規範に従う行動を生み出すプロセス(norm-following)をどのように関係づけるか

規範的場(normative field)

システムを再び生存可能領域へ戻すために必要な環境条件の変化

生物の振る舞いは行為(action)だが、無生物の世界は基本的には出来事(events)のみ

これらの違いは規範性(normativity)があるか？

良い/悪いが存在するか？という点にある

Naa_tsure.iconタイプミスは失敗だが、惑星が軌道を外れても失敗ではない

前者は行為で、後者はイベント

ここでのエージェント(Agent)は

自律性(autonomy)を持つ組織であり、自らの生存可能性条件によって確立される規範(norms)に従って、環境とのカップリングを適応的に調整できるもの

この論文では規範性(normativity)を評価するために、生物の行動(Behavior)に注目する

ある動物の行動をモデル化したとき、結果がある方向に進んだとして、なぜそれを失敗と言えるのか

Naa_tsure.icon動物の行動実験では実験者が成功と失敗を外から定義する

一定時間内にコウモリがコオロギを捕まえられたら成功

コオロギに逃げられてしまったら失敗

一方で、そのコウモリのお腹が空いていなかったり、コオロギを美味しいと思っていなかったら、そのコウモリ視点では失敗ではない

今回はそのエージェントにとっての失敗を内側から評価したい

organism-centered

norm-establishingモデル

A = autocatalysts 自己触媒

代謝ネットワークを構成し、自分自身の生成に関わる成分

F = food / resources 資源・食物化学物質

代謝が作動し続けるために必要な物質的・エネルギー的資源

Naa_tsure.iconAやFは実際の単一分子ではなく、多数の成分全体をまとめた抽象変数

この A-F ダイナミクスから、どの環境資源条件なら代謝が自己維持できるか？

Aのダイナミクスを微分方程式で表すと、

code: tex

\dot{A} = -k_bA^3 + k_fFA^2 - k_dA

Naa_tsure.iconそれぞれの解釈は

一項目：Aは３つ集まるとAが１つ減る

code:tex

3A \rightarrow 2A + F

二項目：A２つとF１つでAが１つ増える

code:tex

2A + F\rightarrow 3A

三項目：Aは勝手に分解する

code:tex

A \rightarrow \varnothing\\

固定点(fixed point)を考える

code:tex

\dot{A} = A\left(-k_bA^2 + k_fFA - k_d\right)

Naa_tsure.iconAが0の固定点はエージェントが死んでいる状態

二次方程式を解けばさらに２つの固定点が出てくる

F=1.4でシミュレーションしてみると、以下のような固定点が見られる

https://scrapbox.io/files/6a3cc5df2ba3627f4ecfeebd.png

不安定固定点の1.76を下回るとAは0の安定な固定点へと引っ張られる

Naa_tsure.iconつまり死んでしまう

逆に1.76を超えると安定な固定点7.57へと引っ張られる

Aの値をキープできるので生き続けることができる

資源の値を変化させて、この固定点がどう変化するのかを調べる

https://scrapbox.io/files/6a3cc6ce2ba3627f4ecff1a3.png

Fが1.095を超えると不/安定な固定点がペアで現れる

ある程度の資源がないと、Aの初期値に関わらず安定して存在できない

Naa_tsure.iconしかし、動物は行動することによって資源の量に介入できる

これを元に生存可能性空間(viability space) について考えることができる

https://scrapbox.io/files/6a3cc9eb2ba3627f4ecffda6.png

生存領域(living region)は以下の３つに分けられる

生存可能領域(viable region)では行動しなくても存在していられる

危うい領域(precarious region)では行動すれば回復できる可能性がある

終端領域(terminal region)では行動しても死に至る

資源の分布

code:tex

F(x,y) = \exp(-(x^2 + y^2))

エージェントの行動

大腸菌(Escherichia coli) の化学走性(Chemotaxis)を真似

モデル１（確率的モデル）

Run

角度(α)を一定に保ったまま進む

code:tex

\frac{dx}{dt} = \cos(\alpha) \\

\frac{dy}{dt} = \sin(\alpha) \\

\frac{d\alpha}{dt} = 0

Tumble

ランダムな方向へ回転する

code:tex

\alpha \sim \mathrm{Uniform}(0, 2\pi)

tumble の直後には、短い cool down がある

RunかTumbleかの判定基準

code: tex

\rho := F_t - F_{t-0.01} + e \\

e \sim \mathcal{N}(0, 0.01^2)

$ \rho \geq 0ならRunで$ \rho < 0ならTumble

つまり資源が増えてたらそのまま、減ってたら回転する

Naa_tsure.icon生存条件は自らを保つという条件から導いたのに、行動は完全に外的に指定していて、まったく創発していないところは少し気になる

評価の仕方を考えたよ！という主張な気がするので間違ってはない　

モデル２

direct gradient climbing

常に資源濃度が高い方向へまっすぐ進む

code:tex

\frac{dx}{dt} = -k_m x \\

時間とともに資源ピークである原点へ向かって移動する。

これによってprecarious regionにいても助かるエージェントがでてくる

行動は代謝システムの生存可能性を拡張している

Naa_tsure.iconまあそりゃそうだろという結果

Naa_tsure.icon本当は移動コストもあるはず

normative fieldに対して、

行動の方向が合っていれば成功

行動の方向が間違っていたら失敗

そして、移動速度などでその程度を評価することができる

システムの組織は規範性(normativity)の源泉である

しかし規範性(normativity)自体が因果的効果をもつと言うのは意味がない

規範は力ではなく、評価構造

規範とは、現在の組織から見た可能な未来の地図

Naa_tsure.iconこれはおそらく集合変数だからって話でいいのかな

温度は水の振る舞いを因果的に操作していないという話？

Naa_tsure.icon規範性(normativity)がミクロな構造から現れるマクロな変数であることを認めれば、マクロな世界で因果的な影響を及ぼしてもおかしないはず