高次元ほど最急降下法で局所最小値に取り残される可能性が少なくなる

言い換えると、直観には反するものの、ニューラルネットでは単純な問題より複雑な問題のほうが容易に解けるということだ。その理由を大ざっぱに言うと、「重み変数」が大量にあると、高次元の空間に「多方向の道」ができ、それが最小値へとつながることがある。それに対して、変数が少なくなると、単純に局所最小値、つまり「山間の湖」にはまりこんでしまい、そこから「抜け出す道」がなくなるのである。

『ChatGPTの頭の中 - Steven Wolfram』 p.54

確かに。山のある位置にある水塊をせき止めるには、1次元の場合は両端の2点に堰をつくればいい。2次元なら、丸く取り囲むように堤体を築く必要がある。3次元なら球状…と、次元が増えるほど、水が漏れ出さないように封をしなくてはいけない超表面(?)も増えていく。

そこで思うのが、僕らが知覚しチューニングの対象して意識することのできる潜在空間に十分な次元数があれば、実は近視眼的な局所最適化の連続でも局所最小値という蛸壺にハマる危険は少ないのではないか。だからこそ市場原理はある程度有効。