探索空間と潜在空間
機械学習に限らず、僕らの制作や思索における「探索空間」と「潜在空間」の解釈を考えてみる。
探索空間（Search Space）: 意識する対象が本来持つあらゆるパラメーターが張る空間。すべての可能性を内包する。個々のパラメーターは物理的、定量的な性質に根ざしており、それを直接操作することはあまり現実的ではない
画像編集でいうところの、個々のピクセルを一つひとつ色指定するようなもの
潜在空間: 探索空間を畳み込むことで抽出した、そのモデルを評価する主体（多くの場合人）にとって意味のあるパラメーターが張る、よりコンパクトな空間
「写真現像」のインターフェース
実際は、僕らは探索空間全体を意識することはなくて、それらをよりコンパクトに畳み込んだ潜在空間を操作の対象としている。それは得てして、2次元だったり3次元だったり、ものすごく低次元だったりもする。
印度カリー子さんの「3種類のスパイスだけでつくるグレイビー」は、クミンパウダー、ターメリック、コリアンダーの比率を変えるという点で、自由度が2。それはカレーの風味が取りうる、味蕾と嗅覚の受容体の種類だけの次元数を持つあらゆる可能性空間に比べると、ものすごくコンパクト。 写真もそう。画像が取りうるあらゆる可能性に対して、(Aperture, ISO, ShutterSpeed, Focus Distance, White Point: 2次元, 地球上におけるカメラの時空間上の姿勢行列: 8次元, カメラの姿勢変化の速度ベクトル: 7次元)という、せいぜい22次元ほどの潜在空間に押し込めている。
仮に写真をMNIST databaseのように、28px四方のグレースケール画像の集合として捉えた時でも、その探索空間は784次元ある。それを20分の1未満のコンパクトな空間に押し込めたのが「写真」というパラメーター弄り遊び。 パラメーターがある程度絞られていたり、選択肢が離散化されているものには、趣味的な楽しさが宿る。パーツが限られているからこそアーマード・コアは楽しいし、ファッションやキャンプギアを揃えるのだって「商品」として離散化されているからこそ、その有限の組み合わせを試すのが楽しい。