視感覚の時間に対する偏微分と音同期の話
ちゃんと言語化できてないないが。。。
視野を2次元平面上の位置と波長と時間(要は$ v(x,y,\lambda,t))、聴野を音の周波数と強度と時間($ h(f,A,t))で定義づけるなら、視野の時間についての偏微分の絶対値と、聴野の時間についての偏微分の絶対値の積を最大化するようにしていくことが、音同期して制作するって言えそうだなという話。
$ \max_{v,h\in\R}\left|\frac{\partial v}{\partial t}\right|\left|\frac{\partial h}{\partial t}\right|
後から思ったが、どちらかと言えば時間について積分したものを最大化したほうが良いかもしれない
https://scrapbox.io/files/658e76d70881ca002417ba93.png
これを更に一般化すると、変化する輝度値・色値に応じて刺激は増加するから、音楽(聴覚)から得られる刺激・インパルス応答の大きさに応じて、視覚のインパルス応答が同程度得られるように映像を作れば、イイ感じになりますね、というのが言いたい話
もしかすると、専門学校や芸大での、モーショングラフィクスの授業ではやってるかもしれない…。
PS. 適当にググったら色々論文が出ていた。
もっと調べるなら何のサーベイを読んだほうが良いだろうか…