自動勉強会 Vol.10
面白いオーディオへの反応のさせかた（オーディオリアクティブ） ftd.iconbaku89.iconAodaruma.iconKitsunebi.icon
音量
パンニング
周波数解析
メルスペクトログラム(スペクトラム)のヒートマップの観察 Aodaruma.icon
メルスペクトログラムとは
あるスペクトラムを、人間の聴覚に合わせて変換したスペクトラム（周波数帯）
ある音源のどの周波数において、人間がどの程度強く感じるかを表す→メル周波数
なお、メル係数はフーリエ変換した時の正弦波の係数部分らしいです。
メルスペクトログラムのヒートマップを見てると、この画像からCNNで音同期・映像生成ができるのではと思ったhttps://scrapbox.io/files/61fe15da2745de001fdc8542.pnghttps://scrapbox.io/files/61fe16181cd3bb001dd81ebc.png
左: メルスペクトログラムの画像 右: スペクトラムの画像 (縦軸が周波数、横軸が時間、色の明るさ/赤さが強さです)
→目標は違いますがアプローチが同じようなものがありました
映像とは関係ないですが、この画像から更に音を再現しても面白そう
JPEG劣化反復グリッチのような、関数・反復的な使い方 Ptyhonのlibrosaというライブラリが便利らしい
メルスペクトログラムへの変換などが一瞬でできる
イメージ図https://scrapbox.io/files/61fe5a5479ec5e002200b829.png
リアルタイムとプリレンダーでのオーディオビジュアライズのアプローチの違い
リアルタイムではいつ入力があるかわからないため、予備動作がない。そのためいわゆるiTunesのビジュアライザ的な見せ方になりがち
音の種類（キック、スネアetc）
MIDI信号
手打ち
とてもうろ覚えなのですが、ライゾマ展にいったとき、何かのMVでひとつの音声ファイルから楽器ごと？にトラックに分けてくれるアプリを使ったみたいなことが書いてあったような。そういうオーディオリアクティブに使えそうなアプリがあれば知りたいkitasenjudesign.icon
最近の手法だと、トラックからパートごとにMIDIをはいてくれるMT3がありました.自分で試した感じだとパート（楽器）の数が多くなるとまだ厳しい感じでした 動作例:okuyama.icon Deep neural synthesizer(名前うろ覚えですが、確かStyleganのパラメーターをオーディオリアクティブにしたみたいなものがあったはずです)
コードとベースでそれぞれ違うパラメーターをいじる、という手法もあるみたいです
作品例
iwai toshio _ Music Plays Images X Images Play Music
https://scrapbox.io/files/61fe6263355ce7001dcdf91f.png