インタラクティブミュージックのこれまでとこれから
この記事はdclab Advent Calendar 2023の2023-12-04の記事です
インタラクティブミュージックのこれまでとこれから
https://gyazo.com/80535fd5f78de7d6781b6cc279e45c29
< はじめに >
こんにちは、小栗研究室B3の安藤魁星と申します。
私は、学外での活動としてゲーム制作を行っており、プランナーやデザイナー、サウンド担当としての経験を積んでいる最中です。
昨今のゲームは映画のような質感で楽しめるものが多く存在しており、近頃はただBGMを流すだけでなく、音楽の仕掛けを凝る作品も増えてきました。
今回はそういったゲーム音楽の技術である「インタラクティブミュージック」についての今までとこれからについて書き綴っていきたいと思います。
hr.icon
< インタラクティブミュージックとは >
インタラクティブミュージックは、状況に応じてシームレスに変化する音楽、またはそのプログラムである。
（ニコニコ大百科より引用）
個人的には、ゲームBGMのどこからがインタラクティブでどこからがそうでないかの線引きは割と曖昧だと思っています。
何しろ、ゲーム自体がインタラクティブなコンテンツですから、場面に応じたBGMをつけるだけでも他の映像系媒体と比較してインタラクティブな音楽だとは言えると思います。
しかし、よく言われるインタラクティブミュージックは大きく、「アレンジが変化するもの」と「展開が変化するもの」の２パターンに分類されます。
hr.icon
< アレンジが変化するもの >
楽曲におけるアレンジとは、演奏する楽器やコード、リズム、メロディー等に変化を加えることを言います。「ピアノアレンジ」という言葉を聴いたことがある方もいらっしゃるかと思います。あれは、原曲を元に楽器をピアノのみに限定してアレンジしたもの、ということです。
時折、リミックスという言葉がこのアレンジとほぼ同義であるような使われ方をされていることもあります。
- 実例 -
ゲーム音楽における、アレンジが変化するものとして有名なものを挙げてみます。
スーパーマリオワールド
https://youtu.be/4vh_tVPgtwk?si=Rfchm0x6zoO-nhGr&t=198
3:33あたりでマリオがヨッシーに乗るのですが、それまでのBGMと比較してポコポコと鳴る打楽器が追加されているのがわかるかと思います。これはまさに、「ヨッシーに乗るというゲーム上での状況変化に対してBGMがフィードバックしている」と言い表すことができるでしょう。
技術としては、
１.ベースとなる基本のBGMを流す
２.ヨッシーに乗ったタイミングで、それまで流れていたBGMと同じ再生位置から打楽器のパートを再生する
ということが行われています。
スーパーマリオオデッセイ
https://youtu.be/5ilj-gtSc8U?si=YgNx1ic-gSgUvhYw&t=1813
30:22あたりでマリオが2Dドカンに入るのですが、それまでのオーケストラ音楽とは一変して、ピコピコとした電子音楽に切り替わったのがわかるかと思います。これはまさに、「ドット絵での2Dアクションに変化するというゲーム上での状況変化に対してBGMがフィードバックしている」と言い表すことができるでしょう。
技術としては、
１.基本となるオーケストラ版のBGMを流す
２.2Dドカンに入ったタイミングで、それまで流れていたBGMと同じ再生位置から電子音楽版のBGMを再生する
３.違和感のないように音量のフェードイン・アウトを使用し、オーケストラ版と電子音楽版の音量を切り替える
というようなことが行われています。
- 特徴 -
アレンジを変化させる手法においてのメリット・デメリットについての考察です。
メリット：再生位置さえ同じにしてしまえば、音量バランスを切り替えるだけで成立するため、比較的安易
上記２つの例において説明したように、この手法は「同じ再生位置から再生する」ことにより成り立っているため、システムの構築が容易です。インタラクティブミュージックを導入したいのであればまずこの手法を取り入れてみるといいと思います。
デメリット：あくまでも同一のメロディや展開でしかできないため、雰囲気を大幅に変えることは難しい
ベースとなる楽曲は同一であるため、後述する「展開を変化させる手法」と比較すると、変化の幅は狭いです。
hr.icon
< 展開が変化するもの >
楽曲における展開とは、AメロやBメロなどのフレーズ構成のことを言います。
「展開を変化させる」というのは、例えば、「１番は　"Aメロ→Bメロ→サビ"　だったが、２番は　"Aメロ→サビ"　のようにBメロを飛ばしてサビにいく」というような場合に言われます。
ゲームBGMは基本ループさせるものですから、そのループが別のループに変わることがあれば、雰囲気をガラリと一新することができるでしょう。
- 実例 -
ゲーム音楽における、展開が変化するものとして有名なものを挙げてみます。
UNDERTALE
https://youtu.be/HQWzezTbi48?si=lQMoHtYwP36vWvmf&t=419
静かなピアノの伴奏から始まるこの BGM。ラスボス戦のためネタバレになってしまいますがご了承ください。
8:02あたりで攻撃の種類や激しさが変化する際にBGMがブワッと盛り上がるのですが、その展開に突入してからはその盛り上がった部分のみでループするようになります。静かなピアノ地帯には戻らなくなるわけです。
この場合、プレイヤーが関与して状況を変えているわけではないのでインタラクティブと呼ぶには少し微妙ですが、ループ後の展開にはプレイ時間が大きく関わるため挙げました。
「攻撃が激しくなりクライマックスへ向かうというゲーム上での状況変化にBGMがフィードバックしている」という。
ゲームBGMにおいては「イントロとループ部分に分かれている」という方が適切な表現ですが、こちらはゲームの状況側がBGMの展開に合わせているため、結果的にゲーム体験と結びつく形にはなっています。
技術としては、
１.前半のBGMを鳴らす
２.前半のBGMが終わるタイミングで、盛り上がる部分のBGMがピッタリ流れ始めるようにする
３.以降、切り替えた後のBGMでループさせる
というようなことが行われています。
星のカービィディスカバリー
https://youtu.be/bT--MviXYqw?si=_cda1p-0fT-HvqOe&t=521
https://youtu.be/bT--MviXYqw?si=n3sw99KsQZDIioDf&t=967
※上記二つは同一の動画ですが、再生位置が変わるようにリンクしました。
１つ目の動画では8:51あたり、２つ目の動画では16:47あたりで戦闘が終了しており、２つの動画において戦闘が終了した時、BGMの流れている場所が違うにもかかわらず、スムーズに曲が終わっているのがお分かりいただけるでしょうか。
これは、「戦闘の終了というゲーム上での状況変化に対してBGMがフィードバックしている」と言い表すことができるでしょう。
ゲームBGMにはたまにイントロが採用されており、先ほどのUNDERTALEでの例はイントロ有りのループBGMだということが出来ます。ループに関係なく最初に必ず流れる部分、ということです。
この例では逆に、ループに関係なく最後に必ず流れる部分、すなわち「アウトロ」が採用されています。
技術としては、
１.基本となるBGMを鳴らす
２.戦闘が終わったら、基本BGMのどの小節にいるのか計算し、アウトロを流すべきタイミングを導き出す
３.アウトロに切り替えるタイミングが来たら、基本BGMを切ってアウトロを鳴らす
というようなことが行われています。
もしくは、そもそも基本BGMを切っても大丈夫な小節ごとに小分けにして流しているかもしれません。
ゼルダの伝説 時のオカリナ
https://youtu.be/iSYPoNlj9w0?si=M_KZROmd6k6nwdD_&t=1208
おそらく、遷移が細かくなめらかすぎて、ゲームプレイ映像を流しただけでは解説が難しいため、解説動画を引っ張ってきました。
この作品における「ハイラル平原」のBGMは、通常時・静止時・戦闘時でBGMがなめらかに切り替わるという特徴があります。言わずもがな、「プレイヤーの状況変化に対しBGMがフィードバックしている」と言い切ることができるでしょう。
技術としては、
１.現在の状態に応じたBGMを、最初のパートから流す
２.状況が変化したら、現在流れているBGMを着ることができる場所まで再生する
３.所定の位置まで再生し終えたら、変化した後の状況に応じたBGMを、最初のパートから流す
というようなことが行われています。
前述の星のカービィディスカバリーの例においては、変化した後のBGMは全て同一でした。どのタイミングで戦闘が終了しても同じフレーズが流れてBGMが終わる、と。
しかし、こちらの例では変化後ですら曲が同一ではありません。ですから、どこからでも繋げられる曲作りをすることで、どこで切ってもスムーズに別の曲に繋げられるように工夫を行ったようです。
- 特徴 -
アレンジを変化させる手法においてのメリット・デメリットについての考察です。
メリット：雰囲気をガラッと変えられる
展開を変化させる、というのは「似たような別の曲に切り替える」という捉え方もできるほどに雰囲気をガラッと変えることが出来ます。クライマックスに向かっているような演出をしたい場合には非常に効果的と言えるでしょう。
デメリット：システムが複雑で、プログラマーもサウンドも手間がかかる
この手法での実例を記述する際、説明文が非常に長くなりました。すなわち、それほどシステムが複雑になるわけで、そのシステムを作成・使用するプログラマー、ないしはBGMを制作するサウンド担当にも負担がかかります。
この手法が周知されながら多用されないのはこれが理由だと思います。圧倒的に時間とコストがかかります。
hr.icon
< 今後について >
動的な音楽変化を最先端で行なっているメーカーといえば、今は任天堂と答えたい！
特にゼルダの伝説シリーズにおける工夫は目を見張るものがあります。
ブレスオブザワイルド（以降BoW）においては、ある程度ルールを設けた上で楽曲の自動生成まで行なっていたり、昼夜でBGMのテンポが切り替わったりもするようです。
おそらく、今後において今回例示した２つの手法から大きく外れた技術が発生することはないと考えています。
なぜなら、現状の音楽においてそれ以上のことがそもそも概念として存在しないと考えているからです。
「展開を変化させる手法」の時点で、言ってしまえば途中から全く別の楽曲に切り替えているわけですから、それができるならもうなんでも出来てしまいます。
今後進化していくならば、「展開を変化させる手法」の複雑化でしょう。
では、どう複雑化していくのでしょうか...？
< 自動生成 >
前述した通り、楽曲の自動生成はその１つです。BoWにおいての自動生成にはルールがあり、ある程度生成元のパーツが決められています。
しかし、昨今の自動生成及びAI作曲は進化してきており、ジャンルやキーワードを指定するだけでレベルの高い楽曲を生成できるようになってきました。楽器や音響、ジャンル等を指定しエンドレスにBGMを生成し続ける、ということもそう遠くない未来に実現しそうです。状況判断やそれに応じた展開の切り替え等もAIに任せることができれば、「展開を変化させる手法」のデメリットであったコストをぐっと抑えることができるかもしれません。
自動生成する場合のデメリットとして、楽曲が一意に定まらないため、サウンドトラックのような音楽媒体の納得のいく配信は難しくなるということが挙げられます。「あの時聞こえたあのフレーズが好きだったのに、CDには入ってないのか...」みたいなことが起きかねませんからね。
< ルート分岐 >
「展開を変化させる手法」の手間を減らすために行われがちな作曲者側の工夫の１つに、「どこからでも繋げられるように作曲する」ということが挙げられます。どこで切って、どの曲に繋がってもスムーズになるようにしているわけですね。
この、手間の部分を最大級に膨らませることでようやく取れる手法があります。それがいわゆる「ルート分岐」です。
「どこからでも繋げられるような曲」の特徴として、「スケール」が同一であることが挙げられます。日本語では「調」ですね。「ハ長調」や「Cメジャー」というようなものがスケールです。詳しい説明は省いてざっくり説明すると、使う音の種類のことです。
たとえばスケールが Cメジャー（＝ハ長調）の楽曲では、「ド、レ、ミ、ファ、ソ、ラ、シ」の音しか基本は使用しません。
何の工夫もなく唐突にその音のルールから外れた音、たとえば「ド#やレ#」を使用してしまうと、どこか外れた気持ちの悪い音に聞こえてしまいます。
「どこからでも繋げられる曲」においては、最低限スケールのルールが統一されているわけですね。
しかし、通常の曲作りにおいては、途中でスケールを移動することがあります。「転調」と呼ばれる技術ですね。
細かい技術の説明は省きますが、基本的には工夫を要する技術です。
一般的な楽曲においては、最後のサビの際に半音だけ上に転調することがよくあります。
Cメジャーから半音上がってC#メジャーに転調する場合、それまで「ド、レ、ミ、ファ、ソ、ラ、シ」がルールだったのが「ド#、レ#、ファ、ファ#、ソ#、ラ#、ド」にルール変更されることになるわけです。
https://gyazo.com/05165419574afd7878661815450f3e56
https://gyazo.com/cbbc046ff449d12572e50ebb40b093b5
では、その転調する楽曲で「展開を変化させる手法」をとる場合どうなるのか。
切り替える後の曲がCメジャーのスケールだったとしましょう。
切り替える前の曲がCメジャーからC#メジャーに途中で切り替わる楽曲であった場合、「Cメジャーの地帯からはスムーズに切り替えられるけど、転調した後のC#メジャーの地帯からだとうまく繋がってくれない」みたいなことが起こります。
つまりは、切り替える前の曲が「どこからでも繋げられるような曲」ではなくなってしまっているわけですね。
このような事態を回避するため、上記のゲームでの実例では最低限キーは統一して作らないといけないのです。
しかし、この「キーを統一しないといけない」というのは作曲者にとって結構な縛りであり、特にどこから切っても別の曲に繋げられるようにするには相当楽曲の幅が狭まります。
では、そのルールに縛られないでインタラクティブ性を持たせるには...？
これに関しては、言うだけなら簡単です。
どこで終わるかによって繋げる先の楽曲を変えればいいのです。
つまり、「転調する前ならこっちの曲に切り替えて、転調した後ならこっちの曲に切り替えるようにする」と言うような曲作りやシステム構築を行うことでこの問題を解決できます。
プレイヤーの選んだ選択肢によってストーリーが分岐するゲームはよくありますが、似たようなことをBGMで行うわけです。
この手法のデメリットは単純明快。
前述の通り、とんでもないコストがかかることです。
楽曲を切り替えるタイミングによる場合分けのシステムが複雑化したり、その分だけ楽曲の差分を制作する必要が出てきたりなど、１つの楽曲に対するコストが段違いに上がります。
ただし、その部分に目を瞑れば、元の楽曲の展開やスケール等を気にせずインタラクティブなBGMを作曲することができます。
人力でやるにはあまりにも労力がかかりますが、AI作曲を用いる場合であれば、今後これがメジャーな技術になる可能性は大いにあると思います。
かく言う私は、人力でこの手法を実現したゲームをどこかで作りたいと思っていますが、時間がかかるため渋っています...
hr.icon
< まとめ >
最後の方は随分と長文になってしまい、若干読みづらいものになってしまったかもしれません。それでも見てくださった方はありがとうございます。
映像制作においてインタラクティブ性が重視されることも増えてきた昨今において、ゲームBGMを動的にすると言うのは消費者の体験において非常に重要な技術だと考えています。
動画サイトでプレイ映像がアップロードされれば、ある程度はそれで満足できてしまう世の中ですが、こういった実際に触れることで意味をなすコンテンツの価値は高まっているように感じます。
見るのは楽しい、遊ぶのはもっともっと楽しい！
そんなゲーム作りを心がけられるよう、こう言った技術の導入は積極的に行なっていきたいですね。
以上、安藤でした。