【wip】Sketching the Expression: Flexible Rendering of Expressive Piano Performance with Self-Supervised Learning

https://scrapbox.io/files/64e60aff4fcb1e001c559825.png

日付

2023/8/23

論文リンク

文献情報

SKETCHING THE EXPRESSION:

FLEXIBLE RENDERING OF EXPRESSIVE PIANO PERFORMANCE

WITH SELF-SUPERVISED LEARNING

Seungyeon Rhyu, Sarah Kim, Kyogu Lee

ISMIR 2022

要は何？

演奏表情づけ．

CVAEを用いてピアノ演奏におけるフレキシブルな演奏表現づけを実現

問題意識と解決策

ピアノの演奏表現を計算機上で実現するには，（量子化された）楽譜からラウドネスおよびタイミングを模倣することが必要である．

昨今ではdnnを用いて実現されている（VirtuosoNet Jeong 等．）

さらに，計算機上でその演奏表現を操作をできると嬉しい．->これには時変特徴のdisentanglementが必要となる

Maezawa et alらやTan et al.はVAEベースでdisentanglementを実現させた．

しかしこれらの方法は操作のフレキシブルさに欠けている．

Maezawa et al. -> 楽譜上の特徴の操作のみ

https://scrapbox.io/files/650865cff82353001b56af32.png

Tan et al. ->対象はダイナミクスとアーティキュレーション．ノートタイミングとテンポは操作できない

https://scrapbox.io/files/65086649898a07001c0fe504.png

このことから本研究ではフレキシブルな音楽表現を実現するための演奏表情づけ方法を提案する．

先行研究の「演奏者は作曲者の指示・意図をかならず実現させる」という仮定を捨て，既存の演奏の"expressive models "やexplicit plannningと呼ばれるものを認識したり模倣するという立場に立つ．

具体的には高次元な「スケッチ」として演奏者の解釈のもと演奏に盛り込む表現要素（ダイナミクス，アーティキュレーション，テンポ等）を定義し，それをモデリングすることを目指す．

また，それ以外の要素を楽曲そのものから由来する「構造属性」として定義する．

モデリングにおいては前者を制御可能なCVAEモデルを用いて，フレキシブルな制御を目指す．

自己教師あり学習を用い，制御対象のアトリビュートに対し，潜在変数が従うように学習させる．

さらに，各表現要素を独立にコントロールできることを目指す．