【wip】LYRICWHIZ: ROBUST MULTILINGUAL ZERO-SHOT LYRICS　TRANSCRIPTION BY WHISPERING TO CHATGPT

日付

2023/9/21

論文リンク

文献情報

ISMIR 2023 accept

Le Zhuo, Ruibin Yuan, Jiahao Pan, Yinghao Ma, Yizhi LI, Ge Zhang, Si Liu, Roger Dannenberg, Jie Fu, Chenghua Lin, Emmanouil Benetos, Wenhu Chen, Wei Xue, Yike Guo

要は何？

Whisper

問題意識と解決策

音楽はMIDIと音響信号，楽器の違い，混合音と分離音など，ドメインは異なるがいくつか共通点を持つペアが存在している．

そうした共通点を捉えることを目標に，この問題をドメイン適応の問題に帰着させ，異なる2ドメイン間で共通のプロパティの特徴を学習する＝ドメイン不変特徴を得ることを目標とする．

関連研究

手法

実験とその結果

コメント

Whisperもテストデータも本当にZero-shotかどうかはぶっちゃけ怪しい気もするが... 精度がいいのはそれはそうなんだが