パスワードを忘れた? アカウント作成
13389782 journal
日記

aitoの日記: 8月24日 SIGMUS夏シンポ1日目まとめ

日記 by aito

8月24日(木)
■アプリケーション・歌唱支援 [13:00-15:00]
(1) 背景音楽のテンポが休息時の作業者に与える効果:生理的指標の評価
   村上 昌志,坂本 隆,加藤 俊一
作業後の休息時間中に音楽を聞かせる場合に、音楽のテンポが休息効果にどう影響するかをしらべた。被験者にTOEICの模擬テストをやらせたあと、同じピアノ曲を60/120/180BPMの3条件で聞かせ、心拍の揺らぎのLF/HF比(ストレス指標)を測った。その結果、音楽がないよりもあったほうがよく、BPMが小さいほうがストレス指標が下がった(ストレス解消効果が高い)。ストレス解消効果があるBPMの下限はどこかという質問が出た。今回はピアノ曲なので、BPMが大きい方が全体のパワーが大きくてラウドネスが大きい(かもしれない)ことが影響しているのではないかとコメントした。

(2) MachineDancing: ポーズの変化に関する大局的制約と音楽と動作の局所的制約を同時に考慮したダンス自動生成
   深山 覚,後藤 真孝
音楽信号からのダンス動画の自動生成。音楽の分析結果(拍や構造)と個別の動作に分解されたダンスモーションのデータベースから学習を行い、音楽の拍ごとにモーションを予測する。従来は、いくつかの局所的な制約(音楽のビートと動作速度の対応、動作の滑らかさ制約など)の下で尤度を最大化する姿勢系列を生成していた。今回の発表では、大局的な制約を持った動作(ステップ、バースごとの繰り返し、場所を移動する動作など)を導入した。あらかじめ拍の強度をクラスタリングしておき、似た強度の拍では似たようなモーションをつける。音楽構造で対応が取れる部分に似た動作を割り当てることで制約を導入する。また、Kinectで取った製作者のモーションに似たモーションを生成する。このためには上半身と下半身のモーションを別々に解くのを繰り返していて面白い。

(3) 楽曲中の歌声とユーザ歌唱のリアルタイムアラインメントに基づく伴奏追従型カラオケシステム
   和田 雄介,坂東 宜昭,中村 栄太,糸山 克寿,吉井 和佳
ユーザの歌唱に合わせて伴奏するシステム。伴奏の元が音響信号であるところが新しい(伴奏がMIDIである研究は既存)。歌声付きの伴奏を用意し、その3秒分のスペクトログラムから音源分離によって歌声と伴奏を分離する。次に分離した歌声と入力歌唱とのアラインメントによって伴奏速度を推定し、それにしたがって分離された伴奏信号を伸縮して流す。アラインメントにはF0とMFCCの両方を利用する。伴奏の伸縮はフェーズボコーダ。

(4) 既存歌唱曲アレンジのための歌声キーボード
   尾島 優太,中野 倫靖,深山 覚,加藤 淳,後藤 真孝,糸山 克寿,吉井 和佳
混合音楽信号のドラムパートや伴奏パートをすげかえる研究はすでにあるが、この研究はボーカルパートを操作する。単にボーカルパートを挿げ替えるのではなく、キーボードを使ってリアルタイムに歌い方を操作することができる。音ゲーのようにピアノロール上で音符が落ちてくるインタフェースがあり、音符に合わせてキーボードを弾くことによってボーカルを演奏する。音高の変更、ハモリパートや輪唱の挿入などができる。手法としては、まずRobust PCAに基づく音源分離によって伴奏とボーカルを分離し、拍の推定によってボーカル信号を音符に分ける。ピッチシフトはPSOLA。音源分離は分離性能は高そうだがミュージカルノイズがひどくて音は悪い。その部分を改善すると面白そう。

■分離 [15:15-16:15]
(5) 複素ラプラス分布に基づく非負値行列因子分解
   丹治 寛樹,村上 隆啓,鎌田 弘之
Itakura-Saito距離を使うNMFは複素スペクトルに複素正規分布を仮定しているが、実際のスペクトルの分布はもっと尖っているので、尖った分布を生成されやすいモデルとして複素ラプラス分布を使うNMFを提案。ピアノとエレキギターの多重音分解を使って評価。いろいろやっているが、性能は他のNMFと同程度。

(6) モノラル音響信号に対する音源分離のための無限相関テンソル分解
   吉井 和佳
複素スペクトルに対する分解。吉井先生が以前提案していたPSDTF(半正定値テンソル分解)では周波数方向の相関を考慮していたが、提案法では時間と周波数双方の相関を考慮した分解を行う。そのために、複素スペクトログラムの各時間の周波数成分を全時間について並べて1つのベクトルにしたうえで共分散行列を計算する。そのうえで、その巨大行列を周波数方向の共分散行列と時間方向の共分散行列のクロネッカー積として近似する。生成モデルとしては、1つの確率モデルから一度にスペクトログラムが生成される形になる。

このあと企画セッションとして、音楽関連の各種国際会議の紹介セッションを行った。私が企画したが、おおむね好評だったものの、ちょっとまとまりに欠けたという意見もあった。ちょっと反省。

この議論は賞味期限が切れたので、アーカイブ化されています。 新たにコメントを付けることはできません。
typodupeerror

Stay hungry, Stay foolish. -- Steven Paul Jobs

読み込み中...