aitoの日記： 2017/2/27 音楽情報科学研究会1日目

■演奏・歌唱支援[13:00-14:10]
（1） 独奏認識誤りに頑健な音響入力伴奏システム
　　　足立 亜里紗，堀内 靖雄，黒岩 眞吾
自動伴奏のための音符認識で、同じ音高の音符が連続する場合の問題。検出漏れ・過検出の場合に、演奏者がおおむね伴奏に合わせて演奏しているという仮定の下で演奏が破たんしないようにする。演奏者の音符が来るべき時間から前後に信頼度を設定し、それを使って未検出の音符を仮定したり検出した音符を無視したりする。

（2） DPマッチングのコストに視線情報を反映させた楽譜追跡手法の提案
　　　寺崎 栞里，竹川 佳成，平田 圭二
自動伴奏のための楽譜追跡。打鍵情報だけでなく楽譜を見る視線を使う。従来は打鍵情報による複数の演奏箇所候補の中から視線を使って最終候補を選んでいた。今回は候補の検出自体に視線情報を入れる。注目する音符とその時の視線をモデル化する「視線モデル」(HMM)を使い、打鍵情報と視線尤度の両方を考慮してDPマッチングを行う。誤打鍵があったときの追跡に有効。推定制度は従来法と同じくらい。視線モデルの精度が低いと全体のパフォーマンスが落ちる。

（3） スマートタンバリン：音と光で場を盛り上げるカラオケ支援システム
　　　栗原 拓也，横溝 有希子，竹腰 美夏，馬場 哲晃，北原 鉄朗
カラオケで暇な聞き手のためにタンバリンの譜面を生成表示してタンバリン演奏の判定を行うシステムを従来提案していた。今回は光るタンバリンを3Dプリンタで自作。つかみ方で音量調節ができる。またタンバリン譜をより簡単にすると同時に、参加率（演奏参加度）に応じてフィードバックを表示する。実際にカラオケ屋で使ってみて評価した。評価が低くはなかったが、スマートタンバリン自体はそれほど使われなかった模様。

■歌声の分析と合成[14:20-15:30]
（4） Experiments in Making VOCALOID Synthesis More Human-like Using Deep Learning
　　　Michael Wilson，Pritish Chandna，Ryunosuke Daido，Yuji Hisaminato
さまざまな実験により人間とVOCALOIDの音声を比較。オートエンコーダ4種類を試したが、周波数領域でのCNNを使うとF0抽出のようなものが学習された。次に人間とVOCALOIDの判定器を学習。精度は振幅スペクトルを使って最高94%ぐらい。次に敵対的学習でVOCALOID音声を人間っぽくするポストフィルタリング。変換にはLSTM使用。F0とラウドネスを変換したら音痴になった。４つめは、オートエンコーダで音声を2つに分離し、片方をF0だけから生成する。最後にVOCALOIDの音声を人間の音声に変換するネットワークを作った。

（5） 能の声楽「謡」における発声と音色の解析・考察～和の“渋い声”と洋の“クリスタルボイス”～
　　　田中 敏文，於久 光輔，永原 正章，山本 裕
「和」の発声法について。最初に「洋」と「和」の声で謡を実演。また様々な声をスペクトル解析。腹から声を出すと非整数倍音成分が多くなる。

（6） 瞬時周波数および群遅延に基づく非周期成分推定法再考
　　　河原 英紀，榊原 健一，森勢 将雅，坂野 秀樹
音声の非周期成分の推定。周期成分の推定から非周期成分を測る。ナットール窓で切り取って分析した瞬時周波数成分を平滑化したものをF0の間隔でサンプリングしたものがノイズフロアになる（よくわからない）。実音声についての推定はまだ課題があるらしい。

■自動楽曲分析[15:40-16:30]
（7） スペクトログラムの階層的クラスタリングを用いたグルーピング構造分析について
　　　澤田 隼，竹川 佳成，平田 圭二
GTTMのような木構造による音楽の分析を信号レベルで行う。入力のスペクトログラムを1拍ごとに分割し、テクスチャの類似性によって階層的クラスタリングを行う。スペクトログラムのテクスチャはどちらかというと音色を表すので、GTTMでの類似度として使うのは難しいのではないかなあ。

（8） 大域・局所リズムパタンテンプレートマッチングに基づく楽曲の伴奏スタイル識別
　　　篠井 暖，前澤 陽
伴奏のスタイルを識別する。伴奏の種類によってジャンル分類や推薦などに応用できるという話らしい。パターンとして、楽器編成、リズムパタン、BPMを考える。ヤマハのキーボードに入っている伴奏スタイルデータをテンプレートとする。特徴量として、スタイルデータから抽出したスペクトル基底を使ってNMFで求めたアクティベーション行列（リズムパターンの特徴量）、ビートの長時間スペクトルなど。それぞれの特徴量の相関係数とBPMの類似度から類似度を計算する。

■産学連携企画[16:50-18:20]
（9） パネルディスカッション:研究をイノベーションにつなげる～使ってもらってなんぼでしょ!～
　　　帆足 啓一郎，藤島 琢哉
プラスアドCEO　小池宏幸
・会社の説明。音楽ITベンチャー
・piaScore, Tuner, Piano+, Joyle（オンライン楽器レッスン）
・Problem first, not solution
・車がない島に信号機を作らない
しくみデザイン　中村俊介
・KAGURA（インタラクション楽器）
・体感型コンテンツ、広告、ゲームなど
・製品版では音の製作ができる
ヤマハ新規事業開発部　松本恵
・ヤマハの多角化　楽器・音響機器・その他
・産学連携・協業
　FM音源（スタンフォード大）
　ボーカロイド（ポンペウファブラ大）
　Stretchable strain sensor（静岡大学）CNT応用
　第一興商、VIE STYLE
・新規事業開発
　Value Amplifier（社内ベンチャーみたいなやつ）
　　おもてなしガイド（音響データハイディング）
　　HEARTalk（音声対話の韻律）
　Yamaha Sound & Music Innovation Platform
　　なかなか難しい