自然な歌声を合成する産総研のVocaListener、世に出る

TarZの日記 曰く

昨年5月、歌声合成ソフトウェアでより自然の歌唱を可能にする謎の技術、VocaListenerのデモがあったことはご記憶の方も多いだろう。長いこと続報がなかったが、これがついに世に出るようだ（産業技術総合研究所の「歌声合成パラメーター推定技術 VocaListenerを実現」）。

詳細はリンク先を見ていただきたいが、特徴として3点が挙げられている。

• 「このように歌わせたい」と歌ってVocaListenerに入力すれば、そのニュアンスをまねた歌声が合成可能
• 従来のように歌声合成パラメーターを人手で長時間調整せずに、人間らしい自然な歌声を誰でも容易に合成できる
• 歌声合成ソフトウェアやその音源（歌手の声）を切り替えても自動的に同じ歌い方で合成可能

　歌声合成ソフトウェアというと、最近ではまず初音ミクが思い浮かぶが、あれはたどたどしいところも含めて個性になっている面もあるように思う。ということで今回の技術の需要がどのくらいあるのかは判らないが、技術的には大変興味深い。

また、RBBの記事によると、「初音ミクや鈴音リンがこぶしを効かせて歌い上げているムービーが公開されている」のだそうだ。…ん？　鈴音？

そのほか、INTERNET Watchの記事に、一般向けサービスの実用化で共同開発をしているというヤマハ側のコメントも載っている。

『初音ミク』や『がくっぽいど』などを使用した楽曲が話題になり、歌声合成ソフトウェアの認知が急速に高まる中で、さらにリアルな歌声を合成させたい、もっと手軽に歌声を合成してみたいというユーザーが増えている

インターネット上でVocalListenerをWebサービスとして利用できる「Netぼかりす」のα版が現在開発されているそうで、一部のクリエイターにはすでに試用されているそうだ。

「歌います。聴いてください」（という、歌でない台詞）

[TarZ (28055)]

これ、歌唱以外の分野への応用も気になります。「ボカロ喋らせ師」（ボーカロイドに普通の会話をさせている人）向けにも使えるのでしょうかね。

将来的に、映画吹き替えやアニメ制作は、声データ提供する人と演技する人で分業になったりして。

# 大塚明夫の声に、若本規夫の喋り方…とか。

Re:「歌います。聴いてください」（という、歌でない台詞）

[oltio (3848)]

一応、話し声にも対応できてはいます。デモ曲の冒頭「聞いてください」などは実際に Vocalistner の機能で実現されています。

ただ、話し声の場合は明確なメロディがない分、難しい部分もあります。思わず漏れるうめき声とかため息など、歌唱用の音素からはどうしても再現しにくい部分もあるそうです。

Re:「歌います。聴いてください」（という、歌でない台詞）

[TarZ (28055)]

思わず漏れるうめき声とかため息など

あれま！　そういったものは音素が別なんですか。

息継ぎ音ならCVシリーズでも収録されているようですが、会話ではそういったデータが他にもいっぱい必要ですよ、ということですね。うーむ、声優の分業にはまだまだハードルが高そうか。（よかった…）

Re:「歌います。聴いてください」（という、歌でない台詞）

[ken2 (27347)]

さらにいえば声優は、キャラクターの心情などを解釈して声に表す表現者でもあるわけですが、そういうのが不要なアナウンサーには危機ではないでしょうかね？
顔やキャラクター性で売ってる人はいいだろうけど。

# 重大事件をさも神妙そうな声で話してたアナウンサーが「さぁっ、スポーツです！」
# とかいきなりトーンを変えるのは個人的には不愉快。これがなくなるのなら。

Re:

[Anonymous Coward]

>重大事件をさも神妙そうな声で話してたアナウンサーが「さぁっ、スポーツです！」とかいきなりトーンを変える

そこは変えるべきだろ
人はひとつの感情を引きずる生き物じゃないんだし、変えないほうが不愉快だ

「墓場の島へ行った」

[SteppingWind (2654)]

ナレーション付きの歌といえば「墓場の島」 [youtube.com]あたりがどうなるか気になりますね.

# 水谷豊がやけくそに若いのでID

世に出るとは？

[starfighter (31940)]

世に出る、とは何を指しているのでしょうか。
「Netぼかりす」のα版が公開されるってところ？

ぼかりすが産総研の成果の一環なのは知られているし、機能や情報はこの一年間で少しずつ
もれ聞こえてきてるから、タイトルと本文に齟齬を感じる。

Re:世に出るとは？

[Anonymous Coward]

去年の某学会でも発表があったのでそれをもって世に出たと言えるのかも。

Re:

[Anonymous Coward]

研究は、実用化されてこそ、価値がある。

という意味では？（特に産総研はそういう成果が求められていますね。）

Netぼかりすα

[warx (36578)]

ニコ動に数曲アップされているのを聞きました。
Vocaloid の音声データを元歌の音声データで変調する技術ということで、まんまその通りの作品でした。
まあ、どの曲も Net ぼかりすがどういう処理をするのか、ということで作られたデモなのだから、当たり前ですけど。

特に興味深いのは男性だったらココはこう歌うだろうな、という癖がかなりの強さで Vocaloid の音声に反映されていることです。
つまり、女性だったらこう歌うだろうな、という歌い方でなければ女性 Vocaloid の下地とするには不向きだという事ですね。
それを逆手に？とったソウルフルなナンバーに和田アキ子風歌唱法の元歌＋ Vocaloid, Net ぼかりすαという曲もありましたが、
やっぱり男性の歌唱法が強く残っているせいで、声質とのギャップがどうしても耳につきます。

関係ないけど、動画中のコメントに不気味の谷に関するものが散見されたのは面白かった。いろんな人が見てるんですね。

MikuMikuDanceの人の・・・

[Takahacircus (9161)]

なんちゃってツールが思い浮かびました。
http://www.geocities.jp/higuchuu4/ [geocities.jp]

これも、ある程度の編集作業は必要そうですが・・・

初音と鈴音(off topic)

[mitil (29556)]

和音と鈴音は某作品chu [wikipedia.org]では親子ですが、
RBBの人はその作品を読んでいたんですかね。

音痴

[Anonymous Coward]

>「このように歌わせたい」と歌ってVocaListenerに入力すれば、そのニュアンスをまねた歌声が合成可能
音痴なので涙が出てきた。

私のパラメータだと何でもジャイアンリサイタル

Re:音痴

[t-qt (12190)]

音程の揺れを半音単位に寄せる補正が出来るみたいですよ。

もしかしたら「歌の上手い自分」の歌を聴けるかもしれません。

ニュアンスの込め方まで補正できるかどうかは分かりませんが。

Re:音痴

[ksiroi (24990)]

結局はそこなんですよね。

現時点では既存曲のカバーをするときに耳コピが出来ない人のためのツールになりそうな気がしますね。
僕のことですが。

私の周りの耳コピが出来る、作曲が出来る人は「あまり縁がなさそうかも」って口を揃えてます。
面白そう、とも皆一様ですがｗ

Re:音痴

[Anonymous Coward]

× リサイタル
○ リタイサル

Re:

[Anonymous Coward]

ジャイアンが「リタイサル」と言ってたり看板に書いてたりしたのは原作の全巻を通しても２，３回だったような。
ほとんどの場合は正しく「リサイタル」と言ったり書いたりしていたはずです。

Re:

[Anonymous Coward]

音痴を補正するソフトもありますよ。
V-Vocalとか。

新しいコミュニティの発展はあるかも？

[ksiroi (24990)]

最近になってニコ動界隈が分かってきたのですが、

ボカロオリジナル曲
→誰かが歌う
　→合成して擬似合唱

というのがスタンダードのようですね。
ぼかりすが本格活用されだしたら

ボカロオリジナル曲
→誰かが歌う
　→ぼかりすで歌い手の特徴そのままに、ボカロがセルフ(?)カバー

という新しい流れが出来るのでしょう。

// ゴムさんとかよっぺいさんとか、あの辺の台詞回しをボカロが完璧に再現したら悶え苦しむな、きっと。(:>^

いまんとこは

[Anonymous Coward]

ボカロオリジナル曲→ボカロの中の人（音声の主）がカバーアルバムを出す [nicovideo.jp]、なんてことになってます
未発表曲限定らしいですが。

ちなみに、伊織ロイド [nicovideo.jp]なんてのもあります。
これが汎用できるとなると、たくさんテレビで喋ったりCD出したりしてるアーティストは...

#単語ひとつとか「あ」の音とかに著作権とか主張できないよね？

Re:いまんとこは

[KAMUI (3084)]

中の人がカバーアルバムって・・・取り合えず風雅なおと [amazon.co.jp]に謝まれ(笑)

Re:いまんとこは

[little( (31297)]

>#単語ひとつとか「あ」の音とかに著作権とか主張できないよね？

それが自分の著作物ならば、単語一つだろうと、著作権を主張する事は可能だと思うよ。

ただし、単語一つ程度なら、同じ著作物を他人が偶然に作り出す可能性はとても高いので、他人の言葉に対して、自分の著作物を利用してると言い張るのは無理。

あくまでも著作権を主張できるのは、自分の著作物に対してだけ。

Re:

[Anonymous Coward]

> #単語ひとつとか「あ」の音とかに著作権とか主張できないよね？

声にも肖像権がつくんじゃね?

Re:

[Anonymous Coward]

Kならすでにいそうだな

パラメータ

[Anonymous Coward]

権利者が「歌いパラメータ」までにも権利を主張するような気がしてなりません。

Re:パラメータ

[nemui4 (20313)]

破産して自分の「歌いパラメータ」を差し押さえられてしまった歌手とか出てきそうな予感。

#演目を質に入れた噺家さんってのがいたっけ？

Re:パラメータ

[TarZ (28055)]

しかし、「声」と「歌唱」が分離してしまうと、ほんとに権利関係ってどうなるのでしょうね。どちらも、従来の著作権でいうところの「実演家」の範疇に入るのでしょうか。それもなんだか違うような。
「歌いパラメータ」を差し押さえなんて事例も、出てこないとも限らないかもしれません。

# 医療（脳死問題）や生命科学でもそうですが、新しい技術が出てくると
# 古い法律で想定していなかったような問題が色々出てくる。

Re:パラメータ

[Ryo.F (3896)]

「声」と「歌唱」が分離してしまうと、

楽器と奏法が分離しているようなものかな…？

Re:パラメータ

[nemui4 (20313)]

そういや、銃夢LOで自分の遺伝子情報を企業(国家?)に抑えられてしまった全身サイボーグ空手家がいたっけ。

Re:パラメータ

[Anonymous Coward]

たしか初代の春団治。
春団治は他にも、借金のエピソードで、口に差し押さえの赤札を貼られた写真なんてのも有名
（もちろん、本当に差し押さえられたわけではないw）

Re:パラメータ

[Elbereth (17793)]

実際のところ、歌手の誰それの歌を食わせてそれっぽく歌うボーカロイドってのが
山ほどできそうな気がするんですが、どうなんでしょうねぇ。

で、つきつめていくと歌手の個性はちょっとした数字の羅列でしかなくなって
数KBとかのたいしたことない量に収まってしまったりとか。
パラダイムシフトが訪れる～みたいな。

まぁ全くの妄想ですが。

Re:パラメータ

[bitterbeer_sweetwine (37563)]

＞数KBとかのたいしたことない量に収まってしまったりとか perfumeはどうなるんでしょ？ エフェクタとかボコーダの設定とか

Re:

[Anonymous Coward]

歌手の個性をデータ化するのは、精度を問わなければ簡単かもしれんですね
ただ、それを利用する場合にはライブラリによっても個別に調整が必要だと思いますよ。
パラダイムシフトを起こすには、ライブラリの側にも高い精度が求められるでしょう。
結局は誰かが苦労をすることになって、裏方さんたちが過労死すると思われます。

全体で見れば多少の効率化はされるでしょうが、それでも仕事の総量が劇的に減るとは想像しづらい。

Re:パラメータ

[Anonymous Coward]

そもそも、こういった研究の目的は
・歌の上手い下手とは？
・歌唱の特徴とはなにか？
・個性とは？
といったことを、いかにして計算可能にするかも目標のうちなんでしょうから、
当然の流れかもしれませんね。

感性をいかに定量化するかってのは、工学方面では
いつも目的の一つでありますです

昔むかし・・・

[Anonymous Coward]

CHATAR [nii.ac.jp]なんてのもありましたが、どこへ行ったんでしょうか？

Re:

[Anonymous Coward]

昔むかし・・・
PC-6601が歌うタイニーゼビウス [nicovideo.jp]
なんてのもありましたね。