akiraaniの日記: VOCALOID3 ARライブが凄い勢いで未来だ
わかる人にわかるように言うと、メガゾーン23の時祭イヴですよ。
いやぁ、MMD使ってるものがあるってんで「ボカファーレ!! ~第0幕~」【第2部】VOCALOID3 ARライブをタイムシフトで見たんですが、これ凄いですな。
これ、何をやったのかというと、ニコファーレのステージでのライブ映像の生放送映像に、AR技術を使ってボカロキャラの3Dモデルをステージ上に重ねて表示してます。
ステージエフェクトなんかもガンガン表示されてて、天井から未来的なゴンドラっぽいやつで降りてきたり、炎のエフェクト表示させたり、あとリアルステージのダンサーさんと踊ってみたりもしてました。
あとからのCG合成ってんならそんなに目新しい光景というわけでもないんですが、リアルタイムに生放送でやっちゃいますか……。
……そんなことしたら、生で見てるライブの観客が見れねーだろーって話はあるんですが、そこはニコファーレ。ステージ裏だけではなく周囲も映像を表示できるので、そこにAR付きの映像を表示していたようです。正直、ここ以外のステージでやっても観客ぽかーんでしょうな。
スマホなんかのARによくあるマーカーを認識した仕組みではないらしく、上下左右どの方向にふってもちゃんと表示されるし、カメラマンが移動しようがパンしようがアップしようがほとんどずれなく表示されます。あれどうやったのかな。もしかして、カメラの方に位置情報とれる仕掛けでもしてあったのかな。
ここで初お披露目になると思われるまままグミの新衣装も完成度凄かったなぁ。3Dモデルの進歩もなにげに凄いよねぇ。派手なエフェクトに隠れて目立たなかったけど物理演算による挙動とか、どんどん研究が進んでるからなぁ。
技術的な面で言うと、ライブ前にちょろっと登場したリアルタイムモーションキャプチャもかなり凄かった。Kinectなんかであるようながくがく震えるような不安定な動きじゃなくて、するっと動いてぴたっと止まる、指の先まできっちり再現する。派手に動いても全然乱れない。体の方にマーカーちゃんと仕込んであると性能が段違いですな。
今のところ、ニコファーレみたいな特殊な会場でないと観客置いてけぼりという斬新すぎるアイデアの技術ではありますが、透過式HMDなんかを使えば小規模な会場なら応用できるのかなぁ。
VOCALOID3 ARライブが凄い勢いで未来だ More ログイン