「電脳コイル」はもう実現してる？！

take-ash 曰く、

2007年11月に行われたISMAR 2007（複合現実感国際会議）で発表されたひとつの研究がmasayashiさんのブログで紹介されています。まずはそのデモをご覧下さい。

自然の空間をムービーとして撮影しただけでマーカー無しに三次元空間を認識し、そこに3Dのオブジェクトを合成しているのですが、驚くべきことに市販のノートパソコンでリアルタイムで処理がなされています。バーチャルリアリティってのは大掛かりな設備が必要な技術かと思っていたので、かなり驚かされました。

現段階では、静的な空間のみで動く物体との衝突や、3Dオブジェクトが実空間の物体の裏に回りこんで見えなくなる等はサポートしていないようですが、電脳コイルの世界(作品の設定は2026年)の実現は案外早そうです。

マーカー無し

[kenny_c (28695)]

でどうやってるんだろうと思ったら、
最初にカメラをパンさせた際の複数の適当な点の移動距離から
空間情報を取得してるように見えますね。
なんとなく顔認識なんかとも相性良さそうな技術だなーと思いました。

# 論文読んでみよっと

Re:マーカー無し

[TarZ (28055)]

ほんと、原理が気になりますね。

カメラ（視点）を回転させたときの画像上から得られる情報だけでは、奥行きの情報まではとれなさそうなのに、デモでは奥行きまで認識しているっぽいし。
どうやっているのでしょうね。複数のカメラがあるのかと思いきや、「三次元復元」で検索してみると「単眼動画像からの三次元復元」なんてのが出てくるし。
知らないうちに世の中は進歩しているなあ。

ちなみに電脳コイルでは、電脳物質（現実の視界上に重畳表示される映像）が現実の物質と交差・干渉するような描写があるので、電脳メガネ（＆空間管理室サーバ）側では、特徴点以外も含めた（Zバッファ的な）奥行きの情報まで認識していそうです。
表面が曲面の物体まで含めると、これは非常に難しそう。

まあ、2015年まではまだ時間があるので、きっとどうにかなるでしょう。:-)

Re:マーカー無し

[kenny_c (28695)]

車窓からの風景を想定してもらうとぴんとくるかと思うんですが、
カメラを移動させると、手前のものは大きく動き、遠くのものはちょっとしか
動かないので、原理的にはZ方向の認識は可能ですね。

現実の物質との奥行き表示に関しては、人物認識あたりの技術を使って
「モノ」の形を切り出せれば重ね合わせは実現できそうですよね。
接触・干渉は難しそうですが。

2015年の完成系(?)も気になるところですが、
表示装置(眼鏡型表示装置で3Dモデルの両眼視差を実現したりとか)を含めて
現存の技術を最大限に組み合わせたらどこまで行けるのか見てみたいなぁ。

# 大昔のゲームの多重スクロールも初見ではリアルに見えたなぁ。

Re:マーカー無し

[TarZ (28055)]

あ、やっぱり視点移動はあるんですね。（デモ映像では、視点回転だけで立体認識しているのかと思ってびっくり。私の勘違いのようです）

# 大昔のゲームの多重スクロールも初見ではリアルに見えたなぁ。

私は、アーケードゲーム「マグマックス [wikipedia.org]」のクォータービュー画面で、ラスタスクロールにより地面が3Dっぽく見えていたのに衝撃を受けたのが最初の経験です。

# あれから20年か…。

Re:マーカー無し

[bero (5057)]

いや回転だけでできるだろ
近くの点は回転すると大きく動くが遠くの点は少ししか動かないので奥行きわかると思う

Re:

[Anonymous Coward]

それカメラからの距離じゃなくて軸からの距離じゃない？
つーかカメラ動かさなくても奥行きとれるよ。
レンズ焦点法っていって、ピントのあってる度合いによって奥行き情報を得る奴。
ピントの合う場所はカメラキャリブレーションすればわかるから、後は近い場所から遠い場所まで順にピントを合わせて行けばいい。
被写界深度が深いと上手くいかないから、結構大きなレンズを使う必要があるけど。

Re:

[Anonymous Coward]

この技術のキモは特徴点の追跡アルゴリズムっぽいよね。
特徴点追跡って結構難しくて、ちょっとぐらい見る角度がずれても同じオブジェクトの同じ点をカメラ画像から同じだと判別できなきゃいけないし、さらにオブジェクトに隠れて見えなくなった点を見えなくなったと認識できなきゃいけない。
特徴点追跡は画像処理の基本にして全てのベースだから、このアルゴリズムが画期的なら応用分野も盛り上がりそうだね。

Re:マーカー無し

[Anonymous Cowboy (6205)]

＞どうやっているのでしょうね。
SLAMです

Re:マーカー無し

[TarZ (28055)]

すると視点移動は必須？

Re:

[Anonymous Coward]

>> ＞どうやっているのでしょうね。
>> SLAMです

え，そうなの？どっちかというとトラッキングからの射影復元じゃないかと思うんだけど？

Re:マーカー無し

[zozbug (9256)]

はじめのワールド認識はVoodoo Camera Trackerと同じなんじゃないですかね。

http://www.digilab.uni-hannover.de/docs/manual.html [uni-hannover.de]

通常の二次元ムービーを解析して3Dソフト上で扱えるカメラの動きを吐き出してくれます。
ただまあ使ってみると分かりますがやたら時間がかかる上に誤認識やらノイジーな動きも多いです。

この技術もデモを見る限りすごいけど、実際のトコロどうなのかみてみたいなあ。

>ちなみに電脳コイルでは
ありゃあ、究極的なグーグルアースみたいに電脳世界にほぼ完全な3Dデータが存在する、っていう世界っぽいですよね。

Re:

[Anonymous Coward]

特徴点の移動量から、奥行きを推測しているんですよ。
遠くにあるものほど画面での移動は少なく見える。
遠近法の表現の計算を逆算して、奥行きを求めているわけです。

だからパンしている動画が必要ですし、
画面内で独立して動き回るものについては、この手法は適用できません。

Re:

[Anonymous Coward]

肝はカメラ映像だからなんですよね、メガネにレイヤー表示でって事になると実映像との時間差が気になるんじゃないでしょうか？

#電源切れて真っ暗な映像になったりすると歩いていたらパニックだよね？

Re:マーカー無し

[niratama (2175)]

>電源切れて真っ暗な映像になったりすると歩いていたらパニックだよね？

レイヤー表示でも、バグで一番手前に巨大オブジェクトが出現とか突然裸のおねーちゃんが出現とかしたら大変なことに。
今のケータイですら周囲への注意が散漫になって事故が起こったりするのに、これ以上注意力が散漫になるようなものは……

電脳コイルまでに足りないもの

[hishakuan (32621)]

あの～、女の子はいったいどこに？

リンク先ブログにトラックバックが付いてますが、ニコニコ動画でも見られるというのはここらへんのことですかね。
クリティカルヒット [fc2.com]
ところでこういうのをインフラ化するというのは、どうやって見るのを想定されているだろう？
歩きながら本を読んでいて電柱にぶつかったことがあるのでノートパソコンを持ち歩くのは勘弁してもらいたいんですが。
ソフトとハード、どっちが難問？

Re:電脳コイルまでに足りないもの

[kenny_c (28695)]

スカウター型の半透過ディスプレイに空間測定用のカメラをつけて、
3Dモデルだけ投影すればおｋかな？

Re:

[Anonymous Coward]

このドジっ娘め。

Re:

[Anonymous Coward]

まぁ、電源、エレクトロニクス（プロセッサ、メモリ、ネットワークアクセスデバイス）、ディスプレイ込みで
普通のめがねサイズ、重さにするには2026年ぐらいまでかかるでしょうな。

Re:電脳コイルまでに足りないもの

[TarZ (28055)]

あの世界では、2015年では。電脳メガネが全世界に普及して11年経ったのが2026年のようですから。

Re:電脳コイルまでに足りないもの

[take-ash (28862)]

アニメの世界はまだ大黒市と金沢市のみがメガネが使える特別行政区であって、まだ世界中ってほどは普及していなかったかと。
小説の方は舞台設定が違ってるからこっちが普及した世界なんだったかな？

--
# SlashDot Light [takeash.net] やってます。

うーむ…

[0093 (29457)]

似たような研究をしている身としては結構ショックだったりします…これは素直にすごいです．
パッと見たところ，カメラでの動きを複眼でとらえた映像として考えて処理しているって感じでしょうか．

カメラ固定の状況では違うアプローチになりそうですが，意外と難しくないかもしれませんね．

Re:

[Anonymous Coward]

>カメラ固定の状況では違うアプローチになりそうですが

動画みてると、最初にカメラ振って認識させればいいだけのようにみえる…

Re:

[Anonymous Coward]

＞最初にカメラ振って認識
猫が比較的近距離の獲物との距離測るときにをやっとりますな。
んで、おもちゃを目の前で猫から見て左右に高速に動かすと、
距離がわからなくなってめちゃくちゃな方向に飛び掛る…(*´д`)

これでゲームをやってみたい

[kanina (16615)]

あの、Nintendo ON [youtube.com]が再現できますよねコレ。

Re:

[Anonymous Coward]

マーカー有りの仮想空間のキャラクターにタッチする動画 [youtube.com]に感動した私にとっては
なんだかもうすごすぎて神の領域に感じます。
ゲームはもちろん、エンターテイメント全般に活用される時代が早く来てほしいです！

タグ違い

[Anonymous Coward]

電脳コイル (タグ beta)

の部分見てそっちまでできたか！と思ったのは俺だけでいい

タイトルに突っ込み

[live-gon (30327)]

ま、別にいいんだけど、「電脳メガネ」はもう実現してる？！の間違いじゃないかと思った。

電脳コイル現象が実現したら、もっと大変なことに！

--
LIVE-GON(リベゴン)

Re:タイトルに突っ込み

[gm_camouf01 (31675)]

そうそう、「電脳コイル」と言うからには、イマーゴ [hatena.ne.jp]の実現も含めてくれないと！
＃リンク先は、微妙にネタバレ含むので注意

実は、ちゃんと見てた人は少ない？
その辺わかってて、「電脳メガネ」じゃ通じないかなぁ…って配慮だったりして！？

Re:タイトルに突っ込み

[take-ash (28862)]

「」付きで書くことで「『電脳コイル』という作品」を意図していました。
本文の方は「電脳コイルの世界の実現」と省略せずに書きましたが、タイトルは東スポにならい、なるべくキャッチーになるように短くしましたです。

--
# SlashDot Light [takeash.net] やってます。

Re:タイトルに突っ込み

[live-gon (30327)]

「」付きで書くことで「『電脳コイル』という作品」を意図していました。

#1286135 [srad.jp]の人も言っているように、意図的にキャッチーにしたのかなーと思っていたので、それほどこだわりはなかったです。とはいえ、タレコミの人から見解が示されるのは有意義です。

ただ、この突っ込みはタイトルを見たときにお約束だと思ったのに誰もやらないところがちょっとgm_camouf01さんと同じく引っかかりました。「電脳コイル」という単語を初めて見たという人もいるだろうに、それに対する説明的な突っ込みがないのは、もはや電脳コイルが常識のレベルになっているのか、まだちょっとマイナーに留まっているのか、よく分からないです。

#ま、これを読んでいる第三者に伝えたいことは「電脳コイルはおもしろいよー」ってことです。

ようするに電脳コイルは面白いってことです。

#何を言っているんだ俺は。

--
LIVE-GON(リベゴン)

Re:

[Anonymous Coward]

タイトルは東スポにならっちゃう辺りが、
最近の「アレゲ」という奴なんでしょうか？

＃そりゃそうと電脳コイルはマヂで良作お勧めなのでAC

池が！！

[Anonymous Coward]

3Dオブジェクトを表示させてるだけかと思ったら
池のデモで現実世界に変化があるように見せてるのは凄い。

コストはどうなんでしょうか

[Anonymous Coward]

お年玉2年分で可能、とかなら実現していると認めますが

＃最近の相場なら49,800円ってとこかな？

せんべいいっこいれる

[Anonymous Coward]

いっこ？ 足りん。もっと寄越せ。

# と音声がないのに聞こえた気がします。