音で物を見るシステム、盲目の人が「見る」ことを可能に？ 28
ストーリー by hylom
心眼 部門より
心眼 部門より
eggy 曰く、
オランダ人エンジニアのPeter Meijer氏が1992年に、単純なグレースケール画像を音声に変換するアルゴリズムを開発した。このシステムはvOICe（大文字部分は「Oh、I see!」と読む）と呼ばれ、画像を左から右にスキャンしながら、読み込んだイメージを周波数の高低に割り振った音に変換するというもの。訓練を受けると、vOICeの聴覚情報で画像が「見える」ようになるのだという（Science、slashdot）。
ヘブライ大学では2007年より、先天性盲目の人にvOICeの訓練を行っているのだそうだ。単純な点や線から、顔や街角など4500ピクセルの複雑な画像に至るまで、見える内容には個人差があるものの、70時間程の訓練で「見える」ようになるのだそうだ。また、コンピューターとヘッドホンに接続されたヘッドマウントカメラをナビゲーションのように使用し、盲目の人が部屋の中を歩くことができたとのこと。カメラが絶えず撮影した部屋の写真は音に変換され、その音を頼りにテーブルやゴミ箱を避けて歩くことができたのだそうだ。
さらに興味深いのが、この訓練中に視覚を司る部分が活発になるということである。視覚を司る視覚野、聴覚を司る聴覚野、味覚を司る味覚野があるように、これまで脳は「タスク指向型」と考えられてきたが、今後は脳の新たな働きが見つかるかもしれないとのこと。
「タスク指向型」は新しい考え (スコア:5, 参考になる)
「脳はタスクマシンであることが今回わかりました。センサーマシンではなかったのです」みたいなことを言っているので、ストーリー最後の文はちょっとズレてる気がする
「これまで視覚野はセンシングした映像の処理を司ると考えられてきたが、実は『視る』というタスクを司る部位であって接続されるセンサーは可換らしい」というのが「タスク指向型脳モデル」であり、仮説としてはこの研究の前にあったみたいだけど、それを補強するような実験結果が出たということ
Re:「タスク指向型」は新しい考え (スコア:2)
Re: (スコア:0)
FPGAそのまんまだな
それって (スコア:2)
おいしーの？
ああ、あれか (スコア:2)
FDへのアクセス音で出現するモンスターがグレーターデーモンとかフラックとか判るやつ。
らじゃったのだ
エコーロケーションではないのね (スコア:1)
一瞬、コウモリみたいのを想像したんだけど。
Re:エコーロケーションではないのね (スコア:3, 参考になる)
これはセンシング方法じゃなくて、人間へのデータの伝送方法ですね。
眼(視覚)を経由せず、画像情報を変調した音の信号で送っている。
人間の方は、特殊なインプラントとか無しに、リアルタイムで、連続して
受け取ることができる。
一枚の画像に、一フレーズの音を対応させ、正面に画像があるすると、
ピクセルの位置情報の左右方向は一フレーズ内での時間方向に、
上下方向を音の高低にして、そのピクセルの輝度を音の強さに、
エンコードしているようです。
画像の左の方が明るかったら、音の始まりが五月蝿い、
画像の下半分が明るかったら、低い周波数を多く含む音が続く、
日の丸の画像なら、最初は高音から低音まで含む音量の大きなホワイト
ノイズ的な五月蝿い音で始まり、途中その中音域だけが徐々に小さくなって
それからまた、徐々に戻って、最後にまた五月蝿さが少し続いて終わる。
星条旗なら、最初は、高域の方にポツポツと断続音がある他、中低域で特定の
音階に強い音がある。途中から、合計6つの特定の音階だけの連続音になる。
そんな感じでしょうか。
探しきれないのですが、以前にも/.Jで話題になった気がします。
Re: (スコア:0)
なるほど、疑問が解けました。確かに合理的。
只のカメラ映像じゃなくて測距データを組み合わせて、輝度情報と置き換えたら立体視(?)もできそうだとか、
左耳は左半球、右は右半球に割り当てて全方位視覚とか色々妄想が膨らみます。
Re:エコーロケーションではないのね (スコア:2)
X51.ORG : 音で世界を"視る"少年 米
http://x51.org/x/06/07/1944.php
--- 「お前はすでに限界までモデレートされている」
Re:エコーロケーションではないのね (スコア:1)
脳の機能分担 (スコア:1)
脳の機能が固定だなんて考えじゃ、リハビリでの機能回復が説明出来なくなるから、完全固定じゃ無いのは自明だと思ってたが。
ま、脳には絶対的なエネルギー消費の上限があるから、一番効率の良い部分が機能分担するのが一般的ってだけなんだろうなと。
で、視覚情報処理の機能が無い分、余剰のエネルギーで別の処理が可能になってもまったく不思議じゃ無いかと。
尤も、一旦機能分化したのを再編成すると、効率が悪化するだろうから、後天的に新機能を獲得するのは難しいだろうなあ。
-- Buy It When You Found It --
原理が分からない (スコア:1)
上下方向の情報はどうやって分けているのでしょうか。
ソースからは分からなかったので仮説ですが、
周波数が2次元的に区切られているのではないかと思いました。
上下方向と色方向で。
ソースの動画では色を間違えていたので、色の方が細かく細かく分けられているのでしょうか。
#手話の逆ができるとはすごい
Re: (スコア:0)
電話のトーン信号のように2音を組み合わせているとか?
同目的の違うシステム (スコア:1)
でしょ (スコア:0)
デアデビル
ソリトンの悪魔 (スコア:0)
ホロフォニクスソナーか
Re:ソリトンの悪魔 (スコア:1)
漫画で近いのだと「死がふたりを別つまで」で主人公が似たようなのがあったけど、そんな感じなんすかね。
潜水艦のソナーの解析を強力にした感じで、反射音の返りを細かく分析して視界にはポリゴン状で状況が写しだされる感じだったけ。
そして見えるって言ってる人にはどういう感じに見えているのか凄く気になります。色とか光とかはないんだろうし。
#ステマです。結構好きな作品だなぁ
コブラ ソード人の秘密 (スコア:1)
漫画の方もアニメでも、ちょっち表現がいい加減でしたね（走召糸色木亥火暴）
"castigat ridendo mores" "Saxum volutum non obducitur musco"
Re: (スコア:0)
>見えるって言ってる人
古谷徹の声なら、額に閃光が走るんだろうか。
「死がふたりを別つまで」は、最近は微妙。
序盤のシェアードワールドでなんでもありっぽい展開はちょっとよかったんだけど、
長く続いて、ダレたか。キャラが多すぎて持て余し気味？
#ここでまさかのARMS投入とかせんかね
Re:ソリトンの悪魔 (スコア:1)
森博嗣の「そして二人だけになった」でほぼ同等のガジェットがあったような？
使うシーンがあったはずだけど描写は覚えてない。
逆はないのかよ！ (スコア:0)
by 佐村河内守
# ホントはいらないけどな！
Re: (スコア:0)
耳から怪音波を出すと白黒画像に変換されるってなにそれコワい
Re: (スコア:0)
もう実用化されていますよ。メディアプレイヤーで音声だけのファイルを再生すると、波打ち模様がでるじゃないですか。訓練すれば手話など無くてもあの模様で言葉が判別できるのです。もちろん佐村河内氏のぐーぐるグラスにも搭載されていますよ。なぜか最近はしかられるからつけなくなったみたいですが。
つまり、バーザーで電磁波や空間のゆがみまでも見れる様になるのでしょう (スコア:0)
ジョーディ・ラ＝フォージ
http://ja.wikipedia.org/wiki/%E3%82%B8%E3%83%A7%E3%83%BC%E3%83%87%E3%8... [wikipedia.org]
出生時の障害により生まれながらの盲目。5歳の頃よりヴァイザー（VISOR, Visual Instrument and Sensory Organ Replacement）を装着し、人間に見える可視光線の他にも様々な視覚情報を認識できるようになる（ヴァイザーから見る映像は、肉眼で見るそれとは全く異なる）。
つまり、どういう？ (スコア:0)
どういうプロトコルなのかわからん。
特定の周波数を特定のX方向ピクセルに対応付けて走査線1ライン分入力、
Y方向解像度の分だけその和音を鳴らせて1画面完成ってこと？
左右の耳で違う入力ができれば2ライン一括で行けるな。
色々考えられるが…これは絶対音感なきゃ無理くせぇなｗ
//これで行くと僕の場合は2×5ピクセル程度が認識できる限界か
//ドライバーのアップデートをしてください
Re: (スコア:0)
別に絶対音感はいらないでしょ。
# それとも絶対音感を他の何かと間違えてる・・・？
Re: (スコア:0)
異なる周波数を多重化させる
更にフェイズをコントロールする
脳がどこまで対応できるかだな
映画でみた (スコア:0)
ローレライ・システムとかいうやつですね