パスワードを忘れた? アカウント作成
833 story

口で動かすサウンドエフェクタとは 35

ストーリー by kazekiri
お口モゴモゴ 部門より
k3c 曰く,"NewScientist.comの記事によると、京都のATR知能映像通信研究所で、口で動かすサウンドエフェクタが開発された。楽器の演奏などをMIDIに変換し、ヘッドマウント方式の小さなデジタルビデオカメラを装着して口を動かすことで音の高低などを加工できるという。カメラで口の中にできる影の形を検知するしくみだ。研究者によれば、人間の顔の筋肉はとても精妙に動かせるので、従来の足踏み式よりも細かい操作が可能だという。
想像してみよう…口の前にデジタルビデオカメラを置いたミュージシャンがエレキギターをパソコンに繋いで演奏し、キーボートをかたかたと叩いて口を動かす。スピーカから「うにょ~ん」というあのサウンド…すごく違和感があるのはワタシだけですか?"
この議論は賞味期限が切れたので、アーカイブ化されています。 新たにコメントを付けることはできません。
  • by 2k (4210) on 2001年08月18日 17時56分 (#14590) ホームページ 日記
    MIDIテルミンにNovaでも繋げて
    舌の上下→カットオフ/レゾナンス
    舌の出し入れ→リバーブ長にMix
    口の形→波形スキューにディストーション
    当然声はそのままボコーダ入力
    おまけにヤマハMiburiでバンドミックスにEQもかけちゃえ!

    すっごいサイバーなライブが出来そうですな(笑)
    フットスイッチでリズムマシンのコントロールすれば
    21世紀のワンマンバンド完成!
  • 「人間の顔の筋肉はとても精妙に動かせる」というところから、微妙な調整が必要な操作に応用できないかと思いました。
      例えばグラフィックエディターで、ブラシのサイズ、等明度の調整とか、エフェクトの適用量の制御とかにどうでしょう。
      もっとも、絵を書いているとき人に見られたくないですけど
  • by ShibaQ (2782) on 2001年08月19日 2時16分 (#14680)
    に流用できませんかね。非接触で筋肉の動きを検知できるようなんで、 衛生面の問題もなさそうですし。表情筋の動きまで読めれば、聾唖者 の口の動きをよんで流暢に話してくれるデバイスなんかができると いいかも。
  • by G7 (3009) on 2001年08月19日 21時13分 (#14880)
    >ギターを弾きながら他の音色にモーフィング

    RolandのVG(VirtualGuitar)と組み合わせて使えないかなあ。
    あの、とんでもなく自由度の高い音質変化が可能なEffectorのお化け。
    #弦一本づつの振動を取りだし、DSPに通して、全然違う音に化けさせるそうな。

    あれ、自由度が高すぎて、「普通のUIでは」その変態ぶり(笑)を十全に活かせない
    んじゃないかという気がするです。単なる音質変換機として使うなら別だけど。

    ところで、そこまでサイバー(?)な使い方じゃなくても、たとえば
    単なるVolumeに割り当てるってのも良いかも知れません。
    バイオリン奏法をやりたいけどギター本体のツマミや足もとのペダルでは
    全然うまくできないヘボスケな俺なもんで。
    まぁその程度だったら、随分前にもたしか、口腔内に光センサをくわえて
    口の開閉を(明るさで)感知するデバイスがあったんで、それで足りるかもですが。

    エレキ口笛って想像がつかないなあ。
    あ。口の開閉とかで音程が変わればいいのか。
    口の開閉の、左右が音量で上下が音程とか。(逆は多分肉体的に辛いので却下)

    そういやコミケでテルミンな人に遭えなかったなあ(T_T)
    あれ?(俺が見てない)金曜だったのかな?カタログは仕舞っちゃったんで不明…
  • >もっとも、絵を書いているとき人に見られたくないですけど

    「ふっと吹きつける」ような口仕草をしたら、絵の具が飛び散ってくれるとか(^^;

    ま、virtualじゃなくrealな世界でも、ハタから見たら滑稽な仕草なんてものは
    山ほどあるんで、それはそれで楽しいです(^^;

    あ。「舌の動きでペインティング」などという、かなり見られたくないUIを今一瞬考えてしまった(笑)
    なんかエッチっぽいかも(^^;;;
  • >聾唖者の口の動きをよんで

    蛇足ですが、楽器屋と障害克服デバイス屋とは、色々通じるものがあるようですね。
    どっちも人体をフルに使って(わかつきめぐみ風にいえば「正しく」使って)
    なにかを自在にコントロール&知覚することを目指した分野だから、かな。

    補聴器だかのメーカーだったのが盲人ミュージシャンとの出会いで楽器分野に進出したってのは
    カーツウェルでしたっけ?

    そういや昨夜もNHKで体いっさい動かない人のUIのことをやってました。
    脳波を測って1bitの(!)情報を得る仕掛けのようですね。
    うーん。彼のマシンのbit数が増えることを切に祈ります。
    ていうか、その前は2年ばかり0bitだった(!!!)そうで、…あまりのことに言葉が詰まります…
    運動野の信号とかって取れないものなのかなあ?
  • by G7 (3009) on 2001年08月19日 23時03分 (#14908)
    バイオリンみたいに弓で弾くノコギリっすよねそれ。
    わりとメジャーな(ぉぃぉぃ)楽器じゃないかな。

    以前、井の頭公園でソレのストリート(?)パフォーマンスしてる人を見ました。

    なので少なくとも関西限定ではないです。
    「おーまーえー」ってのは知りませんが(^^;
    ん?まてよ?ノコギリの音で「おまえはあほや」って発音模写(?)をするアレですか?
    ならば全国区なTVでも見たことがあると思います。
  • by G7 (3009) on 2001年08月20日 15時16分 (#15137)
    完全オフとぴですが(^^;、Roland の HandSonic
    ( http://www.roland.co.jp/products/mi/HPD-15.html )って、
    UI的にも音(つーか叩き心地)的にもかなり良い感じだと思っています(^^;
    もーちょっと安かったら一発買うんだけどな(^^;

    打面を押さえつけるとその圧力できちんと(^^;ピッチが上がる、とかを設定できるつー奴。
    他にもリボンコントローラーや光センサもついてるし(^^;

    #この光センサの上に、口をかざしたら、どうなるんだろう?(笑)

    電子楽器を使うときって、「生楽器と同じ程度の自由度」が無いと
    演奏者にストレスたまるってのは、やっぱりありますね。
  • by kodama (286) on 2001年08月18日 18時30分 (#14598)
    そのエフェクタを自分の声にかけながらながら歌うと、どうなるのだろう。予期しないようなすげーエフェクトがかかって、楽しかったりして。
  • とも思った。

    確かに口唇部の筋肉は精密に動かせるから制御に 向いているのはそうなんだろうけど、 ビデオ入力でそれを読み取る事ができるのか? 解像度の点から見てはなはだ疑問。(つまりうまく いかなかった経験があるんですが…)

    #誰か「エレキ口笛」作ってくれんかなぁ。

  • by Anonymous Coward on 2001年08月18日 18時41分 (#14605)
    21世紀のチンドン屋だな
  • トーキングワウとかは「楽器を演奏する」と「歌う」を平行してやるんでしたっけ? 実際出力される効果も、演奏している側も気持ち良いのでアレはいいんですが、これはどうなんでしょうね。
    # 自分が出せない音程の歌を聞きながら口を動かすと気持ち良いですよね。
    # パットメセニーグループが気持ちよかったのもこのへんか?

    普段おこなう目的とリンクしていない動作を要求するユーザI/Fは概して使いにくいもの/使う気がしないモノが多いです。この製品を良く知らないで言うのもなんですが、訓練を要する特殊技能モノは今どきカンベンってな気がします。
  • 「もうちょっと右」とか「もうちょっと小さく」なんて指示したいのを目のつぶり加減でできると面白いでしょうね。
  • 確かに、newscientistの記事を読む限りでは
    古き良きトークボックスの存在を100%無視している感じですね。

    トークボックスは、ご存じの通りスピーカーで鳴らした音を
    自分の口の中で響かせるという構造ですから、
    おそらく、扱いづらい代物だろうと思います。
    実際に使ったことが無いんですけどね。

    ビデオで口の動きを拾う方法では、音声etc...の、
    加工される側の信号をコントロールしやすいというメリットは有るのかも知れません。
    (口で何らかのコントローラーを直接くわえた方が確実じゃないかなとは思いますけど。むしろそちらの方が難しい?)

    いずれにせよ、ギタリストの道具と言うよりは
    キーボーディストやマニピュレーターの道具としての方がしっくりきそうな気はしますね。
    あとは、トークボックスの代用品に終わらせない為に、ワウ以外の何かのコントロールに使うとか。
    --
    gy0
  • > 実際出力される効果も、演奏している側も気持ち良いので

    そうっすか?
    調子ぶっこいて遊んでいると、吐きそうになりません?

    (オフ-トピックスです、はい。)
    --
    from もなか
  • by tma20 (3064) on 2001年08月19日 0時02分 (#14659)
    ギターを抱えて首に固定したハモニカを吹く光景はたまに見ますが…
    技術の進歩が新しい楽しみ方を提供してくれる例でしょうね。

    話はそれますが、SF小説「宇宙の戦士」に登場する
    パワードスーツの制御系も顔の筋肉を使ってたりします。
    視界を赤外線に切り替え、とかね。
  • >調子ぶっこいて遊んでいると、吐きそうになりません?

    その昔、まだロッキンfの表紙がピーターフランプトンや
    ロビントロワーだった頃、トーキングモジュレーターの
    記事には注意書きとして長時間の使用は危険と書かれて
    いたような。ご自愛下さい。
    --
    --- Lcs(http://lcs.myminicity.com/ [myminicity.com])
  • たとえばギターを弾きながら他の音色にモーフィング
    させるとか、フィードバックのコントロールに利用
    できると面白そうだな、と思います。やっぱり飛び道具的な
    扱いになるかな?
    --
    --- Lcs(http://lcs.myminicity.com/ [myminicity.com])
  • by Asagi (333) on 2001年08月19日 4時36分 (#14691) 日記
    カッコ悪いだろーから、ライブでは使われないと思ふ(笑)。
    スタジオでも、どーかなー?

    #楽器は機能よりもスタイルが重要でしょ。
    ##楽器以外のインタフェースとしては面白いと思う。
  • する サックス型の MIDI コントローラのは既にありますね.

    リードに加わる圧力もセンス可能,ということです.

  • by m-aya (3320) on 2001年08月19日 7時11分 (#14707)
    口…っていうか声で音を変化させる楽器ですけど、
    『ボコーダー』なんてのも昔からありますよね。
    トキオ~!トキオ~!って。
  • > 調子ぶっこいて遊んでいると、吐きそうになりません?

    ちょっとアンプ経由で音を出してみた段階で、
    「え。これ口にくわえるの…?」
    あまりにも体に悪そうで、くわえる勇気が出ませんでした。
    --
    [udon]
  • by gy0 (3393) on 2001年08月19日 11時58分 (#14747) 日記
    さらに、ソレをヴォリュームペダル代わりに使えるように改造してもらって、
    ギターで使っているというギタリストもいるのです。
    確か、MESHUGGAHのギタリストであるFredrik Thordendalだったと思うんだけど。
    残念ながら実際に聴いたことはない・・・。

    --
    gy0
  • 「トーキングワウを過度に使うとハゲる」という 噂もあったっけか。
  • そんな貴方に「やわらかインタラクション」。 呼気入力を使った「霧吹き型インターフェース」 というのがあります。マイクに向かって「ふっ」と 息を吹きかけると、その強さに応じてエアブラシ の強弱を制御できる。元慶應大学安村研究室の 伊賀さんの研究です。
  • by Asagi (333) on 2001年08月19日 13時53分 (#14769) 日記
    ま、確かにEdgeなArtistだったら使うかもしれないけど、音楽シーンの大半がかなり保守的だと思うん。

    #パフォーマンスとしては面白いとは思うけど、やっぱり音楽界に定着するとは、あんまり思えないなぁ。
  • >聾唖者 の口の動きをよんで流暢に話してくれるデバイス

    HAL って読唇術ができたんでしたっけ?
    こういう機能がケータイにでも付けば、車内での他の人 への迷惑も減ることでしょう。

  • パフォーマンスといえば
    マキタの電気ドリル使ったポールギルバートとビリーシーン。
    これはこれで面白かった。

    個人的にはあまりエフェクトされた音より
    真空管アンプ通しただけの音が好き。

    オフトピックです。
  • 奇妙な楽器と言えば横山ホットブラザーズのノコギリ演奏術等が好きです。
    #「お~ま~え~は~」のアレです(笑)
    ##関西人限定ネタか?
  • はい。その発音模写(?)のアレゲなアレです。

    全国規模で知られる物でしたか。
    昔ナイトスクープでアレの有効範囲を調べるみたいな企画を見たときは思ったより知られていないと聞いた覚えがあったのですけど横ホブファンとしては嬉しいなァ。

    まぁ変わった方法で音を出す事を楽しむのは全人類共通の快楽原理であり、この研究や横ホブはその正当な延長線上にある兄弟的存在、と考える事も出来ますね。
    #なんて無理やりオントピックに持って行ったり

    #行けてないか(^^;
  • まぁ、他にも応用法はいろいろあって、打楽器にも面白そう
    とか考えるわけです。
    例えばKorgのWaveDrumなんかは圧力センサーと加速度センサーを
    組み合わせているんですけど、あれだと叩きながら胴を
    締めたりゆるめたりするのがちょっと面倒で(足は
    他の楽器の為に空けておきたいし)そういった場合には
    有効なコントロール手段だと思いますね。
    --
    --- Lcs(http://lcs.myminicity.com/ [myminicity.com])
  • by G7 (3009) on 2001年08月20日 4時46分 (#15003)
    ATRといえば、2年くらい前に、音声合成ソフト「CHATR(ちゃたー)」ってのも出してましたよね。
    デモ演奏(歌を歌ったMP3)がイイカンジだったなあ…しみじみ…
  • オフトピックネタにもかかわらず返信ありがとさんです。

    残念ながら「横山ホットブラザーズ」存じ上げません。

    なんかのTV番組でノコギリで音階奏でてる方の映像は
    見たことありますがこれがその「横山ホットブラザーズ」
    さんかどうか未確認。

    #横浜人です。
  • 横山ホットブラザーズは存じあげておりますが、 母集団が偏っていると思われ ;-)
    算盤をふり鳴らしつつ自己紹介なぞをしたほうが、まだ理解率が高いかと… ;-)
    --
    タブレット中毒者。
  • by Anonymous Coward on 2001年08月19日 9時21分 (#14723)
    シンセオタクが機材並べてステージに立つ時代にその楽器感は合わないような気がするな。
    ミブリとまでは言わないけどこの手のキワモノ楽器でガンガンライブする世代に大期待ぢゃ。

    #個人的に見た一番不細工なライブはスタイロフォンをKaosパッドに刺してステージ跳ね回ってたドイツの某さん
typodupeerror

一つのことを行い、またそれをうまくやるプログラムを書け -- Malcolm Douglas McIlroy

読み込み中...