NHK、手話CG翻訳生成システムを開発中 39
ストーリー by hylom
日の目を見るといいなぁ 部門より
日の目を見るといいなぁ 部門より
あるAnonymous Coward 曰く、
NHK放送技術研究所が、日本語ニュースを手話に翻訳してCG化するシステムを開発しているそうだ（Engadgetの記事）。まだ翻訳できる文章は限定的で手動での修正が必要とのことだが、技研公開2011でデモも行われたそうだ。
もし萌えキャラがリアルタイムで手話を話すようになったらどんな未来が訪れるのだろうか。
まずその死んだ魚のような目を何とかして欲しい (スコア:2, 興味深い)
http://www.hitachi.co.jp/Prod/comp/app/shuwa/ [hitachi.co.jp]
少なくともキャラクターは日立の方がましですね。
Re:まずその死んだ魚のような目を何とかして欲しい (スコア:1)
キャラクターをのた魚にしちゃえば違和感ないんじゃない？
らじゃったのだ
技術的なキモはどこなんでしょう (スコア:2)
音声認識の結果からモーションを選択しているのならば、
CGでなくても動画をつなげていくだけでもよさそうに思えますが、
CGの利点は単語モーション間の補間ですかね。
補間することでどれぐらい認識しやすくなるのかはわかりません。
技術的には音声認識のほうがずっと難しいと思うので
自動字幕生成や翻訳の為の音声認識エンジンの研究開発があり
その結果を用いて手話モーション生成を作ってみたという感じでしょうか。
手話通訳者を雇う人件費を軽減できますよというデモですかね。
Re: (スコア:0)
制作の現場ではTVMLという簡単なスクリプトで
3Dモデルを動かせる言語が使われていて
その発展形で手話翻訳システムが出てきたので
音声認識などは使われていなかったと思います。
文章を入力をするとそれに合わせて自動で口パクしたりして楽しそうでした。
Re: (スコア:0)
流し見だったのでうろ覚えですが、
・モーションキャプチャして、TVMLで動かしています
・文章を入力すると、手話で表現します。（サンプルは天気予報）
・災害時や緊急情報にも使いたい
・表情が無いので改良したい
確かこんな内容でした。
口パク部分はサポート外なのですね (スコア:1)
ja.wikipedia.orgをざっと眺めたら…
絶望した! 手話では日本においてすらバベリズムが既に十分満ちている。ピジン言語、クレオール言語、口話併用手話……。
Re:口パク部分はサポート外なのですね (スコア:1)
wikipedia に何と書いてあるのかは見てませんが、
口パクは案外重要らしいですね。
http://mainichi.jp/select/opinion/yoroku/news/20110606k0000m070135000c.html [mainichi.jp]
定型文にすることで何とかなるとは思いますが、
実際に使えるようにするまでは技術的困難がありそうですね。
日本手話は文法的に日本語ではないんだけど (スコア:1, 興味深い)
翻訳は実用的なのかねぇ
口話対応手話なら出来ないこともないだろうけどさ、
聾学校によって方言がある、くらいなので。
#学生の時良く聾学校の生徒と乗り合わせたんだけど、手話ニュースの倍の速度で楽しそうに「雑談」してるんですね。
Re: (スコア:0)
> まだ翻訳できる文章は限定的で、うまく表現できないところは人手で修正を加えていますが、災害ニュースなどは定型的なぶん翻訳しやすいとのこと。
リンク先にこんなことが書いてあるのだから、後は察してやれよ。
公共放送なんだから公開してよ (スコア:1, すばらしい洞察)
そうすれば、もしかしてもしかすると、MMDに組み込まれるかも知れないじゃん！
Re: (スコア:0)
MMDって開発終了じゃなかったっけ。
まあMMD自体に組み込むようなものなのか知らないけど。
Re:公共放送なんだから公開してよ (スコア:1)
どっちかってーと、MMDAgentのほうがよいんじゃないかな
# 初音ミク、エージェントになる？――名工大「MMDAgent」がもたらす未来 - ITmedia News [itmedia.co.jp]
実際、案内について適切なモーションは今回ので作成する、っていうだけでも使いではありそうだし。
M-FalconSky (暑いか寒い)
Re: (スコア:0)
http://www.nhk.or.jp/strl/tvml/japanese/what/index.html [nhk.or.jp]
手話のメリットが良く分からない (スコア:1, 興味深い)
映像なら、日本語字幕で良いんじゃないのかな。
手話知らない人でも分かるし
あえて手話で行う事のメリットってあるんですかね？
ニュースを伝える為だけでなく
手話文化(?)の普及のために行っているというのなら納得なんですが
Re:手話のメリットが良く分からない (スコア:2)
聴覚障がい者 = 手話、と考えるのは健常者の幻想です。
実は、聴覚障がい者における手話普及率は 15% 程度しか有りません。
国内の聴覚障がい者は500万人ぐらいなので、85%の425万人には手話は無意味ということになります。
Re:手話のメリットが良く分からない (スコア:1, すばらしい洞察)
生まれた時から聴覚に障害がある方は、読み書きの発達というか習熟も遅れがちなんで、
そのためでしょう
日本は発展途上国よりははるかに教育環境が整ってるので読み書きが出来ない
という方は少ないとは思いますが得意ではないという方はいるんじゃないかと
思われます。
Re:手話のメリットが良く分からない (スコア:1, 参考になる)
手話と日本語は別の言語だと考えた方が良いでしょう。単語が動作に置き換わってるのではなく、文法から違う別言語。
手話が第一言語な人にとっては、日本語の読み書きというのは第二言語の読み書きになるので、得意でなくとも不思議はないかと。
(そういう人は夢も手話で見るし、自問自答するような内省的な発話も手話なんだそうです。)
中途失聴の人なら、日本語字幕が出てくれる方が手話よりうれしいでしょうから、結局両方必要なんですね。
Re:手話のメリットが良く分からない (スコア:1)
日本語の読み書きが第二言語ということであれば、同じ日本人でありながら聴覚障害者と健常者の文化圏がそもそも異なるということですよね？
それって、障害者の社会への関わり方として正しい（良い？）ものなのでしょうか？
#仕方が無い、と言ってしまえばそれまでなんですけど。
#たとえば日本でも英語を第一言語にすべきだ、なんて言われても困りますし。
Re: (スコア:0)
社会のありかた、まではわかりませんが、文化は確かに違いますね。
たとえば会話では実際に会うことがとても重要なので、
互いの家に行くことのハードルも低かったりしますし、
あとはやはり日本語のように敬語が細かくないから
フランクなつきあいになりがちです。
文化が違うことを意識しないと、「なんだか子供みたいだな」と
ビックリすることがあります。
Re:手話のメリットが良く分からない (スコア:1)
技研公開で、直接「字幕だけじゃなくて、なぜ手話CGが必要なのか？」と聞きました。
その答えは・・・
でした。
日本語字幕があるから、音声なくていいでしょ？
と言われてるようなものかと思って納得しました。
Re: (スコア:0)
元ACです。
なるほど、手話が第一言語であるとは思い至りませんでした。
過去に私が関わった方は、手話が第二言語である方ばかりでした(推測ですが)
Re: (スコア:0)
字幕を有効にしてＴＶニュースを見ると一目瞭然ですが、字幕の情報量は非常に少ないです。
かと言って口述で読み上げる原稿と同じ内容を字幕で出されても読みとれません。
Re: (スコア:0)
> かと言って口述で読み上げる原稿と同じ内容を字幕で出されても読みとれません。
アメリカのTVは、聴覚障害者/難聴者向けにほとんどの番組に字幕 (closed caption) が入っていますが、
その字幕の情報量はかなり音声に近いです。原稿のあるものは原稿をほぼそのまま使うことが多いはずで、
「原稿に書いてないアドリブ」がCCに反映されてないことはありますが。
従って相当速いですが、慣れれば読み取るのは難しくありません。字幕映画を見るときのように、
一瞬字幕に目をやってあとはずっと画面を見ている、というような見方はできませんが。
騒がしい場所とか、音声を消して映像だけを流してる場合は、健聴者にも便利です>CC
(私はジムで自転車漕いでる時によく音声なし、CCありのニュースやドラマを眺めています。)
Re: (スコア:0)
手話を第一言語にしている人って、手話の読み取り音声言語を第一言語にしている人が耳で聞く並に早いですよ。
口頭で読み上げているのを聞くより、字幕の方がいいでしょって言っているのと同じ感覚だと思います。
Re: (スコア:0)
・普通は、会話を聞くより文章を読む方が速い。
・手話も字幕も視覚を要求するのは同じ。ならば速い字幕の方が有用。
と考えるのが普通だと思うんだが、
それでも字幕より手話の方が良いという納得のいく理由を教えてほしい。（煽りでなく真面目）
Re:手話のメリットが良く分からない (スコア:1, 興味深い)
たぶん、普通じゃないからだと思いますよ。
手話は日本語をジェスチャーで表したものじゃなくて、一つの言語なので。
Re:手話のメリットが良く分からない (スコア:1, 参考になる)
Re:手話のメリットが良く分からない (スコア:1)
以前、手話サークル在籍の方に聞いたことがあるのですが、
2時間程通しで講演の手話通訳をされた方が、終わった直後に倒れて救急搬送されたとか。
大抵は30分ほどで交代するらしいのですが、
終わった後はぐったりするほど疲れると言ってました。
☆大きい羊は美しい☆
Re: (スコア:0)
> 口頭で読み上げているのを聞くより、字幕の方がいいでしょって言っているのと同じ感覚だと思います。
あ、私はそっちの方がいいです。
┌────┐
│なのは│
├────┴────────────┐
│「…『魔法』って、信じる…？」│
└─────────────────┘
ぜひこんな感じでひとつ。
# 音声はスキップしちゃう派なのでAC。
Re: (スコア:0)
少しは考えろよ
口癖 (スコア:0)
手話で「にょ」とか「だお」とかいった口癖はどうするんだろうか。
いつも文章の終わりにオリジナルの踊りでも付けるんだろうか。
Re:口癖 (スコア:1)
語尾よりも、兄の呼び方が１２通り必要というのが問題だと思う。
Re:口癖 (スコア:1)
律儀な翻訳家泣かせですね。額田やえ子さんみたいな超越した手腕があれば別ですが。
日本で使われる手話が何通りかあるということと、手話の方式が同じでも方言がある [srad.jp]ということ、
口話併用手話にする/併用しないを適宜ちゃんぽんに使い分ければ12通りくらいまじめに実現できそう。
それで同じ興味を持てる結果になるか、こんなはずじゃなかったといわれるかは誰かやってみてくだされ。
Re:口癖 (スコア:1)
>手話の方式が同じでも方言がある [slashdot.jp]ということ、
>口話併用手話にする/併用しないを適宜ちゃんぽんに使い分ければ12通りくらいまじめに実現できそう。
方言について言い始めるとそれこそ12通りの兄が河内弁名古屋弁三河弁横浜弁などと圧倒的物量さになってしまいそうで、これはこれで手話では無理ではなかろうか？とも思ってしまいます。
「萌え」とかが話題になった場合、手話でどこまでそういったニュアンスや言葉に隠れた感覚が表現できるのだろうか？と心配になってきますね。
>こんなはずじゃなかったといわれるかは誰かやってみてくだされ。
手話で、「ルイズゥウウ...クンカクンカ」のコピペがはたして上手くできるのか？
それよりも短い「べっ、別に付き合ってあげても いいんだからねッ!!
勘違いしないでよ、そういうコトじゃないんだから!!」も無理じゃないか？
とか思っているわけですが、手話関係ではそういった会話はないのだろうか？
Re:口癖 (スコア:1)
＞手話でどこまでそういったニュアンスや
＞言葉に隠れた感覚が表現できるのだろうか
私は手話を話せないのですが、手話を使いこなす
妙齢のご婦人の立ち話を見かけたことがあります。
ええ、まぁ、ぶっちゃけ
「手話で井戸端会議をやってるオバちゃん」
を、見かけたワケですね。
会話の内容は、さっぱり分かりませんでした。
ですが、その立ち振る舞いは、
口話のそれと全く同じように見受けられました。
手話であっても、それが人の用いる言葉である以上、
ニュアンスや感情といったものが入り込むのは、
ある意味、必然なのではないでしょうか。
字幕じゃだめなのかと (スコア:0, 既出)
t/o
やっぱり (スコア:0)
これぞアレゲ！！ (スコア:0)
Re:これぞアレゲ！！ (スコア:5, おもしろおかしい)
kinectでアメリカ手話の認識なんて話しもあるんだから
相互翻訳も期待していいのかなと。
ってのは置いといて、
昔、電車の中であった光景
男A,B=日本語話者 女A手話者、女Bバイリンガル
-----
女A「(手話)」
女B「君等はどんな関係か?って」
男A「友達。」
女A「(手話)」
女B「え、」
男A「なんて言ったの?」
女A「(手話(言って的な))」
女B「そういう仲なんじゃないのか?って」
男A「え?」
女A「(手話)」
女B「・・・どっちが攻めか?って」
男A「は?」
女A「(手話)」
女B「男Aが受けで、男Bが攻めじゃないの?」
男AB「・・・」
男A「いやそういう関係じゃないよ」
女A「(手話)」
女B「逆か?って」
男A「いや、ほんとそういう関係じゃないから」
男A「あ、そういう手話もあるんだね」
-----
うろ憶えだし、実際には「立ち、猫」って言ってた気がするが内容的にはそんなかんじ。
手話以前に女の子二人がかわいかったから絶望ぶりがはんぱなかった。
あの車内の空気とか忘れられん。
そして、そのとき受け攻めの手話が解ってしまった自分が悔しい。(かなりストレートな表現だった。)
今ならわかる。腐ってたと。
アレゲでいいよね?