武漢大学ら、写真や動画を新海誠や宮崎駿っぽく変換する技術を開発 42
ストーリー by nagazou
動画は不自然さが目立つかな 部門より
動画は不自然さが目立つかな 部門より
写真をイラスト風にする技術は昔からあるが、この「AnimeGAN: A Novel Lightweight GAN for Photo Animation」は、深層学習を用いることで宮崎駿風、新海誠風といった作風を再現できるソフトだそうだ（ITmedia）。
このソフトでは変換される先をアニメ風に特化していることから、パラメーターが少なく、処理が軽いのが特徴だという。Tachibana Yoshino氏がこのAnimeGANのオープンソース版を元に、TensorFlowを使用して実装したものをGitHubで公開しているとのこと。また変換したものを動画にしたものもアップされている。
このソフトでは変換される先をアニメ風に特化していることから、パラメーターが少なく、処理が軽いのが特徴だという。Tachibana Yoshino氏がこのAnimeGANのオープンソース版を元に、TensorFlowを使用して実装したものをGitHubで公開しているとのこと。また変換したものを動画にしたものもアップされている。
ヲタクの感想 (スコア:2)
いまいち
とりあえずフレームを賢く間引く技術がいるのでは？
そこがディズニーとかと日本のアニメの大きく分ける特徴ですし
Re:ヲタクの感想 (スコア:2)
間引くのはコスト削減のためだから、できるならフルアニメにするに決まってる
って前提があるんじゃないですかね
Re: (スコア:0)
そんな前提はないような。
3DCGアニメでも意図的に間引いたりしてる。
自分が見たのだと、「ブブキ・ブランキ」 https://youtu.be/P3BLmlEehIY [youtu.be] とか。
「スパイダーマン：スパイダーバース」では、複数のコマ数が混じっているらしい。
https://mediag.bunka.go.jp/article/article-15263/ [bunka.go.jp]
これらの場合、コスト云々ではなく、作風とかクオリティのためというのがメインかと思うので、コスト削減に動くならヌルヌルになるかもですが。
# ブブキ・ブランキは、CGアニメもここまで来たか、と思ったけど、ストーリーが面白くなくて切ってしまった・・
Re:ヲタクの感想 (スコア:2)
「タメ」とか「ツメ」とか？
https://www.google.com/search?q=%E3%82%A2%E3%83%8B%E3%83%A1%E3%83%BC%E... [google.com]
演出の範疇だから、全般的にフルアニメだけど狙って一部に適用、みたいな。
Re: (スコア:0)
上から目線でケチつけてるうちに、気がついたら大差つけられてるいつものパターンが見える。
Re: (スコア:0)
中国文学の発展がもうとっくに止まってるのは中国人ですら認めてるのに、何を怖がってんの？
Re:ヲタクの感想 (スコア:2)
一方、日本では中国SFの「三体」シリーズが爆売れしていた
Re: (スコア:0)
5年くらい前まで、日本の過去のパクリは学ぶためだったが、
中国人はパクるだけで学ばないので脅威にならないとか
言ってた人たちがいましたけど、いまはどうしてるんでしょうね。
Re: (スコア:0)
今でも変わってないよ。他国依存のTikTokやHuaweiを見てごらん。
Re: (スコア:0)
「中国人はパクるだけで学ばないので脅威にならないとか言ってた人たち」
の行動は今でも変わってないようだな
Re: (スコア:0)
Huaweiって遂には世界一位の出荷台数叩きだしたよな。
Re: (スコア:0)
Huaweiは本当に凄い企業になった。
アメリカが中国の一企業の力に危機感を抱いて反発するようになるなんて、誰が想像できただろうか。
Re: (スコア:0)
Huaweiはパクリどころか、世界最大規模の研究開発費を投じる企業でしょ。
Re: (スコア:0)
今でも「日本は半導体や家電で世界をリード」とか言ってるんじゃない？
Re: (スコア:0)
まあ消費者と創作者は違うカテゴリの人間だからしょうがない。
Re: (スコア:0)
いまいちなものすら作れない奴が言ってるだけだからな
Re: (スコア:0)
感想を言うだけで「上から目線」とか「ケチつける」とかどんだけ自分を卑下してるんだろう
Re: (スコア:0)
あなたの世界では「上から目線」と言うと自分を卑下したことになるんだねえ。
宮崎駿風 (スコア:1)
漫画版のナウシカっぽい感じにするのかと思った。
/*
どんな風景でも腐海風にしてしまう、というのが出てきたら嫌だな。
*/
Re:宮崎駿風 (スコア:1)
【耳をすませば】近藤喜文と宮﨑駿と月島雫のスカート問題 [togetter.com]
これを反映した動画変換なんだよな？？？
「少女は須らくスカートを抑えないでしゃがみ込む」＝宮崎駿風フィルター．．．．
Re: (スコア:0)
ラピュタっぽくする技術はずいぶん前に確立されていた
「バルテュス」とかいうアニメで使われていた
Re: (スコア:0)
髪が白くなって、眼鏡と髭が付け加えられるんじゃあないのか?
とっくに中国がやった (スコア:0)
数年前に中国のアプリメーカーが写真を新海誠の絵柄っぽくするアプリを出してたよね。
いろいろあって消えたけど。
動画とか宮崎駿ってところが新しいの？
Re: (スコア:0)
あれは「っぽく」じゃなく、実際のアニメから背景を抜き出して合成してたことが発覚してる。
技術的にも別物し、権利的にもアウト
そういうフィルタ (スコア:0)
前からありませんでしたっけ。ゴッホ風にするのとか。
わたせせいぞうフィルタを作って久米田康治が使う、ってのはどうだろう。
杉浦茂フィルタもいいかも。
Re:そういうフィルタ (スコア:1)
前から思ってたんだけど、写真をクロード・モネ風に変換するフィルタを
開発したら一山あてられるぞ。
これが本当のマネタイズ。
Re: (スコア:0)
エドゥアール・マネ「なんでモネ…」
#AnimeGUNだとへっぽこ作画風に変換してくれるのだろうか
Re: (スコア:0)
ですよね
既存のフィルタを組み合わせて**風にするってだけに感じます
Re: (スコア:0)
まあ、話の本筋としては
今回の手法では、実写からアニメ画像に変換するGAN（Generative Adversarial Network）を用いた新しいフレームワークを提案している。画像から画像へスタイル変換する従来のGANベースの手法と比べ、アニメに特化しているため、ネットワークパラメーターが少なくて済み、軽量であることが特徴だ。
とか、
学習したモデルの出力結果を、最先端のアニメスタイル転写方式であるCartoonGANとComixGANと比較したが、今回の手法の方がパラメーター数と計算コストを大幅に削減でき、処理速度が向上したという結果が出た。アーティファクト（生成に失敗した不自然な部分）が部分的に発生するのを抑え、写真の内容と対応する色を効果的に保持できたとしている。
とかでしょうから「（作者）風」ってのはおまけでしょうね(深層学習で作風をいろいろ変えられますよ、的な)。
新海氏曰く (スコア:0)
可能性は感じるが美術スタッフからこれが上がってきたらリテイク。
https://twitter.com/shinkaimakoto/status/1293130397312643072 [twitter.com]
Re: (スコア:0)
入ってほしくないものが映ってるので、まず元写真のほうを吟味する必要があるなあ。
写真撮影を頑張るか、塗りを頑張るかの違いになってくる。
ハヤオスタイル (スコア:0)
もっと赤い [srad.jp]じゃないの?
774 (スコア:0)
これは技術というより、単なるフィルターじゃんか
Re:774 (スコア:1)
フィルターの実装を深層学習でやらせてみたよ、って話だろ？
これが進むとテキトーな映画とかで学習すれば大した苦労無く思ったようなフィルターが得られるって事だよな。
Re: (スコア:0)
?ん フィルターも技術のうちだと思うが
ま、素人目には裏でどんな事が行われているか解らないもんな
# 未開人には技術は魔法と区別が付かない
Re: (スコア:0)
つーか今のAIの基本部分は要するに適応フィルターだと思うが。
しかしこれを単なるフィルターじゃんというのは、
人間の知能の源泉はただの化学反応じゃんというのと変わらんのでは?
誰得? (スコア:0)
いっそ、
「北条司のドラゴンボール」
か、
「ぼのぼのドラゴンボール」
へ変換する方が（走召糸色木亥火暴）
"castigat ridendo mores" "Saxum volutum non obducitur musco"
Re: (スコア:0)
AIの学習でそれっぽいフィルタのパラメータを作成出来たってのがお話のキモだろ。
だから同じシステムでシティハンターなりぼのぼのなりで学習すればそれっぽいパラメータが得られるのじゃないかな。
Paprikaって (スコア:0)
もしかして今敏風ってことか。なんだろうすごくうれしくて悲しい。
Re: (スコア:0)
なあｗ
他のフィルター名が「Shinkai」「Hayao」なら、「Kon」フィルターにしてやれや。
この深層学習データは (スコア:0)
ジブリなりから許諾を得たものなのだろうか？それともジブリ映画などのデータは不要なのだろうか？
Re: (スコア:0)
深層学習で出力されたパラメータに元データのパテントが影響するとかなると相当に大変な事になると思うんだが。
ジブリを見てジブリ風を理解して、それを持って表現したとしても、それは表現した人間に権利は有るのだと思うのだが。
漫画だと、「影響受けた漫画家」なんて質問に答えたが最後、自分で書いた漫画から延々と権利使用料を払わなければいけない、なんて事は無い訳でして。
結局はフィルタは道具でしかなくて、作品としては別物だから問題ない。
学習に依って作風を写真から再現できるって事で、実はこの手の技術で一番使いでが有るのは本家の皆さまでは。
映画とか作るのに宣伝用のトレーラー映像作ったら、それを学習させれば本編作る時には映像を作り込む手間を省けるって事だよな。