ジョジョのキャラクター風に顔写真を変換する「JoJoGAN」 1枚の画像からAIが学習

1: まんがとあにめ 2022/01/06(木) 18:50:45.34 ● BE:156193805-PLT(16500)

米イリノイ大学アーバナ・シャンペーン校の研究チームが開発した「JoJoGAN: One Shot Face Stylization」は、入力した1枚の顔画像を漫画「ジョジョの奇妙な冒険」のキャラクター風に変換する機械学習フレームワークだ。「空条承太郎」など、作中のキャラクタースタイルに似せた顔に変換する。このフレームワークは、大量のペア画像データセットを使わず、1枚の顔画像から学習できる特性を持つ。

画像をスタイル変換するモデルは、大量のペア画像データセットを必要とするが、そのデータを準備するにはコストがかかる。数枚の画像からスタイル変換する研究も報告されているが、詳細なスタイルや多様性を捉えきれず、画質も不十分だ。

この手法では、1枚の参照画像から近似するペア画像データを先に生成し、それを学習に使用する方法でこの問題に取り組む。具体的には、1枚の参照スタイル画像をGANで反転して実写に対する潜在変数を取得し、Random Style Mixingを行うことで近似のペア画像データセットを作成する。

得られた近似のペア画像データセットには、さまざまな色特性を持つサブセットも含まれる。ペア画像データセットを生成した後は、事前に学習させたStyleGANを微調整する

変換した顔画像を評価するために、先行研究の類似手法(StyleGAN -NADA、BlendGAN)で出力した画像と比べた結果、他の類似手法よりもこの手法の方が、入力画像の顔のアイデンティティーを保持したまま、目の形や線の太さなどの詳細な特徴を捉えた画像を生成できると分かった。

Webブラウザ上で任意の顔画像をジョジョ風などに変換できるデモサイトも公開されている。試してみると、以下のような結果が出力された。

https://www.itmedia.co.jp/news/articles/2201/06/news037.html
no title

no title

no title

no title

no title


31: まんがとあにめ 2022/01/06(木) 19:21:08.82

>>1
これはできるんじゃ?


5: まんがとあにめ 2022/01/06(木) 18:54:20.45

アメリカ風味が入ってる


6: まんがとあにめ 2022/01/06(木) 18:55:23.97

でもこれ表情を似せてるだけで写真の顔立ちには似てないよな


10: まんがとあにめ 2022/01/06(木) 18:58:23.28

ペッシや重ちーみたいに変換されないのか


12: まんがとあにめ 2022/01/06(木) 18:58:41.77

アメコミ入ってるぞ


13: まんがとあにめ 2022/01/06(木) 18:58:46.90

進撃風だが


24: まんがとあにめ 2022/01/06(木) 19:09:21.14

>>13
思ったw


14: まんがとあにめ 2022/01/06(木) 18:59:12.76

ギョギョッ!


16: まんがとあにめ 2022/01/06(木) 19:00:57.79

カイジ風も頼む


17: まんがとあにめ 2022/01/06(木) 19:01:30.03

そうじゃない


18: まんがとあにめ 2022/01/06(木) 19:01:31.90

なんか目がギラギラしとるな


19: まんがとあにめ 2022/01/06(木) 19:02:44.53

面白い


25: まんがとあにめ 2022/01/06(木) 19:10:22.06

目がワンパターンじゃあないか


27: まんがとあにめ 2022/01/06(木) 19:11:09.30

なんか違う


34: まんがとあにめ 2022/01/06(木) 19:26:29.89

ジョジョではないな


35: まんがとあにめ 2022/01/06(木) 19:28:10.31

一枚目の右は美味しんぼの山岡栗田


36: まんがとあにめ 2022/01/06(木) 19:36:24.21

漫☆画太郎風になるやつが欲しい


38: まんがとあにめ 2022/01/06(木) 19:44:52.57

オインゴボインゴ風味が足りない


40: まんがとあにめ 2022/01/06(木) 19:54:10.90

ディズニーがギャグ枠だと初めて知った


42: まんがとあにめ 2022/01/06(木) 19:55:31.37

ポーズは?


43: まんがとあにめ 2022/01/06(木) 19:56:06.95

カイジ風になったら起こして


44: まんがとあにめ 2022/01/06(木) 19:56:36.37

目が一緒なのがコワイ


45: まんがとあにめ 2022/01/06(木) 19:59:57.85

どっちかと言うと池上遼一風の方が近いと思う


46: まんがとあにめ 2022/01/06(木) 20:00:33.57

メメタア


47: まんがとあにめ 2022/01/06(木) 20:01:09.66

海外のジョジョ人気は凄い


48: まんがとあにめ 2022/01/06(木) 20:01:37.45

全身写真でジョジョポーズになるんならバズるやも知れぬ


49: まんがとあにめ 2022/01/06(木) 20:03:59.79

no title


こういうの期待したのに


51: まんがとあにめ 2022/01/06(木) 20:12:14.62

>>49
かっけぇ!


80: まんがとあにめ 2022/01/07(金) 01:36:54.28

>>49
吉良さん、、


52: まんがとあにめ 2022/01/06(木) 20:14:40.51

高橋陽一のキャラクター風なんかもやってほしい(全員同じ顔)


53: まんがとあにめ 2022/01/06(木) 20:18:03.20

YouTubeで見たジョジョ風アイキャッチ作ってみたってシリーズみたいな感じかと思ったら違うんだね


56: まんがとあにめ 2022/01/06(木) 20:22:15.85

ヘブンズドアーで顔の形変えられたらなぁ、やっぱり記憶だけ?


59: まんがとあにめ 2022/01/06(木) 20:50:46.56

目が違う


64: まんがとあにめ 2022/01/06(木) 20:55:40.84

北条司の方が似せやすそうだな


69: まんがとあにめ 2022/01/06(木) 21:32:16.34

これすごいじゃん
顔を漫画イラスト風に加工できるアプリはいっぱいあるけどここまで完成度高くないのがほとんど
これ売れるんじゃね


70: まんがとあにめ 2022/01/06(木) 21:54:48.88

原型とどめてないのはいいのか


76: まんがとあにめ 2022/01/07(金) 00:52:16.03

しかしNHKの岸部露伴はなかなか面白かった、またやれ


79: まんがとあにめ 2022/01/07(金) 01:04:11.41

多分背景に「バァァァーン」とか文字が出る方がジョジョっぽくなると思う


86: まんがとあにめ 2022/01/07(金) 03:04:34.27

全部男になってんじゃん


89: まんがとあにめ 2022/01/07(金) 08:32:58.33

ドドドドドドドドドドドドドが足りない



元スレ:ジョジョのキャラクター風に顔写真を変換する「JoJoGAN」 1枚の画像からAIが学習

この記事へのコメント

最近のコメント