まんがとあにめ

米イリノイ大学アーバナ・シャンペーン校の研究チームが開発した「JoJoGAN: One Shot Face Stylization」は、入力した1枚の顔画像を漫画「ジョジョの奇妙な冒険」のキャラクター風に変換する機械学習フレームワークだ。「空条承太郎」など、作中のキャラクタースタイルに似せた顔に変換する。このフレームワークは、大量のペア画像データセットを使わず、1枚の顔画像から学習できる特性を持つ。

画像をスタイル変換するモデルは、大量のペア画像データセットを必要とするが、そのデータを準備するにはコストがかかる。数枚の画像からスタイル変換する研究も報告されているが、詳細なスタイルや多様性を捉えきれず、画質も不十分だ。

この手法では、1枚の参照画像から近似するペア画像データを先に生成し、それを学習に使用する方法でこの問題に取り組む。具体的には、1枚の参照スタイル画像をGANで反転して実写に対する潜在変数を取得し、Random Style Mixingを行うことで近似のペア画像データセットを作成する。

得られた近似のペア画像データセットには、さまざまな色特性を持つサブセットも含まれる。ペア画像データセットを生成した後は、事前に学習させたStyleGANを微調整する

変換した顔画像を評価するために、先行研究の類似手法（StyleGAN -NADA、BlendGAN）で出力した画像と比べた結果、他の類似手法よりもこの手法の方が、入力画像の顔のアイデンティティーを保持したまま、目の形や線の太さなどの詳細な特徴を捉えた画像を生成できると分かった。

Webブラウザ上で任意の顔画像をジョジョ風などに変換できるデモサイトも公開されている。試してみると、以下のような結果が出力された。

https://www.itmedia.co.jp/news/articles/2201/06/news037.html

アメリカ風味が入ってる

でもこれ表情を似せてるだけで写真の顔立ちには似てないよな

ペッシや重ちーみたいに変換されないのか

アメコミ入ってるぞ

進撃風だが

ギョギョッ！

カイジ風も頼む

そうじゃない

なんか目がギラギラしとるな

面白い

目がワンパターンじゃあないか

なんか違う

ジョジョではないな

一枚目の右は美味しんぼの山岡栗田

漫☆画太郎風になるやつが欲しい

オインゴボインゴ風味が足りない

ディズニーがギャグ枠だと初めて知った

ポーズは？

カイジ風になったら起こして

目が一緒なのがコワイ

どっちかと言うと池上遼一風の方が近いと思う

メメタア

海外のジョジョ人気は凄い

全身写真でジョジョポーズになるんならバズるやも知れぬ

こういうの期待したのに

高橋陽一のキャラクター風なんかもやってほしい（全員同じ顔）

YouTubeで見たジョジョ風アイキャッチ作ってみたってシリーズみたいな感じかと思ったら違うんだね

ヘブンズドアーで顔の形変えられたらなぁ、やっぱり記憶だけ？

目が違う

北条司の方が似せやすそうだな

これすごいじゃん
顔を漫画イラスト風に加工できるアプリはいっぱいあるけどここまで完成度高くないのがほとんど
これ売れるんじゃね

原型とどめてないのはいいのか

しかしNHKの岸部露伴はなかなか面白かった、またやれ

多分背景に「バァァァーン」とか文字が出る方がジョジョっぽくなると思う

全部男になってんじゃん

ﾄﾞﾄﾞﾄﾞﾄﾞﾄﾞﾄﾞﾄﾞﾄﾞﾄﾞﾄﾞﾄﾞﾄﾞﾄﾞが足りない