WaifuDiffusion その4 img2imgとドット絵・ピクセルアート
img2img
Stable Diffusionにimg2imgという機能がある。
物凄く簡単に説明すると、通常は入力した文字・プロンプト、呪文とか呼ばれているものを元にして(そしてベクトルを決定して)画像を生成するが、img2imgは既存の画像を元に画像の生成を開始する。
img2imgは狙った構図の画像を高い精度で出すことができる。画像全体ではなく一部分を書き換えたり、精細にしたりすることもできる。生成された画像に含まれるよくわからないロゴを消したくなった場合に、img2imgを部分的に適用すると非常に簡単に対応できたりする。
こういうこと
img2imgとはある構図を与えて、それに対して画像生成を繰り返すということになる。つまり、こうなる。
detailed wedding-roll-up-hair busty idolmaster wearing pink-lace maid-costume painted by *顔ガチャのようなことである。これはちょっと、変な気分になってくる。こないだろうか。アルバムというか、名簿というか、ソシャゲというか、お気に入りの子を選ぶような。こんなものが数百枚でも数千枚でも出てくる。架空の卒業アルバムを作ることもできるだろう…キモい。とんでもなく面白いテクノロジーである。
img2imgの元画像として何を使えばいいだろうかというと、恐らく3Dモデルを使うのが良いだろうと思う。illusionが出しているような、簡易的なアニメーションキャラクターの3Dモデルのスタジオで構図を作り、Stable Diffusionで仕上げる。あるいは、無料のポーズ集という手もある。構図をこさえて、生成を調整する。こうなってくるともう創作の一種だろう。
構図に著作権は無いとはいえ
img2imgを使うとパクリゲーのようなことが非常に簡単にできそうだ。構図やポーズだけであれば、著作権はない。よくあるキャラクターの構図を元に装備やテイストなどを変更して出力し、加工を行う。
これをもっと高いクオリティで利用された場合、もはや何をベースにしたのかは全くわからないかもしれない。わからないというか、オリジナルなのかもしれない。
ドット絵の可能性
ピクセルアートというか単なるドット絵だが、Stable Diffusionの出力する画像はドット絵への変換が非常に上手くいくことが多い。恐らく、生成されるCGが漏れなくメチャクチャ上手い「色の階調が自然で輪郭等の処理も完璧」なものを低解像度に変換するため、ドットが綺麗に出ているのだろう。
一応Stable Diffusion自体にpixel-artを指定してもそれっぽいものは出てくるが、色数の制限が無くインチキである。
これはこれでそれっぽくていいのだが…
普通に生成したものを長辺256px～400px程度にして、256色化するとこうなる。
巻き毛の表現が秀逸すぎる。ドット絵はキレイ目なものよりレトロでノーテンキな感じの、若干コミカルな雰囲気が似合う気がする。当時の時代もあるだろうが。
ピクセルアート風ではなく、本当に256pxに押し込めると何故か美少女が脳に突き刺さる感じがする。良さがある。このドット化を使って何かをやりたいです。何かを。
