手書き画像から２D美女画像を生成する

概要

今回は、Clip Studio Paint で描いた以下の画像をもとに、画像生成していきます。前回よりもやや複雑なポーズなので、 AI で生成できるか気になるところです。

元画像

Stable Diffusion WebUI 起動

以下コマンドで WebUI を起動します。

:~/ai-app/sd-wui$ bash webui.sh

ブラウザのアドレスバーに http://<IPアドレス>:7860 を入力して画面を表示します。

WebUI の PNG Info タブをクリックし、 Source エリアに元画像をドラッグ＆ドロップし、「Send to img2img 」をクリックします。

生成パラメータの準備

パラメータは、前回記事で用いたものを流用します。

モデル：Animagine XL V3.0

Prompt

ultra detailed, masterpiece, large breast, (gigantic breasts:1.2),  nude, nipples,long hair, perfect anatomy, looking at viewers, blush, flutter, beautiful woman

Negative Prompt

lowres, text, cropped, worst quality, low quality, ugly, duplicate, mutilated, extra fingers, mutated hands, mutation, deformed, bad anatomy, extra limbs, disfigured, malformed limbs, missing arms, missing legs, extra arms, extra legs, fused fingers, signature

Sampling Method: DPM++2M

Sampling steps: 25

Batch count: 10

画像生成

上記パラメータで画像生成してみます。結果は以下になりました。2番目以外は、そもそも人体構造的におかしいですね。

ControlNet で構造抽出

ControlNet という拡張機能を用いることで、画像からポーズや構図など、特徴を抽出した上での画像生成が可能になります。今回はこれを用いて、上記の人体構造の乱れを解決してみようと思います。

インストール時に参考にさせていただいたサイト様：ControlNetの使い方を画像付きで解説！表示されない場合の対処法とは

ControlNet を使う際、以下のように制御タイプとプリプロセッサを指定します。これらにより、抽出する特徴や抽出対象に差があります。

参考にさせていただいたサイト様：Stable Diffusion – ControlNet入門(3)各プリプロセッサを理解する

Scribble で生成

Scribble は、scribble(落書き) から特徴を抽出するのを得意とするモデルのようです。今回は、4種類のプリプロセッサを試しました。

scribble_pidinet

出力結果	抽出された特徴

invert

出力結果	抽出された特徴

scribble_xdog

出力結果	抽出された特徴

scribble_hed

出力結果	抽出された特徴

Canny で生成

Canny は、画像のエッジを抽出するのに特化したプリプロセッサです。Scribble よりも詳細に特徴を抽出しているのがわかります。

元画像	抽出された特徴

生成結果は以下になりました。

出力結果	抽出された特徴

Reference で生成

Reference は、前処理なしに参照画像と類似する画像を出力できるモデルのようです。

顔と手の調整

Adetailer を用いて、顔と手の調整を行います。

Adetailer の 1st タブにて、以下のようにパラメータ設定を行います。

モデル： face_yolov8n.pt

prompt: (8k, RAW photo, best quality, masterpiece:1.2), blush, flutter

次に 2nd タブにて、以下の設定をします。

モデル：hand_yolov8n.pt

prompt: (perfect hands)

出力結果

画像/制御タイプ	Scribble	Canny	Reference
画像一覧
個人的ベスト画像

最終的には、Scribble の xdog プリプロセッサを用いて生成した画像（上の表の一番左）が人体構造的、また自分のイメージに近かったと思います。

元画像	最終生成結果

まとめ

今回は、 ControlNet の Scribble, Canny, Reference を用いて手書き画像に修正をかけました。最後までお読みくださりありがとうございました。