追記：NovelAI関係の話で話題に上がることの多いDanbooruについての解説も書きました。
※若干えっちな画像などが載っているので注意
今月3日に、NovelAIという海外のサービス上のおまけ機能として画像生成の機能が公開されました。
NovelAI's Image Generation, #NovelAIDiffusion is live on https://t.co/UTsnpZKa6W now!
— NovelAI (@novelaiofficial) 2022年10月3日
NovelAI Diffusion Anime image generation is uniquely tailored to give you a creative tool to visualize your visions without limitations, allowing you to paint the stories of your imagination. pic.twitter.com/WZEpQ5idgI
いや、このクオリティでおまけなんだ、って感じなんですけどおまけなんですよね。
NovelAIはその名前の通り小説とかを生成してくれるGPTを利用したサービスなんですが、画像生成の方でこれだけ有名になるのは皮肉というか。なんというか。
リリース初日から触ってみたりしたので、そのレビューとプロンプトについての考察などの記事です。
NovelAIのサービスの利用方法とか、サブスクへの加入方法などは他の方が既に解説記事を書いていますので、ここでは触れません。
二次元イラストが強すぎる
筆者はStable Diffusionとその亜種であるWaifu Diffusion、あとERNIE-ViLGを利用した経験があるのですが、NovelAI Diffusionはそこからさらに一段格が違うな、と感じます。
上記の2枚はどちらも同じプロンプトで生成したもので、StepsやCFG Scaleは特に調整していません。
過去の画像生成モデルに触れたことがある方からすると、10枚か20枚くらい生成して選んで記事に載せてるでしょ？と思う方もいるかもしれません。
しかしながら、全然そんなことはなくて多くて3枚くらい生成すれば1枚は好みのイラストが生成される感じです。
NAI Diffusionを触ってて凄いなと感じるのは、人体の生成がうますぎる点。どういうことやねんと思う方もいるかもしれませんが、例えばStable Diffusionで人を含む画像を生成しようと思ったときに、かなりの確率で顔に違和感があるんですよね。特に、目の周りの生成がまだまだと当時は感じていました。
あと、腕はちゃんと2本だし脚も2本だし、過去の画像生成モデルを触れてきた身からすると「おお！」という感動があります。手の生成はまだNAI Diffusionでも苦手っぽいですが、それでも違和感がぐっと抑えられてるように感じます。
これからは3次元コンテンツの生成はStable Diffusionベースで、2次元イラストはNAI Diffusionの時代がしばらく続くのかなという感想です。
プロンプトについて考える
以下の852話さんの記事がよく参考になります。
私からもこれにちょっと足して話をしようかなと思います。
852話さんの記事では”oil painting”というプロンプトが紹介されていましたが、"masterpiece"というワードも結構お手軽なやつです。
最近の流行りの絵柄というか、大衆向けイラストの特性みたいなものを1語プロンプトに放り込むだけで獲得できてしまうかなり強めな指示です。
oil paintingとmasterpieceをとりあえず入れておくとそれっぽい絵をたくさん描いてくれます。まあ別にだからといってどっちかを含めなかったからといって絵が破綻してしまうとかそういうことは全く無いので、求めているものによって適当に付けたり付けなかったりしてあげてください。（さっきのミクさんの例では入れてないし）
あと、若干センシティブっぽいイラストも普通に生成できる。あまり露骨なやつとか年齢制限かかるものは話を聞いたりしている限りできないようになってる（？）らしいのですが（プロンプトが無視されるようになってるのかな）、R-15くらいまでなら生成してくれるみたい。
追記：プロンプトにnudeなどをいれて生成してみたところ、性器などは描写されないようになってるっぽいことが分かりました。逆にそれをどういう技術でやってるのか気になる……。
さらに追記：どうやらこの制限があるのはCuratedモデルのみのようで、普通に生成できます。詳しくは以下の記事にて。
いや、流石にエロすぎだろ。AIくんさあ…
白上の胸を盛るな高校出身の人間として、非常に看過しがたいです。
特定のキャラクターや人物を生成するときのTips
初音ミクさんレベルで有名なキャラクターだと、キャラクターだけ単独でプロンプトとして渡しても普通に正しいイラストが生成されてしまうのですが、フブキちゃんの場合名前だけだと謎の女の子が生成されたりしたので、"animal ears"や"white hair"などキャラクターの属性を追加で指定してあげています。
#NovelAI
— 文月まぐ (@luigi_0829_2) 2022年10月3日
ミクさんくらい有名でデータがありそうなキャラクターだとキャラ名指定だけでそれっぽくなってしまうけど、特定のキャラクターとか人を描きたいときはタグを詳しく設定してあげると良さそう？（つづく） pic.twitter.com/kfujHuz379
（つづき）
— 文月まぐ (@luigi_0829_2) 2022年10月3日
流石にしっぽの色とか耳のピアスとか再現できない（逆にちゃんとピアス付きで生成されたらビビる）けど、これができたらもう一段階上のブレイクスルーって感じがする pic.twitter.com/VC5NgRzyPN
danbooruのタグがそのままプロンプトとして使えるので、どんなタグを追加してあげればいいか分からんってときはそのキャラクターのイラストのタグを見に行くといいです。
まだ完全に特定のキャラクターを画像生成モデルに描かせるってことは難しいようですが（細かいアクセサリーなどの特徴はやはり欠落してしまう）、これができたら面白くなりそうですね。
パラメータをいじってみる
NovelAIの画像生成ページの右では色々な設定ができます。この中でもModel-Specific Settingsの設定は生成されるイラストの質などにダイレクトに影響を与えるものになります。
特に、Stable Diffusionなどを触ったことがある人は理解しやすいと思いますが、StepsとScaleは重要なパラメータです。
StepsはおそらくDenoisingを何ステップ行うか？みたいなものだと理解しています。一応上げれば質の向上が見込めると思いますが、正直デフォルト値の28で事足ります。
Scaleについては、以下の記事は詳しいと思います。
この記事はStable Diffusionについてのものですが、NovelAIでも同様の効能であるはずです。
Scaleを8に下げて、3枚ほど生成してみました。
1枚目などを見ると、確かにCFG Scaleを下げると細部の生成が若干狂う？（手の生成がおかしい）ことが分かります。
Scaleが高いままだと、NovelAIは学習セットの画像をほとんどそのまま吐き出してしまう問題もあるようなので、Scaleを下げて遊んでみてもいいかも。色々な絵が見れるようになるので。
えっちなやつ描いてもらった
深い理由は無いですが、Scaleは10でやってみました。普通に人が描いたって言われたら、信用しちゃいますね……。
もう、人間の癖を理解してるじゃん。
