Stable Diffusion VAE

VAE

Stable DiffusionでVAEを使うと白くモヤっとしていたりボケていた画像をクリアに生成できるようになります。下は同じプロンプト、Seed値で作成した画像ですが、左がVAEなし、右がVAEありです。このぐらいの差があります。

VAEはVariational Auto Encoderの略で学習モデルの一つです。画像の生成過程でこの学習モデルで追加処理することで画像の質を高めることができます。

一つの画像の生成する過程にはいくつかのステップがあり、そのステップの途中にVAEが処理するステップを追加挿入することで画質を高める、と考えると理解しやすいかと思います。

VAEのインストール

VAEのインストールは、そのVAEの入手（ダウンロード）、VAEの配置、Stable Diffusionの設定のステップがあります。設定のステップではWebUIのReloadが必要です。一旦、現在の作業を終わらせてください。

STEP

VAEのダウンロード

あわせて読みたい

fp16-guy/anything_kl-f8-anime2_vae-ft-mse-840000-ema-pruned_blessed_clearvae_fp16_cleaned at main We’re on a journey to advance and democratize artificial intelligence through open source and open science.

上のページからvae-ft-mse-840000-ema-pruned.safetensorsというVAEをダウンロードしましょう。これは汎用性の高いVAEで様々の学習モデルで推奨されているVAEです。

学習モデル(checkpoint)のダウンロード時、その説明に推奨VAEが記載されていることがあります。その際はそのVAEをまず試してみて下さい。また、モデル名がxxxxxBaked.safetensorsというようなVAEが内蔵されている学習モデルもあります。新たにVAEを追加するのは過剰な場合もあるので注意してください。

STEP

学習モデルの配置

ダウンロードしたファイルはエクスプローラーなどで次の場所に移動してください。