本文使用工具，作者:秋葉aaaki

免責(zé)聲明:
工具免費(fèi)提供 無任何盈利目的

大家好，我是風(fēng)雨無阻。

今天為大家?guī)淼氖?AI 繪畫Stable Diffusion 研究（三）sd模型種類介紹及安裝使用詳解。

目前，AI 繪畫Stable Diffusion的各種模型層出不窮，這些模型都有什么作用？又該怎么安裝使用？對于新手朋友來說，是非常大的困擾。

這篇文章將會為你介紹AI 繪畫Stable Diffusion的模型種類、模型的安裝及使用方法、以及模型的選擇和下載。

不同的模型有不同的畫風(fēng)如：線條風(fēng)格、手繪風(fēng)格、立體風(fēng)格、科幻風(fēng)格、真人風(fēng)格。

還有不同的概念，例如：人物、物體、動作等。

這些都是目前Stable Diffusion 模型眾多的原因。

那么，Stable Diffusion的模型具體有哪些種類呢，都有什么作用呢？

一、Stable Diffusion的模型詳解

1、模型種類

當(dāng)前，常見的模型可以分為兩大類：

• 大模型：這里的大模型特指標(biāo)準(zhǔn)的 latent-diffusion 模型，擁有完整的 TextEncoder、U-Net、VAE。

• 微調(diào)大模型的小模型

  
  

由于想要煉制、微調(diào)大模型非常的困難，需要比較好的顯卡、比較高的算力， 因此更多的選擇是去煉制小型模型。

這些小型模型通過作用在大模型的不同部分，來修改大模型，從而達(dá)到目的。

常見的用于微調(diào)大模型的小模型又分為以下幾種：

• Textual inversion (Embedding模型)
• Hypernetwork模型
• LoRA模型

還有一種叫做 VAE （VAE, Variational autoencoder，變分自編碼器，負(fù)責(zé)將潛空間的數(shù)據(jù)轉(zhuǎn)換為正常圖像）的模型，通常來講 VAE 可以看做是類似濾鏡一樣的東西，會影響出圖的畫面的色彩和某些極其微小的細(xì)節(jié)。

如圖：

其實(shí)大模型本身就自帶 VAE 的，但是一些融合模型的 VAE壞了 （例如：Anything-v3），有時畫面發(fā)灰就是因?yàn)檫@個原因。所以需要外置 VAE 的覆蓋來補(bǔ)救。

由于模型的種類不同、作用位置也不同，所以想要使用這些模型必須分清這些模型類別，并且正確的使用，模型才會生效。

2、模型的區(qū)分方法

如何區(qū)分這些模型對新手來說是一件非常困難的事情，因?yàn)樗麄兌伎梢該碛幸粯拥暮缶Y名。

這里感謝 秋葉aaaki 提供的模型種類檢測工具 ，在本地將模型文件拖入即可識別。

3、模型后綴名詳解

目前，常見的 AI繪畫標(biāo)準(zhǔn)模型后綴名有如下幾種：

• ckpt

• pt

• pth

  這三種是 pytorch（深度學(xué)習(xí)框架）的標(biāo)準(zhǔn)模型格式，由于使用了 Pickle，會有一定的安全風(fēng)險 。

• safetensors：新型的模型格式 。正如同名字：safe，為了解決前面幾種模型的安全風(fēng)險而出現(xiàn)的，safetensors 格式與 pytorch 的模型可以通過工具進(jìn)行任意轉(zhuǎn)換，只是保存數(shù)據(jù)的方式不同，內(nèi)容數(shù)據(jù)沒有任何區(qū)別。

  
  

注意：safetensors模型需要 webui 更新到2022年12月底以后的版本才能用。

4、常見模型安裝及使用方法

（1）、大模型安裝及使用

大模型，常見格式為 ckpt，顧名思義，就是大。大小在GB級別，常見有 2G、4G、7G模型，模型大小不代表模型質(zhì)量。

安裝方法：放在Stable-diffusion文件夾內(nèi)。

\sd-webui-aki-v4.2\models\Stable-diffusion

如圖：

使用方法：

第一步，在 webui 左上角選擇對應(yīng)的模型

第二步，手動選擇vae并應(yīng)用保存

前面也說到，部分合并出來的大模型VAE爛了，畫面會發(fā)灰，因此需要去設(shè)置中手動選擇vae并應(yīng)用保存。

（2）、Embedding (Textual inversion)模型安裝及使用

embedding 模型，常見格式為 pt、png圖片、webp圖片，大小一般在 KB 級別。

例如：

安裝方法：

放在 embeddings 這個文件夾里面

\sd-webui-aki-v4.2\embeddings

使用方法：

生成圖片的時候需要帶上文件名作為 tag。

例如，上面這張圖里面的 shiratama_at_2-3000.pt 這個模型，使用的時候就需要帶上這個tag：shiratama_at_2-3000

(3)、Hypernetwork安裝及使用

常見格式為 pt，大小一般在幾十兆到幾百兆不等，由于這種模型可以自定義的參數(shù)非常多，也有的 Hypernetwork 模型可以達(dá)到 GB 級別。

例如：

安裝方法：放在hypernetworks 文件夾內(nèi)。

\sd-webui-aki-v4.2\models\hypernetworks

使用方法：

第一步，點(diǎn)擊生成下方的第三個按鈕

第二步，選擇hypernetworks 標(biāo)簽頁

如圖所示

（4）、LoRA模型安裝及使用

常見格式為 pt、ckpt，大小一般在8mb~144mb不等。

安裝方法：模型需要放在 Lora 文件夾。

\sd-webui-aki-v4.2\models\Lora

使用方法：

第一步，點(diǎn)擊生成下方的第三個按鈕

第二步，選擇Lora 標(biāo)簽頁

如圖：

第三步，點(diǎn)擊一個模型以后會向提示詞列表添加類似這么一個tag， 也可以直接用這個tag調(diào)用lora模型。

<lora:模型名:權(quán)重> 

（5）、VAE 模型安裝及使用

常見格式為 .pt ，如圖：

安裝方法：模型需要放在 VAE 文件夾。

\sd-webui-aki-v4.2\models\VAE

模型放置完畢后，在設(shè)置頁面進(jìn)行如下設(shè)置，并重啟。

如果沒有sd_vae 選項(xiàng)，則需要補(bǔ)充上。

添加在 sd_model_checkpoint 之后，語法如下：

,sd_vae

好，由于篇幅原因，模型的安裝和使用就介紹到這里。

大家都知道，要用Stable Diffusion畫出漂亮的圖片，首先得選好模型。

目前，模型數(shù)量最多的兩個網(wǎng)站是civitai 和huggingface。

civitai又稱c站，有非常多精彩紛呈的模型，有了這些模型，我們分分鐘就可以變成繪畫大師，用AI畫出各種我們想要的效果。

我們這里就以 civitai 站下載模型進(jìn)行安裝為例，進(jìn)行詳細(xì)說明。

二、模型的下載及選擇方法

1、直接搜索想要的模型

最上面是搜索框，我們可以直接通過關(guān)鍵詞來搜索想要的模型。

2、按照菜單分類選擇模型

點(diǎn)擊左上角菜單，可以看到這里是按照 以下幾項(xiàng)來分類的：

• 最高評價HIGHEST RATED
• 最多下載MOST DOWNLOADED
• 點(diǎn)贊最多MOST LIKED
• 討論最多MOST DISCuSSED
• 最新上傳NEWEST。

3、按照時間排序來選模型

點(diǎn)擊右上角，可以按照時間排序來選模型：最近一周、最近一月、所有時間的。

4、按照模型類型、Stable Diffusion版本選擇模型

Stable Diffusion目前有SD 1.4、SD 1.5、SD 2.0、SD 2.0 768、SD 2.1、SD 2.1768、SD 2.1 Unclip 等版本。

注意:

• 通常來說版本越高，效果越好。

• 目前比較流行的還是1.5版本，1.5之前的版本沒啥限制，可以自由出各種圖片。

• 2.0以上版本提供了一個 圖像無損放大模型：Upscaler Diffusion ，可以將生成圖像的分辨率提高 4 倍，適合出高清大圖。2.0加入了一些限制，不能出一些不可描述的圖片。

  
  

所以，具體使用哪個版本，還是要根據(jù)自己的需求來選擇。

挑到喜歡的模型后，怎么安裝模型呢？

三、模型的下載安裝實(shí)操

接下來我們來說明一下安裝實(shí)操步驟。

1、下載模型文件，在c站 搜搜到喜歡的模型，并下載

2、下載成功后，我們會獲得模型文件

3、將模型文件使用模型種類檢測工具 獲取模型的種類

如圖：

將模型文件拖入該工具后，會獲得以下信息：

文件名
dunhuangV3.safetensors

文件大小
144.11 MB

模型種類
LoRA 模型

模型用法
放入 models/Lora 文件夾后，在 webui 中，“生成” 按鈕的下方選擇 ?? 按鈕，找到 Lora 選項(xiàng)卡點(diǎn)擊使用。

Info
{
ss_batch_size_per_device:'6'
ss_bucket_info:{}
ss_bucket_no_upscale:'True'
ss_cache_latents:'True'
ss_caption_dropout_every_n_epochs:'0'
ss_caption_dropout_rate:'0.0'
ss_caption_tag_dropout_rate:'0.0'
ss_clip_skip:'None'
ss_color_aug:'False'
ss_dataset_dirs:{}
ss_enable_bucket:'True'
ss_epoch:'10'
ss_face_crop_aug_range:'None'
ss_flip_aug:'False'
ss_full_fp16:'False'
ss_gradient_accumulation_steps:'1'
ss_gradient_checkpointing:'False'
ss_keep_tokens:'0'
ss_learning_rate:'0.0001'
ss_lowram:'False'
ss_lr_scheduler:'cosine_with_restarts'
ss_lr_warmup_steps:'0'
ss_max_bucket_reso:'1024'
ss_max_grad_norm:'1.0'
ss_max_token_length:'None'
ss_max_train_steps:'6750'
ss_min_bucket_reso:'256'
ss_min_snr_gamma:'None'
ss_mixed_precision:'fp16'
ss_network_alpha:'64.0'
ss_network_dim:'128'
ss_network_module:'networks.lora'
ss_new_sd_model_hash:'e4a30e4607faeb06b5d590b2ed8e092690c631da0b2becb6224d4bb5327104b7'
ss_noise_offset:'None'
ss_num_batches_per_epoch:'675'
ss_num_epochs:'10'
ss_num_reg_images:'0'
ss_num_train_images:'4050'
ss_optimizer:'bitsandbytes.optim.adamw.AdamW8bit'
ss_output_name:'dunhuang_20230625021029'
ss_prior_loss_weight:'1.0'
ss_random_crop:'False'
ss_reg_dataset_dirs:'{}'
ss_resolution:'(512, 768)'
ss_sd_model_hash:'1d5a534e'
ss_sd_model_name:'majicmix_realv6_fp16.safetensors'
ss_sd_scripts_commit_hash:'(unknown)'
ss_seed:'2361018997'
ss_session_id:'801586992'
ss_shuffle_caption:'False'
ss_tag_frequency:{}
ss_text_encoder_lr:'1e-05'
ss_total_batch_size:'6'
ss_training_comment:'None'
ss_training_finished_at:'1687645290.3126323'
ss_training_started_at:'1687630234.599286'
ss_unet_lr:'0.0001'
ss_v2:'False'
sshs_legacy_hash:'14dab82f'
sshs_model_hash:'f747a8b2ab9a85d407f26183afb59d53fc023c2fbde928fe8512721fda5a11aa'
}

根據(jù)工具輸出信息可知， dunhuangV3.safetensors 模型的模型種類是LoRA 模型。

4 、將模型dunhuangV3.safetensors 放入 models/Lora 文件夾。

5、在 webui 中，“生成” 按鈕的下方選擇 ?? 按鈕，找到 Lora 選項(xiàng)卡點(diǎn)擊使用。

好，今天的內(nèi)容就到此結(jié)束，我們來總結(jié)一下。

今天主要給大家分享了 Stable Diffusion的模型種類說明，以及常見模型的下載、安裝、使用方法， 沒理解到的朋友，請收藏起來多看幾遍。

關(guān)注我，后續(xù)繼續(xù)分享sd更多干貨 ， 敬請期待。