ai绘画StableDiffusion学习记录(六)

Embeddings(词嵌入)、LoRa(低秩适应模型)、Hypernetwork(超网络)

Embeddings

Embeddings可以为你将不同的提示词含义整合起来,达到想要的效果。

比如正常输入“猫又”,ai无法准确识别生成,而导入或者训练相关模型之后,ai会根据提示词(两条尾巴的猫、人、妖怪)和图像整合出合理的画面。因为不包含信息,只是标注,所以文件非常小。

使用的时候通过特定的咒语进行触发,一般发布页面会有作者的说明。

它更适合范围更宽泛,不那么具体的画面,比如三视图

image-20240416075948283

Embeddings还可以用来修复比例、画面、手指等错误问题,放在反向词中,推荐:

ng_deepnegative_v1_75t,EasyNegative,badhandv4,EasyNegativeV2,

其中ng_deepnegative_v1_75t倾向于真人的手指,其他倾向于二次元人物。

Embeddings只是按图索骥,真正想要具体的画风或人物形象,则需要用到以下介绍的LoRa

LoRa

相比Embeddings更加具体,通常用于二次元特定角色还原绘画。

关键词触发:<lora:xxx>,通常作者会有提示词关键词说明。

Hypernetwork

一般被用于画风训练(现在用的人不多),比如Q版画风等不同精细的画风。

目前很多lora已经能够视线大部分效果,Hypernetwork可以用来实现特定艺术风格。