Hello~o,朋友们~
欢迎回到AI趣闻屋。
ControlNet团队的大佬们更新速度那是无与伦比!
一不留神,ControlNet Tile模型就可用了,在图片细节处理上更是牛皮哄哄。
趣闻屋用了表示,真香~
由于ControlNet Tile模型刚出来不久,目前大家对其用法的开发有下面三种:
1.放大
2.修复
3.细节增强
选其一,或其二,或是三者一起组合使用。
1.下载/更新
ControlNet Tile模型需要 ControlNet 1.1.107 以上版本的支持
没有更新到这个版本的小伙伴,请到【扩展插件】里检查更新:
重点:小伙伴有安装了v1.1.107以下版本,需要删除 v11u 的旧模型:
control_v11u_sd15_tile.pth
下载新的 v11f1e 版本安装:
control_v11f1e_sd15_tile.pth
下载地址:
https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main
打开后,选择 control_v11f1e_sd15_tile.pth 模型的下载箭头[↓],进行下载:
放到 stable-diffusion-webui\models\ControlNet 目录下。
完成!
2.Tile模型介绍
图生图(img2img)里使用Tile模型有4个点:
(1) 参考图不是必须的,如果ControlNet里不填入参考图,tile模型会根据图生图里的参考图来做参考
(2) 预处理器选择 tile_resample
(3) 模型选择 control_v11f1e_sd15_tile,这里注意是v11f1e,如果找不到,请按照上面的下载/更新再来一次
(4) Tile 模型专属参数 Down Sampling Rate,意思是向下缩放取样系数。作用是系数越大,得到的参考图越小,取值细节越小,最终得到的效果图随机细节越多,与原图的关系越小。
如:一张512*512的参考图,在Down Sampling Rate为2的情况下,得到的参考图为256*256;值为4的时候,得到128*128。
ControlNet Tile 目前大家都喜欢在图生图(img2img)里使用,那为什么不喜欢在文生图(txt2img)里用?
因为Tile模型的性质,修复和细节增强。
文生图(txt2img)里,出图是随机的,也就是我们都不知道出来的图片是什么样子的,如果直接使用细节增强,那么会增加我们的出图时间,减少出图效率,让我们的可控性得不到保障。所以大家不太愿意这样花时间。
下面我们的栗子,也都是基于图生图(img2img)。
敲黑板:图生图(img2img)的重绘强度(Denoising strength)是直接影响Tile模型致输入图和输出图之间变化强度的因子。数值越高,被修改的细节越多,反之则少。
栗子1:放大,一个简单的放大,我们先只用图生图的宽高影响输出图。
原图:
参数设置:
原图:512*512,输出图:1024*1024
正向提示词:cat
反向提示词:无
Steps: 25, Sampler: Euler a, CFG scale: 7, Seed: 2402482788,Size: 1024x1024,
Model: deliberate_v2,
Denoising strength: 0/0.3/0.6/1,
Controlnet不放入参考图,图生图重绘强度分别是0、0.3、0.6、1,四个档位,效果如下:
随着重绘强度的增加,猫的细节更多,毛发纹理和胡须更加清晰,颜色也从淡粉向淡黄转变。如果放大时不想出现多的随机细节,可以把值设置为0。
Tile模型也可以配合【Ultimate SD upscale】终极方法脚本一起使用。
(没有安装【Ultimate SD upscale】脚本的小伙伴,文末有电梯哈)
我们来用Ultimate SD upscale合成一张4k高清图。
其他参数不变,重绘强度0.3,Ultimate SD upscale设置如下,放大8倍:
(4k:512*8=4096)
得到:
毛发纹理,鼻子的颜色和纹理都很赞!
下面放一张重绘强度0.6的图片,也称——大家来找茬,找找有几幅猫的面孔:[狗头]
因为Ultimate SD upscale是采用切割图片进行处理的,所以提示词会影响每一个切片。
栗子2:修复,把一张512*512的脸部和手部出现坏了的图片修复,只需2步:
原图:
参数设置:
正向提示词:
a woman walking int the park, skirt ,shorts,
反向提示词:kitsch, ugly, oversaturated, grain, low-res, Deformed, blurry, blur, poorly drawn, mangled, surreal, text,by <bad-artist-anime:0.8> , by <bad-artist:0.8> , by <bad-hands-5:0.8>, by < bad_prompt_version2:0.8>
Model: deliberate_v2
Steps: 25, Sampler: DPM++ SDE Karras,CFG scale: 7, Seed: 734068303,Size: 1024x1024
ControlNet设置:
(1) 第一步,inpaint 修复脸部和手部,重绘强度0.6:
遮罩图:
得到:
脸部和手部得到很好的修复,背景和裤子上的纹理都没有改变。
(2) 第二步,使用图生图(img2img)全图修复,重绘强度0.6:
衣服褶皱、裤子纹理、背景清晰度和光线都得到很好的修正。
栗子3:细节增强。到这里,小伙伴们估计也知道了,Tile模型的放大和细节增强和重绘强度有关。强度低就是简单的放大效果,强度高,就是增强细节。
能达到多强的效果?看下面的三组对比图就明白了:
(1) 金毛犬
(2) 果盘:
(3) Air Jordan
到这里,ControlNet Tile 的模型介绍就完成喽!
总的来说,ControlNet Tile是一个集放大、修复和细节增强为一体的工具,通过参数控制、重绘强度可以选择我们想要达到的效果。
但官方说目前的Tile模型还是在实验阶段,还有一些功能没有实现。那就让我们一起静待大佬们的成果吧。
非常感谢小伙伴们的阅读!
我们下期见~
电梯: