controlnet1.1模型和预处理器功能详解（各预处理器出稿对比及对应模型说明）

ControlNet 1.1 与 ControlNet 1.0 具有完全相同的体系结构,ControlNet 1.1 包括所有以前的模型，具有改进的稳健性和结果质量，且增加并细化了多个模型。

命名规范

项目名+版本号+标识+基础模型版本+功能名+文件后缀名

control
官方总是以control为项目名，还有类似coadapter、ti2adapter等

v11
该controlnet版本号，v11意味着1.1版本

p
标识：p：正式产品；e：测试版; u：未完成版； f修复版；

sd15
将stable diffusion 1.5版作为基础模型进行训练

canny
该模型功能，比如canny是边缘检测模型

pth
文件名后缀，有pth、safetensors等，一般还有yaml配置文件

control_v11p_sd15_cannycontrol_v11p_sd15_mlsdcontrol_v11f1p_sd15_depthcontrol_v11p_sd15_normalbaecontrol_v11p_sd15_segcontrol_v11p_sd15_inpaintcontrol_v11p_sd15_lineartcontrol_v11p_sd15s2_lineart_animecontrol_v11p_sd15_openposecontrol_v11p_sd15_scribblecontrol_v11p_sd15_softedgecontrol_v11e_sd15_shufflecontrol_v11e_sd15_ip2pcontrol_v11u_sd15_tile

预处理器与模型一览表

分类	预处理器	备注	模型
黑白倒转	invert
边缘检测	canny		control_v11p_sd15_canny
深度检测	depth_leres	LeRes depth estimation	control_v11f1p_sd15_depth
深度检测	depth_midas		control_v11f1p_sd15_depth
深度检测	depth_zoe	推荐，最精细	control_v11f1p_sd15_depth
局部重绘	inpaint_global_harmonious	controlnet自带局部重绘	control_v11p_sd15_inpaint
线稿控制	lineart_anime	动画	control_v11p_sd15s2_lineart_anime
线稿控制	lineart_anime_denoise	动画	control_v11p_sd15s2_lineart_anime
线稿控制	lineart_coarse		control_v11p_sd15_lineart
线稿控制	lineart_realistic	最像线稿	control_v11p_sd15_lineart
线稿控制	lineart_standard		control_v11p_sd15_lineart
面部控制	mediapipi_face
直线检测	mlsd	M-LSD line detection，直线检测，建筑类最适用	control_v11p_sd15_mlsd
法线贴图	normal_bae		control_v11p_sd15_normalbae
法线贴图	normal_midas		control_v11p_sd15_normalbae
姿态估计	OpenPose pose detection		control_v11p_sd15_openpose
姿态估计	openpose_face		control_v11p_sd15_openpose
姿态估计	openpose_faceonly		control_v11p_sd15_openpose
姿态估计	openpose_full		control_v11p_sd15_openpose
姿态估计	openpose hand		control_v11p_sd15_openpose
涂鸦	scribble_hed		control_v11p_sd15_scribble
涂鸦	scribble_pidinet		control_v11p_sd15_scribble
涂鸦	scribble_xdog		control_v11p_sd15_scribble
语义分割	seg_ofade20k		control_v11p_sd15_seg
语义分割	seg_ofcoco		control_v11p_sd15_seg
语义分割	seg_ufade20k		control_v11p_sd15_seg
风格转移	shuffle	图像风格化	control_v11e_sd15_shuffle
软边缘	softedge_hed		control_v11p_sd15_softedge
软边缘	softedge_hedsafe		control_v11p_sd15_softedge
软边缘	softedge_pidinet	推荐	control_v11p_sd15_softedge
软边缘	softedge_pidisafe		control_v11p_sd15_softedge
提取色彩	t2ia_color_grid		t2iadapter_color_sd14v1
边缘检测	t2ia_sketch_pidi		t2iadapter_sketch_sd14v1 / t2iadapter_sketch_sd15v2
风格转移	t2ia_style_clipvision	图像风格化	t2iadapter_style_sd14v1
阈值	threshold
局部重绘	tile_resample	优化图生图自带的局部重绘	control_v11u_sd15_tile

预览对比

原图

1	2	3	4

黑白倒转|invert

1	2	3	4

边缘检测|canny

1	2	3	4

深度检测|depth_leres

1	2	3	4

深度检测|depth_midas

1	2	3	4

深度检测|depth_zoe

1	2	3	4

局部重绘|inpaint_global_harmonious

1	2	3	4

线稿控制|lineart_anime

1	2	3	4

线稿控制|lineart_anime_denoise

1	2	3	4

线稿控制|lineart_coarse

1	2	3	4

线稿控制|lineart_realistic

1	2	3	4

线稿控制|lineart_standard

1	2	3	4

面部控制|mediapipi_face

1	2	3	4

直线检测|mlsd

1	2	3	4

法线贴图|normal_bae

1	2	3	4

法线贴图|normal_midas

1	2	3	4

姿态估计|OpenPose pose detection

1	2	3	4

姿态估计|openpose_face

1	2	3	4

姿态估计|openpose_faceonly

1	2	3	4

姿态估计|openpose_full

1	2	3	4

姿态估计|openpose hand

1	2	3	4

涂鸦|scribble_hed

1	2	3	4

涂鸦|scribble_pidinet

1	2	3	4

涂鸦|scribble_xdog

1	2	3	4

语义分割|seg_ofade20k

1	2	3	4

语义分割|seg_ofcoco

1	2	3	4

语义分割|seg_ufade20k

1	2	3	4

风格转移|shuffle

1	2	3	4

软边缘|softedge_hed

1	2	3	4

软边缘|softedge_hedsafe

1	2	3	4

软边缘|softedge_pidinet

1	2	3	4

软边缘|softedge_pidisafe

1	2	3	4

提取色彩|t2ia_color_grid

1	2	3	4

边缘检测|t2ia_sketch_pidi

1	2	3	4

风格转移|t2ia_style_clipvision

无法预览

1	2	3	4

阈值|threshold

1	2	3	4

局部重绘|tile_resample

1	2	3	4

本文链接：https://www.kjpai.cn/news/2024-04-07/155231.html，文章来源：网络cs，作者：胡椒，版权归作者所有，如需转载请注明来源和作者，否则将追究法律责任！