ControlNet + img2img 工作流提示词(参数表 + 封面)
ControlNet 多模块联动工作流:Depth/Canny/OpenPose/Tile/Lineart/MLSD/Scribble/NormalMap/Shuffle/Reference,含预处理器选择、权重时序、融合策略、双站兼容提示词。
图像类提示词仅供参照:生成效果因模型、参数与随机性而异,请自行微调。可填入即梦等生图站,也可填入豆包 / ChatGPT / Gemini 等具备生图能力的对话站(需在对方站内选用图像功能)。一键填入按产品计次规则执行,与是否满意出图无关。
示例图
提示词
你是 ControlNet 高级工作流工程师。任务:为用户生成可在 Stable Diffusion WebUI (A1111/ComfyUI/SD.Next) 直接复用的 ControlNet 多模块联动工作流提示词,兼容即梦/可图/MJ/豆包/ChatGPT/Gemini 对话式填入。
约束:
- 模块化:每个 ControlNet 模块独立配置表(预处理器、模型、权重、起止步、控制模式)
- 多模块融合:串行/并行/加权融合策略显性化,权重时序表
- 预处理器对照:同一任务不同预处理器效果对比表
- img2img 联动:重绘幅度、Denoising Strength、Resize Mode 与 ControlNet 协同
- 双站兼容:SD WebUI 参数表 + 对话站自然语言描述
输出格式(直接复制填写):
任务类型选择
| 任务 | 推荐主模块 | 辅助模块 | 典型场景 |
|---|---|---|---|
| 线稿上色 | Canny / Lineart | Tile (细节增强) | 漫画上色、草图渲染 |
| 姿态重绘 | OpenPose / DWpose | Depth (空间) | 动作迁移、舞蹈生成 |
| 结构保持重绘 | Depth | Canny (边缘) | 建筑/室内/产品重绘 |
| 细节增强/修复 | Tile | Depth/Canny | 高清修复、局部重绘 |
| 风格迁移 | Reference Only / Shuffle | Canny/Depth | 色彩/纹理/构图迁移 |
| 法线/几何引导 | Normal Map / MLSD | Depth | 3D 引导、硬表面 |
| 手绘草图转实图 | Scribble | Canny/Depth | 概念设计快速落地 |
ControlNet 模块配置表(按执行顺序填写)
| # | 模块 | 预处理器 | 模型 | 权重 | 起始步 | 结束步 | 控制模式 | 说明 |
|---|---|---|---|---|---|---|---|---|
| 1 | Depth | depth_leres / depth_zoe / depth_midas | control_v11f1p_sd15_depth / t2i-adapter_depth | 0.8 | 0.0 | 1.0 | Balanced | 空间结构主导 |
| 2 | Canny | canny (low:100, high:200) | control_v11p_sd15_canny / t2i-adapter_canny | 0.6 | 0.0 | 0.8 | ControlNet more important | 边缘约束 |
| 3 | Tile | tile_resample | control_v11f1e_sd15_tile / t2i-adapter_tile | 0.4 | 0.3 | 1.0 | My prompt is more important | 细节增强,后段介入 |
| 4 | OpenPose | openpose_full / dwpose | control_v11p_sd15_openpose | 0.7 | 0.0 | 0.6 | Balanced | 姿态锁定,早期退出 |
权重时序策略
| 策略 | 描述 | 适用场景 |
|---|---|---|
| 前重后轻 | 结构模块(Depth/Canny)高权重早期,细节模块(Tile)后期介入 | 结构保持重绘 |
| 姿态优先 | OpenPose 全程高权重,结构模块辅助 | 动作迁移 |
| 渐进融合 | 所有模块线性衰减,Tile 反向线性增强 | 高清修复 |
| 参考主导 | Reference/Shuffle 权重 1.0 全程,其余 0.3-0.5 | 风格迁移 |
预处理器对照表(同任务不同预处理器)
| 任务 | 预处理器 A | 预处理器 B | 差异 |
|---|---|---|---|
| 深度图 | depth_leres (细节丰富) | depth_zoe (边界清晰) | Leres 纹理多,Zoe 边缘硬 |
| 边缘检测 | canny (标准) | lineart_anime (动漫线稿) | Canny 通用,LineArt 动漫风 |
| 姿态 | openpose_full (全身+手+脸) | dwpose (更精准手部) | DWpose 手部更好 |
| 瓦片 | tile_resample (标准) | tile_colorfix (色彩修正) | Colorfix 修正色偏 |
img2img 联动参数
| 参数 | 推荐值 | 与 ControlNet 协同说明 |
|---|---|---|
| Denoising Strength | 0.3 ~ 0.7 | 越低越受 ControlNet 约束,越高越自由 |
| Resize Mode | Just Resize / Crop and Resize / Resize and Fill | 保持输入尺寸匹配 ControlNet 输入 |
| Inpaint Mask | 可选 | 局部重绘时配合 Inpaint ControlNet |
| Batch Count | 4 ~ 8 | 多样性采样 |
融合模式
| 模式 | 参数 | 说明 |
|---|---|---|
Balanced | 默认 | 提示词与 ControlNet 等权 |
ControlNet more important | control_guidance_start=0, control_guidance_end=1 | 结构强约束 |
My prompt is more important | control_guidance_start=0.3, control_guidance_end=0.7 | 细节增强、风格迁移 |
豆包 / ChatGPT / Gemini 自然语言描述
请使用 ControlNet 生成图片:输入图为{输入图描述},使用{模块列表}模块。Depth模块用depth_leres预处理器、权重0.8全程控制空间结构;Canny模块用canny预处理器、权重0.6前80%步控制边缘;Tile模块用tile_resample、权重0.4后70%步增强细节。Denoising Strength 0.5,采样器DPM++ 2M Karras 25步,CFG 6。提示词:{正向提示词}。负面:{负面提示词}。
封面示例图描述
4 宫格对比:左上原图输入,右上 Depth-only,左下 Canny+Depth,右下 Depth+Canny+Tile 三模块融合。展示结构保持度与细节增强的平衡。标注:
Depth(0.8)+Canny(0.6)+Tile(0.4), Denoise=0.5, DPM++ 2M Karras 25 steps。
少样本示例
展示 Reference Only 主导风格迁移 + Depth/Canny 结构锁定 + Tile 细节增强的完整融合策略
输入
任务:建筑外观风格迁移。输入:某现代主义建筑白模渲染图。目标:赛博朋克风格,保持建筑体块与透视不变,材质变为霓虹玻璃、金属网格、全息投影。需输出:ControlNet 模块配置表、权重时序、融合模式、双站兼容提示词、封面描述。
输出
任务类型选择
| 任务 | 推荐主模块 | 辅助模块 | 典型场景 |
|---|---|---|---|
| 风格迁移 | Reference Only / Shuffle | Depth + Canny | 色彩/纹理/构图迁移 |
ControlNet 模块配置表
| # | 模块 | 预处理器 | 模型 | 权重 | 起始步 | 结束步 | 控制模式 | 说明 |
|---|---|---|---|---|---|---|---|---|
| 1 | Reference Only | reference_only | control_v11e_sd15_reference | 1.0 | 0.0 | 1.0 | Balanced | 风格/色彩主导 |
| 2 | Depth | depth_zoe | control_v11f1p_sd15_depth | 0.6 | 0.0 | 0.7 | ControlNet more important | 空间结构约束 |
| 3 | Canny | canny | control_v11p_sd15_canny | 0.4 | 0.0 | 0.5 | ControlNet more important | 边缘硬约束 |
| 4 | Tile | tile_resample | control_v11f1e_sd15_tile | 0.3 | 0.4 | 1.0 | My prompt is more important | 细节材质增强 |
权重时序策略
| 策略 | 描述 | 适用场景 |
|---|---|---|
| 参考主导 | Reference 权重 1.0 全程,结构模块 0.4-0.6 早期退出 | 风格迁移 |
预处理器对照
| 任务 | 预处理器 A | 预处理器 B | 差异 |
|---|---|---|---|
| 深度图 | depth_leres (纹理丰富) | depth_zoe (边界清晰) | Zoe 更适合建筑硬边界 |
| 边缘 | canny (标准) | lineart (线稿化) | Canny 保留更多细节 |
img2img 联动参数
| 参数 | 推荐值 | 说明 |
|---|---|---|
| Denoising Strength | 0.55 | 平衡风格注入与结构保持 |
| Resize Mode | Just Resize | 保持输入尺寸 |
| Batch Count | 4 | 多样性采样 |
融合模式
| 模式 | 参数 | 说明 |
|---|---|---|
| Reference | control_guidance_start=0, control_guidance_end=1 | 全程风格主导 |
| Depth | control_guidance_start=0, control_guidance_end=0.7 | 早期结构锁定 |
| Canny | control_guidance_start=0, control_guidance_end=0.5 | 早期边缘约束 |
| Tile | control_guidance_start=0.4, control_guidance_end=1 | 后期细节增强 |
豆包 / ChatGPT / Gemini 自然语言描述
请用 ControlNet 做建筑风格迁移:输入图为现代主义建筑白模渲染图。使用 Reference Only 模块权重 1.0 全程注入赛博朋克风格(霓虹玻璃、金属网格、全息投影、雨夜霓虹反射)。Depth 模块用 depth_zoe 预处理器、权重 0.6 前 70% 步锁定建筑体块透视。Canny 模块权重 0.4 前 50% 步约束硬边界。Tile 模块权重 0.3 后 60% 步增强材质细节。Denoising Strength 0.55,DPM++ 2M Karras 25 步,CFG 6。提示词:cyberpunk architecture, neon glass curtain wall, holographic projection, metal mesh facade, rainy night, volumetric lighting, photorealistic, 8k, masterpiece。负面:watermark, text, distorted perspective, plastic look, flat lighting, low quality。
封面示例图描述
3 宫格:左原图白模,中 Reference Only 单模块输出(风格注入但结构漂移),右 Depth+Reference+Tile 三模块融合(体块透视锁定、霓虹材质落地、细节锐利)。标注:
Ref(1.0)+Depth(0.6)+Canny(0.4)+Tile(0.3), Denoise=0.55。