媒体生成计算机视觉深度学习人工智能大模型【免费下载链接】mmagicOpenMMLab Multimodal Advanced, Generative, and Intelligent Creation Toolbox. Unlock the magic : Generative-AI (AIGC), easy-to-use APIs, awsome model zoo, diffusion models, for text-to-image generation, image/video restoration/enhancement, etc.项目地址https://gitcode.com/gh_mirrors/mm/mmagic点击查看免费下载PowerPaint论文标题A Task is Worth One Word: Learning with Task Prompts for High-Quality Versatile Image Inpainting作者 Junhao Zhuang、Yanhong Zeng、Wenran Liu、Chun Yuan、Kai ChenarXiv 2312.03594是一个基于 Stable Diffusion 的多用途图像修补模型。在 mmagic 仓库中它作为一个独立子项目维护在 projects/powerpaint提供开箱即用的 Gradio 交互界面支持**文本引导对象修补text-guided inpainting、对象移除object removal、形状引导修补shape-guided inpainting与图像外扩image outpainting**四种任务并可选叠加 ControlNetcanny / pose / depth / hed进行结构化引导。阅读本文后你将能够独立完成环境搭建、权重下载、界面启动并理解任务提示词 token、双 prompt 插值与 ControlNet 协同工作的底层实现原理。项目背景与核心思想PowerPaint 的核心创新点浓缩在论文标题“一个词就是一个任务”中不同修补任务被建模为不同的“任务提示词”task prompt。从 projects/powerpaint/gradio_PowerPaint.py 的源码可以看到模型在原始 Stable Diffusion 的 tokenizer 中注册了三个可学习的占位 tokenP_ctxt上下文context任务提示用于保持背景/上下文一致性P_shape形状shape任务提示用于形状引导修补P_obj对象object任务提示用于文本引导的对象修补。每个占位 token 由 10 个向量组成num_vectors_per_token10通过add_tokens动态扩充文本编码器的 embedding 层详见下文“实现原理”。推理时把对应任务词追加到提示词末尾即可“激活”模型相应任务的修补能力通过调节任务词嵌入的插值比例tradoFF/ fitting degree还能在“忠实于上下文”与“服从新对象描述”之间平滑过渡。该子项目于 2023 年 12 月合入 mmagic相关记录见 docs/en/changelog.md“An advanced and powerful inpainting algorithm named PowerPaint is released in our repository”。README 同时披露了两个关键更新2023 年 12 月 18 日发布了更稳定的模型权重并同步更新了 Gradio 脚本与在线 Demo2023 年 12 月 22 日修复了 ControlNet 加载中的逻辑错误。因此使用本文介绍的当前仓库代码时建议配合最新版权重一起使用。仓库结构你需要了解的文件projects/powerpaint/ ├── README.md # 官方使用指南本文主体 ├── requirements.txt # 依赖清单 ├── gradio_PowerPaint.py # 一键启动入口Gradio 界面 ├── pipeline/ │ ├── pipeline_PowerPaint.py # 基础修补 PipelineStableDiffusionInpaintPipeline 扩展 │ └── pipeline_PowerPaint_ControlNet.py # 带 ControlNet 的修补 Pipeline └── utils/ └── utils.py # TokenizerWrapper / EmbeddingLayerWithFixes / add_tokensgradio_PowerPaint.py负责加载模型、注册任务 token、构建四种任务 Tab 与高级参数面板也是最终用户启动的入口pipeline/pipeline_PowerPaint.py基于diffusers的StableDiffusionInpaintPipeline改造关键扩展是支持promptA / promptB双提示及tradoFF插值并透传task_class参数给 UNetpipeline/pipeline_PowerPaint_ControlNet.py在修补 Pipeline 基础上叠加ControlNetModel支持单一/多个 ControlNet 输入与controlnet_conditioning_scale控制utils/utils.py提供文本编码器侧的可学习 token 扩展工具是“任务提示词”落地的关键实现。环境准备与依赖安装Getting Started按官方 README 的步骤依次完成仓库克隆、conda 环境创建、依赖安装与权重下载# 克隆仓库以当前 mmagic 镜像为例 git clone https://gitcode.com/gh_mirrors/mm/mmagic.git # 进入 PowerPaint 子项目 cd projects/powerpaint # 使用 conda 创建并激活 Python 3.9 虚拟环境 conda create --name PowerPaint python3.9 conda activate PowerPaint # 安装依赖 pip install -r requirements.txt # 创建模型权重目录 mkdir models # 初始化 Git LFS git lfs install # 克隆 PowerPaint 官方权重Hugging Face 仓库 JunhaoZhuang/PowerPaint-v1 git lfs clone https://huggingface.co/JunhaoZhuang/PowerPaint-v1/ ./models其中 requirements.txt 的依赖及其作用如下依赖版本作用diffusers0.23.1提供 Stable Diffusion 基础 Pipeline、Scheduler、ControlNet 组件gradio3.41.0构建交互式 Web 界面controlnet-aux0.0.3提供 OpenPose、HED 等辅助检测器对应OpenposeDetector、HEDdetectortransformers最新提供 CLIP 文本编码器、tokenizer 以及 DPT 深度估计模型torch/torchvision最新深度学习框架opencv-python最新Canny 边缘检测等图像处理cv2.Cannymmengine最新提供print_log等日志工具见 utils/utils.py需要注意虽然 README 只给出pip install -r requirements.txt但实际运行还需要下载两个 Hugging Face 模型——基础模型runwayml/stable-diffusion-inpainting作为 Pipeline 骨架见 gradio_PowerPaint.py和自定义权重JunhaoZhuang/PowerPaint-v1上文 git lfs clone 下载。这些模型会由diffusers在首次运行时自动从 Hugging Face 拉取请确保网络可达。一键启动运行 Gradio 界面环境就绪后在projects/powerpaint目录下执行python gradio_PowerPaint.py该命令会依次完成以下初始化对应 gradio_PowerPaint.py以runwayml/stable-diffusion-inpainting为骨架加载StableDiffusionInpaintPipeline权重精度为torch.float16weight_dtype torch.float16用TokenizerWrapper替换原始 tokenizer从runwayml/stable-diffusion-v1-5加载 tokenizer并通过add_tokens注册P_ctxt、P_shape、P_obj三个任务 token每个 10 个向量初始化为 tokena的嵌入用load_model加载 PowerPaint 自定义 UNet 权重./models/unet/diffusion_pytorch_model.safetensors并用load_state_dict(..., strictFalse)加载自定义文本编码器权重./models/text_encoder/pytorch_model.bin加载辅助模型Intel/dpt-hybrid-midas深度估计、lllyasviel/ControlNet下的 OpenPose 与 HED 检测器最后demo.launch(shareFalse, server_name0.0.0.0, server_port7860)启动服务监听本机 7860 端口浏览器访问http://localhost:7860即可进入界面。界面左侧为“Input image and draw mask”画板gr.Image(sourceupload, toolsketch)你可以上传图片并直接涂抹出待修补区域中间是四个任务 Tab右侧是生成结果 Gallery 与掩码展示。点击Run后infer函数会根据当前 Tab 选择的任务路由到对应的修补逻辑gradio_PowerPaint.py。界面内置提示受网络因素影响页面偶发异常时如果修补结果与预期偏差较大可尝试在任务选项之间切换以刷新内容。四大任务模式与提示词组合add_task函数gradio_PowerPaint.py针对四种任务分别构造正向提示与负向提示的任务词组合任务promptA / promptBnegative_promptA / negative_promptB说明text-guided文本引导对象修补prompt P_obj/prompt P_objnegative_prompt/negative_prompt用P_obj激活对象替换能力按文本语义重绘掩码区域object-removal对象移除prompt P_ctxt/prompt P_ctxtnegative_prompt P_obj/negative_prompt P_obj用P_ctxt强调上下文一致性并在负向提示中排除对象shape-guided形状引导修补prompt P_shape/prompt P_ctxtnegative_prompt/negative_promptP_shape保持掩码形状P_ctxt保持上下文二者按 fitting degree 插值image-outpainting图像外扩prompt P_ctxt/prompt P_ctxtnegative_prompt P_obj/negative_prompt P_obj沿水平/垂直方向扩展画布P_ctxt保证扩展区域与原有内容风格一致四个模式的核心参数界面“Advanced options”折叠面板如下Stepsddim_steps去噪步数范围 1–50默认 45Guidance Scalescale无分类器引导强度范围 0.1–30.0默认 7.5。界面与 README 均特别提示对象移除与图像外扩任务建议将 Guidance Scale 设置为 10 或更高若掩码区域出现不期望的随机物体可通过进一步增大 Guidance Scale 来净化扩展/移除区域Seed随机种子范围 0–2147483647默认随机化用于复现结果。此外shape-guided 任务独有fitting degreetradoFF滑杆0–1默认 1图像外扩任务独有horizontal/vertical expansion ratio滑杆1–4默认 1步长 0.05。图像外扩的实现细节外扩任务并非简单放大画布predict函数gradio_PowerPaint.py先按长边 512 缩放原图然后按水平/垂直扩展比例生成一块灰色像素值 127的扩展画布将原图居中放置并构造一个只覆盖灰色扩展带的掩码扩展带与原始边界之间预留blurry_gap 10像素的过渡区以便拼接更自然。生成结果后代码会对掩码边缘做高斯模糊GaussianBlur(radius3)再与原图加权融合让修补区域与原始区域无缝衔接。输入图像的预处理非外扩任务中输入图像会先按长边缩放到 640外扩任务为 512随后宽高被裁剪为 8 的整数倍W int(np.shape(img)[0] - np.shape(img)[0] % 8)gradio_PowerPaint.py。这与 Pipeline 的输入校验一致——pipeline_PowerPaint.py 明确要求height与width必须能被 8 整除因为 Stable Diffusion 的 VAE 下采样因子为 8。源码级原理任务提示词是如何生效的1. 可学习 token 的注册utils/utils.pyadd_tokensutils/utils.py完成三件事调用TokenizerWrapper.add_placeholder_token把P_ctxt等占位 token 展开为P_ctxt_0…P_ctxt_9共 10 个子 token 加入词表将文本编码器的token_embedding替换为EmbeddingLayerWithFixes一个包装层能够把“外部嵌入”按 token id 区间直接替换/拼接到前向结果中用初始化 tokena的嵌入复制 10 份作为任务 token 的初始向量并标记为可训练trainableTrue。TokenizerWrapper还在__call__/encode/decode中维护占位 token 与展开后子 token 的双向替换保证推理时prompt P_obj这样的文本能被正确分词并映射到新扩展的 embedding 行。2. 双提示插值pipeline_PowerPaint.pyPowerPaint Pipeline 的核心扩展是_encode_promptpipeline_PowerPaint.py。它同时编码promptA与promptB两路文本然后按比例插值prompt_embeds prompt_embedsA * (t) (1 - t) * prompt_embedsB其中t即调用时传入的tradoFF在 shape-guided 任务中对应 fitting degree。同理负向提示也按tradoFF_nag插值。这正是“一个词是一个任务”的可操作化实现P_shape与P_ctxt分别把语义拉向“严格跟随掩码形状”与“严格保持上下文”拟合度越高越偏向P_shape。3. 任务条件注入 UNet在去噪循环中Pipeline 支持向 UNet 透传task_class参数pipeline_PowerPaint.py当task_class is not None时以task_classtask_class关键字调用self.unet(...)。可以推断训练阶段模型正是通过任务 token 与任务类别条件联合约束 UNet使同一套权重同时掌握四种任务的修补先验推理时再通过任务词 文本插值进行控制。4. 掩码与潜在变量处理Pipeline 完整复用了diffusers修补流程的prepare_mask_and_masked_image图像归一化到 [-1,1]、掩码二值化pipeline_PowerPaint.py与prepare_mask_latents掩码缩放到 latent 分辨率并编码 masked image。UNet 输入通道数为 9 时inpainting 专用 checkpoint在通道维拼接[latents, mask, masked_image_latents]为 4 时则采用 latent 融合方式逐步把已修补区域写回pipeline_PowerPaint.py。叠加 ControlNetcanny / pose / depth / hed 结构化引导在“Text-guided object inpainting”Tab 中勾选Enable controlnet后可在文本引导之外再叠加空间结构约束。predict_controlnetgradio_PowerPaint.py的执行流程如下基于现有pipe的 vae / text_encoder / tokenizer / unet / scheduler 构建StableDiffusionControlNetInpaintPipeline即 pipeline_PowerPaint_ControlNet.py 中的controlnetPipeline默认 ControlNet 为lllyasviel/sd-controlnet-canny根据control_typecanny / pose / depth / hed按需切换 ControlNet 权重lllyasviel/sd-controlnet-openpose、sd-controlnet-depth、sd-controlnet-hed对输入控制图做对应预处理cannycv2.Canny(controlnet_image, 100, 200)提取边缘poseOpenposeDetector来自controlnet-aux提取姿态骨架depthDPTForDepthEstimationIntel/dpt-hybrid-midasDPTFeatureExtractor估计深度图插值到 1024×1024 后归一化hedHEDdetector提取软边缘以controlnet_conditioning_scale界面滑杆范围 0–1步长 0.05默认 0.5控制 ControlNet 条件强度。ControlNet 分支同样使用P_obj任务词promptA promptB prompt P_obj即“在保持 ControlNet 提供的结构约束下按文本语义重绘掩码区域”。底层 pipeline_PowerPaint_ControlNet.py 继承diffusers的 ControlNet 机制支持MultiControlNetModel多 ControlNet 输出相加、control_guidance_start/end控制条件生效的采样区间、guess_mode等标准参数并对controlnet_conditioning_scale的类型与区间做了严格校验pipeline_PowerPaint_ControlNet.py。参数调优速查表参数位置默认值建议fitting_degree/tradoFFshape-guided Tab1.0越低越忠于上下文越高越贴合新对象描述0–1 连续调节ddim_stepsAdvanced options45追求更高质量可提高到 50追求速度可降至 20 左右scaleGuidance ScaleAdvanced options7.5对象移除 / 图像外扩建议 ≥ 10出现杂乱物体时继续上调seedAdvanced options随机固定 seed 可复现同一结果controlnet_conditioning_scaleControlNet 设置0.5结构约束过强可下调约束不足可上调horizontal / vertical_expansion_ratioImage outpainting Tab1.01–4 连续调节外扩比例模型精度代码常量weight_dtypefloat16可省显存如需更高精度可改为 float32 并注意显存占用常见问题与注意事项ControlNet 权重加载README 明确记录 2023-12-22 已修复 ControlNet 加载的逻辑错误请确保使用当前仓库版本代码即本文引用的 gradio_PowerPaint.py避免使用旧版脚本权重一致性2023-12-18 发布了更稳定的PowerPaint-v1权重Gradio 脚本与在线 Demo 已同步更新。训练权重与推理代码需配套使用UNet 使用 safetensors 格式、text_encoder 使用 bin 格式见加载代码网络问题基础模型runwayml/stable-diffusion-inpainting与 ControlNet 权重均需从 Hugging Face 拉取首次运行耗时较长页面偶发异常时可在任务选项间切换刷新显存模型整体以 fp16 载入 GPUpipe.to(cuda)深度估计、OpenPose、HED 等辅助模型也会占用显存建议使用显存较充足的 GPU尺寸约束输入长边会被缩放到 640/512 且宽高取整为 8 的倍数上传超大图时会被自动缩放处理。引用BibTeX若在你的研究或项目中使用 PowerPaint可引用原论文misc{zhuang2023task, title{A Task is Worth One Word: Learning with Task Prompts for High-Quality Versatile Image Inpainting}, author{Junhao Zhuang and Yanhong Zeng and Wenran Liu and Chun Yuan and Kai Chen}, year{2023}, eprint{2312.03594}, archivePrefix{arXiv}, primaryClass{cs.CV} }进一步阅读子项目入口与官方说明projects/powerpaint/README.md一键启动脚本界面布局、任务路由、参数面板projects/powerpaint/gradio_PowerPaint.py基础修补 Pipeline双提示插值、task_class 注入projects/powerpaint/pipeline/pipeline_PowerPaint.py带 ControlNet 的修补 Pipelineprojects/powerpaint/pipeline/pipeline_PowerPaint_ControlNet.py任务 token 注册与 embedding 扩展工具projects/powerpaint/utils/utils.py依赖清单projects/powerpaint/requirements.txtPowerPaint 合入记录docs/en/changelog.md赞分享媒体生成计算机视觉深度学习人工智能大模型【免费下载链接】mmagicOpenMMLab Multimodal Advanced, Generative, and Intelligent Creation Toolbox. Unlock the magic : Generative-AI (AIGC), easy-to-use APIs, awsome model zoo, diffusion models, for text-to-image generation, image/video restoration/enhancement, etc.项目地址https://gitcode.com/gh_mirrors/mm/mmagic点击查看免费下载相关推荐探索未来图像修复PowerPaint — 高质量多功能图像修复工具探索未来图像修复PowerPaint — 高质量多功能图像修复工具 在数字图像处理的世界里我们常常面临因遮挡或损坏而失去的部分图像。 PowerPaint探索未来图像修复新境界PowerPaint - 高质量多功能图像修复工具探索未来图像修复新境界PowerPaint 高质量多功能图像修复工具 在这个数字时代我们经常需要处理破损或不完整的图像。而 PowerPaint 是一个创新3步搭建高效IPTV频道检测系统Docker部署完整指南3步搭建高效IPTV频道检测系统Docker部署完整指南 在数字媒体时代IPTV已经成为家庭娱乐的重要组成部分但频道链接的稳定性问题却困扰着无数用户。传统后端任务调度音视频上一篇戴森球计划工厂蓝图终极指南3000免费自动化方案解决你的建设难题下一篇猫抓Cat-Catch网络资源捕获工具的技术实现与应用指南创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考