人工智能计算机视觉预训练【免费下载链接】PaddleSegEasy-to-use image segmentation library with awesome pre-trained model zoo, supporting wide-range of practical tasks in Semantic Segmentation, Interactive Segmentation, Panoptic Segmentation, Image Matting, 3D Segmentation, etc.项目地址https://gitcode.com/gh_mirrors/pa/PaddleSeg点击查看免费下载导读PP-HumanSeg-Lite 是 PaddleSeg 自研的超轻量人像分割网络 ConnectNet专为 Web 与移动端实时分割场景设计以 2.3MB 左右的模型体积在 398x224 输入下实现约 29.68ms 的 ARM CPU 单帧推理小米 9Snapdragon 855单线程并以 93.60% 的 mIoU 在 PP-HumanSeg-14K 人像分割数据集上保持高精度。本文以 configs/pp_humanseg_lite/README.md 为骨架结合 paddleseg/models/pphumanseg_lite.py 源码、仓库内的训练/导出配置以及 contrib/PP-HumanSeg 的完整工具链系统讲解该模型的结构设计、配置参数、训练、评估、预测、导出与部署全流程读者读完可独立完成从零训练到端侧部署的实战闭环。上图为 PP-HumanSeg-LiteConnectNet的编码器-解码器结构示意图输入图像经 3x3 卷积下采样至 1/2经 Max Pool 至 1/4 后依次通过 Stage1至 1/8、Stage2至 1/16再经 DSConv1深度可分离卷积保持 1/16 分辨率解码器侧将特征上采样回 1/4 并与编码器前端的 1x1 卷积输出融合随后经 DSConv2、DSConv3 与二次上采样最终通过 Softmax 输出人像分割二值掩码。一、PP-HumanSeg-Lite 是什么PP-HumanSeg-Lite 是百度自研的超轻量人像分割模型 ConnectNet由 PaddleSeg 官方发布定位为适合 Web 端与移动端实时分割场景的端侧模型。它对应 2021 年发布的 PP-HumanSeg V1 系列中的 Lite 型号在 contrib/PP-HumanSeg/README.md 中被称为PP-HumanSegV1-Lite完整描述为A self-developed ultra lightweight model ConnectNet, is suitable for real-time segmentation scenarios on the web or mobile.其底层原理论文为PP-HumanSeg: Connectivity-Aware Portrait Segmentation With a Large-Scale Teleconferencing Video DatasetWACV 2022 Workshop仓库中对应的论文资料与 SCLSemantic Connectivity-aware Learning方法说明见 contrib/PP-HumanSeg/paper.md。与 PP-HumanSeg 系列其他成员相比V1-Lite 的定位是精度与模型体积兼顾模型最佳输入尺寸mIoU(%)ARM CPU 推理耗时(ms)模型大小(MB)配置PP-HumanSegV1-Lite398x22493.6029.682.3configs/pp_humanseg_lite/pp_humanseg_lite_export_398x224.ymlPP-HumanSegV2-Lite256x14496.6315.865.4contrib/PP-HumanSeg/configs/portrait_pp_humansegv2_lite.yml说明上述精度mIoU在 PP-HumanSeg-14K 数据集上以最佳输入尺寸测试推理耗时使用 PaddleLite在小米 9Snapdragon 855 CPU单线程下测得。V2-Lite 是后续升级版本基于 MobileNetV3 骨干与多尺度特征聚合其数据来源 contrib/PP-HumanSeg/README.md。V1-Lite 的最佳输入尺寸 398x224 与手机/笔记本摄像头常见的 16:9 画幅一致这是其设计上的实用考量。二、ConnectNet 网络结构解析源码级PP-HumanSeg-Lite 的网络定义位于 paddleseg/models/pphumanseg_lite.py核心类为PPHumanSegLite通过manager.MODELS.add_component注册进 PaddleSeg 的模型管理器因此配置文件里model.type: PPHumanSegLite即可直接实例化。2.1 编码器三分支下采样路径PPHumanSegLite.__init__与forward中编码器的前向计算顺序如下conv_bn0_ConvBNReLU(in_channels3, out_channels36, kernel3, stride2, padding1)将输入下采样至1/2同时扩展至 36 通道conv_bn1_ConvBNReLU(36, 18, kernel1)输出 18 通道的捷径特征shortcut留待解码器阶段融合max_pool2dkernel3, stride2, padding1将特征下采样至1/4block14 个InvertedResidual串联stride 依次为 2,1,1,1特征降至1/8block28 个InvertedResidual串联stride 依次为 2其余为 1特征进一步降至1/16。2.2 倒残差块 InvertedResidual 与通道混洗InvertedResidual对应代码 paddleseg/models/pphumanseg_lite.py是编码器的基础单元其关键设计如下stride1 时输入沿通道维一分为二paddle.split一半直接作为 shortcut 短路另一半经_ConvBNReLU1x1_SeparableConvBNReLU3x3 深度可分离卷积提取特征后再拼接实现通道维度上的半短路结构stride2 时无直接 shortcut改为用_SeparableConvBNReLU对全通道做下采样得到 shortcut另一分支同样经 1x1 卷积与 3x3 深度可分离卷积处理最后拼接通道混洗channel shuffle拼接后通过 reshape 为[0, 2, in_channels, h, w]、transpose 交换中间两维再 reshape 回[0, 2*in_channels, h, w]让两分支通道信息充分交织参考 paddleseg/models/pphumanseg_lite.py这一操作与 ShuffleNet 系列的思想一致是轻量化设计的关键手段。从代码结构可以推断这种通道半分叉 深度可分离卷积 通道混洗的组合在保证特征表达能力的同时显著压缩了计算量与参数量这正是 ConnectNet 能在移动端实时运行的根本原因。2.3 解码器特征融合与双线性上采样编码器输出的 1/16 分辨率特征进入解码器depthwise_separable0_SeparableConvBNReLU(144, 64, kernel3)保持 1/16 分辨率通过F.interpolate(..., modebilinear, align_cornersself.align_corners)上采样到shortcut 的尺寸1/4与conv_bn1产生的 18 通道 shortcut 在通道维拼接144/218 → 82 通道形成高分辨率细节与深层语义的融合依次经过depthwise_separable1_SeparableConvBNReLU(82, 64)与depthwise_separable2_SeparableConvBNReLU(64, num_classes)输出 logit最后再经一次双线性插值将 logit 恢复到原始输入分辨率返回[logit]。值得注意的是forward的返回值是长度为 1 的列表[logit]这与 PaddleSeg 中带辅助损失的多输出模型如[logit, aux]格式兼容便于直接接入 tools/train.py 等训练工具。2.4 参数初始化init_weight对子层中的nn.Conv2D使用标准差 0.001 的正态初始化对 BatchNorm 使用权重 1.0、偏置 0.0 的常量初始化当构造参数传入pretrained路径时会调用utils.load_pretrained_model加载预训练权重参考 paddleseg/models/pphumanseg_lite.py。三、配置文件详解训练配置与导出配置仓库在 configs/pp_humanseg_lite/ 下提供了两个配置文件分别用于训练与导出。3.1 训练配置pp_humanseg_lite_mini_supervisely.yml该配置面向 Supervisely 人像数据集mini_supervisely可用 contrib/PP-HumanSeg/src/download_data.py 下载核心字段如下batch_size: 64 iters: 2000 train_dataset: type: Dataset dataset_root: data/mini_supervisely train_path: data/mini_supervisely/train.txt num_classes: 2 transforms: - type: Resize target_size: [398, 224] - type: RandomHorizontalFlip - type: RandomDistort brightness_range: 0.4 contrast_range: 0.4 saturation_range: 0.4 - type: Normalize mode: train val_dataset: type: Dataset dataset_root: data/mini_supervisely val_path: data/mini_supervisely/val.txt num_classes: 2 transforms: - type: Resize target_size: [398, 224] - type: Normalize mode: val optimizer: type: SGD momentum: 0.9 weight_decay: 0.0005 lr_scheduler: type: PolynomialDecay learning_rate: 0.05 end_lr: 0 power: 0.9 loss: types: - type: CrossEntropyLoss coef: [1] model: type: PPHumanSegLite align_corners: False num_classes: 2各字段含义与实战要点batch_size / iters批大小 64总迭代数 2000。人像分割是二分类问题前景/背景该配置属于快速验证规模数据集dataset_root、train_path、val_path指向 PaddleSeg 标准数据集文件列表每行一条图像路径文件路径均需相对/绝对指向真实文件num_classes: 2表示背景前景二类数据增强链Resize固定到[398, 224]宽高对应模型最佳输入 16:9RandomHorizontalFlip做水平翻转RandomDistort对亮度、对比度、饱和度各做 0.4 幅度的随机扰动增强对光照变化的鲁棒性最后NormalizePaddleSeg 默认使用 ImageNet 均值和方差优化器SGDmomentum 0.9weight_decay 5e-4学习率调度PolynomialDecay初始学习率 0.05最终衰减至end_lr: 0幂次power: 0.9损失函数单一CrossEntropyLoss系数coef: [1]多损失时该列表长度需与types一致模型type: PPHumanSegLite对应 paddleseg/models/pphumanseg_lite.py 中注册的类align_corners: False控制所有双线性插值/上采样对齐方式需在训练与导出/推理阶段保持一致num_classes: 2与数据集类别数对应。3.2 导出配置pp_humanseg_lite_export_398x224.yml该文件仅保留推理所需的模型定义与验证数据配置用于tools/export.py导出静态图推理模型model: type: PPHumanSegLite align_corners: False num_classes: 2 val_dataset: type: Dataset dataset_root: data/mini_supervisely val_path: data/mini_supervisely/val.txt num_classes: 2 transforms: - type: Resize target_size: [398, 224] - type: Normalize mode: val导出时模型结构与训练时保持一致align_corners、num_classes相同输入尺寸固定为 398x224保证动态 shape 与静态图导出的输入张量一致。四、从零到部署完整实操流程PP-HumanSeg-Lite 的完整链路环境、数据、训练、评估、预测、导出、部署由 contrib/PP-HumanSeg/README.md 统一给出下面按步骤整理。4.1 环境准备PaddlePaddle 2.2.0Python 3.7人像分割模型计算量较大建议使用 GPU 版 PaddlePaddle安装 PaddleSeg 依赖git clone https://gitcode.com/gh_mirrors/pa/PaddleSeg cd PaddleSeg pip install -r requirements.txt后续训练、微调相关命令需在contrib/PP-HumanSeg目录下执行Windows 下对应命令用set CUDA_VISIBLE_DEVICES0代替export。4.2 下载模型与数据cd contrib/PP-HumanSeg python src/download_inference_models.py # 下载推理模型到 inference_models/ python src/download_data.py # 下载测试数据含 mini_supervisely 数据集到 data/4.3 预训练模型下载与微调训练若希望在自有数据上微调 V1-Lite先下载预训练 checkpoint用于微调而非部署再修改配置后训练python src/download_pretrained_models.py训练命令以通用人像分割的 V2-Lite 为例V1-Lite 同理替换配置文件export CUDA_VISIBLE_DEVICES0 python ../../tools/train.py \ --config configs/human_pp_humansegv1_lite.yml \ --save_dir output/human_pp_humansegv1_lite \ --save_interval 100 --do_eval --use_vdl完整训练用法见 docs/train/train.md。配置文件中已预设预训练权重路径实际微调时建议根据数据规模调整学习率等超参。4.4 评估python ../../tools/val.py \ --config configs/human_pp_humansegv1_lite.yml \ --model_path pretrained_models/human_pp_humansegv1_lite_398x224_pretrained/model.pdparams完整评估用法见 docs/evaluation/evaluate/evaluate.md。4.5 预测python ../../tools/predict.py \ --config configs/human_pp_humansegv1_lite.yml \ --model_path pretrained_models/human_pp_humansegv1_lite_398x224_pretrained/model.pdparams \ --image_path data/images/human.jpg \ --save_dir ./data/images_result结果分别保存在./data/images_result/added_prediction叠加可视化与./data/images_result/pseudo_color_prediction伪彩色分割图。4.6 导出推理模型python ../../tools/export.py \ --config configs/pp_humanseg_lite/pp_humanseg_lite_export_398x224.yml \ --model_path pretrained_models/human_pp_humansegv1_lite_398x224_pretrained/model.pdparams \ --save_dir output/human_pp_humansegv1_lite \ --without_argmax \ --with_softmax当设置--without_argmax --with_softmax时导出模型最后一层为softmax输出两通道概率图若不加这两个参数默认最后一层为argmax输出单通道类别索引图体积更小适合端侧直接取掩码。完整导出用法见 docs/model_export.md。导出配置直接复用 configs/pp_humanseg_lite/pp_humanseg_lite_export_398x224.yml。4.7 实时演示与背景替换seg_demo.pycontrib/PP-HumanSeg/src/seg_demo.py是面向产品化演示的入口输入可以是图片、视频或摄像头支持背景替换、竖屏旋转与光流去抖。参数如下参数说明类型必填默认值config推理模型内的 deploy.yaml 路径str是-img_path输入图片路径str否-video_path输入视频路径str否-bg_img_path背景图片路径str否-bg_video_path背景视频路径str否-save_dir输出图片/视频保存目录str否./outputvertical_screen输入为竖屏时开启store_true否Falseuse_post_process对预测 logit 做后处理store_true否Falseuse_optic_flow启用光流去抖store_true否False规则说明设置了img_path则预测图片设置了video_path则预测视频两者都未设置则调用摄像头实时预测。默认按横屏宽大于高处理竖屏输入必须加--vertical_screen。--use_optic_flow依赖 opencv-python 4.0。典型用法示例推理模型下载后位于inference_models/# 图片人像分割横屏 python src/seg_demo.py \ --config inference_models/portrait_pp_humansegv1_lite_398x224_inference_model_with_softmax/deploy.yaml \ --img_path data/images/portrait_heng.jpg \ --save_dir data/images_result/portrait_heng_v1.jpg # 图片背景替换竖屏 python src/seg_demo.py \ --config inference_models/portrait_pp_humansegv2_lite_256x144_inference_model_with_softmax/deploy.yaml \ --img_path data/images/portrait_shu.jpg \ --bg_img_path data/images/bg_1.jpg \ --save_dir data/images_result/portrait_shu_v2_withbg.jpg \ --vertical_screen # 视频背景替换 logit 后处理 python src/seg_demo.py \ --config inference_models/portrait_pp_humansegv2_lite_256x144_inference_model_with_softmax/deploy.yaml \ --video_path data/videos/video_heng.mp4 \ --bg_img_path data/images/bg_2.jpg \ --use_post_process \ --save_dir data/videos_result/video_heng_v2_withbg_usepostprocess.avi # 竖屏视频 DIS 光流去抖 python src/seg_demo.py \ --config inference_models/portrait_pp_humansegv2_lite_256x144_inference_model_with_softmax/deploy.yaml \ --video_path data/videos/video_shu.mp4 \ --save_dir data/videos_result/video_shu_v2_use_optic_flow.avi \ --vertical_screen \ --use_optic_flow # 摄像头实时分割横屏 python src/seg_demo.py \ --config inference_models/portrait_pp_humansegv2_lite_256x144_inference_model_with_softmax/deploy.yaml4.8 端侧与多平台部署PP-HumanSeg 系列推理模型与 PaddleSeg 其他模型部署方式一致服务端 Python 推理docs/deployment/inference/python_inference.md服务端 C 推理docs/deployment/inference/cpp_inference.md边缘设备PaddleLitedocs/deployment/lite/lite.mdWeb 端Paddle.jsdocs/deployment/web/web.md移动端部署效果示例见 deploy/lite/example/含人像分割 demo 展示图Web 端基于 Paddle.js 还提供了人像快照视频背景替换与弹幕穿透等在线体验能力contrib/PP-HumanSeg/README.md 中有相关介绍属于该系列模型的典型落地场景。五、与 V2-Lite 的关系及选型建议V1-Lite本文主角ConnectNet2.3MB398x224 输入ARM CPU 单帧约 29.68msmIoU 93.60%适合对体积敏感、算力受限且画幅为 16:9 的场景V2-Lite5.4MB256x144 输入ARM CPU 单帧约 15.86msmIoU 96.63%相比 V1 推理提速 45.5%、mIoU 提升 3.03%采用 MobileNetV3 骨干 多尺度特征聚合 迁移学习先在大型通用人像数据集预训练再在小型人像数据集微调详见 contrib/PP-HumanSeg/configs/portrait_pp_humansegv2_lite.yml。选型建议追求最小体积与最简结构选 V1-Lite追求更高精度与更快速度允许略大的模型体积选 V2-Lite。两者都支持无成本直接集成产品也支持基于预训练权重在自有数据上微调contrib/PP-HumanSeg/README.md 第 6 节给出了完整流程。六、常见问题与注意事项输入尺寸一致性训练、导出、推理三阶段的输入分辨率398x224必须一致导出配置 configs/pp_humanseg_lite/pp_humanseg_lite_export_398x224.yml 与训练配置中的Resize target_size应保持相同否则导出后精度会异常横竖屏处理模型默认按横屏宽高设计竖屏输入时需在seg_demo.py中加--vertical_screen先旋转图像使人像保持竖直方向再推理输出通道数软输出softmax双通道概率适合后处理与背景合成硬输出argmax单通道掩码体积小、适合直接取分割结果按部署需求在tools/export.py中通过--with_softmax/--without_argmax控制泛化性验证通用人像分割场景图像多样上线前应结合真实场景评估发布模型的精度若不满足需自行标注数据并用预训练权重微调contrib/PP-HumanSeg/README.md 明确指出该建议视频抖动视频分割易出现帧间抖动可用--use_post_process对 logit 做后处理或用--use_optic_flowDIS 光流算法需 opencv-python 4.0缓解闪烁。总结PP-HumanSeg-LiteConnectNet以通道半分叉倒残差 深度可分离卷积 通道混洗 高分辨率捷径融合的轻量化设计在 2.3MB 体积下实现了移动端 29.68ms/帧的实时人像分割是 Web 与移动端实时分割场景的成熟落地方案。通过 configs/pp_humanseg_lite/ 下的训练与导出配置结合 contrib/PP-HumanSeg 的完整工具链下载、训练、评估、预测、导出、seg_demo 实时演示开发者可以快速完成从训练到多端部署的端到端集成如需更高精度与更快速度可平滑升级至 PP-HumanSegV2-Lite。赞分享人工智能计算机视觉预训练【免费下载链接】PaddleSegEasy-to-use image segmentation library with awesome pre-trained model zoo, supporting wide-range of practical tasks in Semantic Segmentation, Interactive Segmentation, Panoptic Segmentation, Image Matting, 3D Segmentation, etc.项目地址https://gitcode.com/gh_mirrors/pa/PaddleSeg点击查看免费下载相关推荐PaddleSeg Web 前端部署PP-HumanSeg v1 人像分割模型与 Paddle.js humanseg JS 接口实战指南PaddleSeg Web 前端部署PP HumanSeg v1 人像分割模型与 Paddle.js humanseg JS 接口实战指南 本篇指南围绕 Pa人工智能计算机视觉预训练PaddleSeg 人像分割模型在 Rockchip RKNPU2 上的部署PP-HumanSeg 转 RKNN 与 FastDeploy 推理实战PaddleSeg 人像分割模型在 Rockchip RKNPU2 上的部署PP HumanSeg 转 RKNN 与 FastDeploy 推理实战 本文以人工智能计算机视觉预训练PaddleSeg 中 PP-HumanSeg v1 的 Web 前端部署基于 Paddle.js 的浏览器端人像分割与可视化PaddleSeg 中 PP HumanSeg v1 的 Web 前端部署基于 Paddle.js 的浏览器端人像分割与可视化 本文基于 PaddleSeg人工智能计算机视觉预训练上一篇FTXUI完全攻略重新定义C终端界面开发的终极指南下一篇别再盲投了3步装好Boss Show Time让Boss直聘职位发布时间一眼可见创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考