MMPose 姿态估计:从单图骨骼到 133 点全身 2D/3D,6 条命令跑通实时关键点检测
MMPose 姿态估计从单图骨骼到 133 点全身 2D/3D6 条命令跑通实时关键点检测【免费下载链接】mmposeOpenMMLab Pose Estimation Toolbox and Benchmark.项目地址: https://gitcode.com/GitHub_Trending/mm/mmposeMMPose 是 OpenMMLab 基于 PyTorch 的开源姿态估计工具箱当前版本 v1.3.2要求 PyTorch 1.8覆盖人体 2D/3D、手部、面部、动物和时尚地标检测。它把姿态估计拆成骨干网络、模型头、标签编解码器、数据集适配器四类可替换组件你可以只调它的现成模型做实时骨骼提取也可以逐模块替换来实现自己的算法。MMPose 和自顶向下、端到端方案差在哪姿态估计的落地链路通常有两种组合一种是 MMDetection 出人体框、再用独立模型逐人估计关键点topdown另一种是单网络直接输出多人关键点bottom-up如 RTMO。MMPose 把两条路线都内置了mmpose/models/pose_estimators/下的topdown.py和bottomup.py是两条范式的入口同一套骨干和损失函数两边都能用。这和检测器姿态模型各写一套代码的项目不同你换检测器、换关键点定位算法时不用改数据流水线和评估逻辑。demo/topdown_demo_with_mmdet.py演示了前者的完整链路demo/bottomup_demo.py演示后者。从 17 点到 133 点它实际覆盖的姿态场景按使用场景看仓库里的能力和配置对应四类需求单人 2D 人体COCO 17 点、MPII 16 点配置集中在configs/body_2d_keypoint/覆盖 HRNet、SimCC、RTMO 等算法多人密集场景AIC、CrowdPoseconfigs/body_2d_keypoint/associative_embedding/下有自底向上方法的训练配置133 点全身 2DCOCO-WholeBody 协议下 17 个身体点 68 个面部点 36 个手部点 12 个脚部点configs/wholebody_2d_keypoint/下有 RTMPose 和 DWPose 蒸馏两套配置3D 人体/手部H3.6M 视频姿态提升video_pose_lift、InterNet 手部 3D分别在configs/body_3d_keypoint/和configs/hand_3d_keypoint/非人体动物AP-10K、Aquila、AnimalPose 等和时尚地标DeepFashion对应configs/animal_2d_keypoint/和configs/fashion_2d_keypoint/数据集方面mmpose/datasets/datasets/下按 body、face、hand、animal、wholebody、hand3d 分了 8 个子目录configs/_base_/datasets/里每个数据集都有独立的 base 配置换数据集时只改配置不用写代码。克隆到出图6 条命令跑通全身关键点以下命令把仓库拉到本地、装依赖并以可编辑模式安装git clone https://gitcode.com/GitHub_Trending/mm/mmpose cd mmpose pip install -r requirements.txt pip install -e .requirements.txt依赖mmengine、mmcv等 OpenMMLab 基础库CUDA 环境建议先装对应版本的 PyTorch。装好后用官方 demo 对单张图片做全身 133 点推理检查点文件需从 OpenMMLab 模型库自行下载以官方文档的下载链接为准python demo/image_demo.py \ tests/data/coco/000000000785.jpg \ configs/wholebody_2d_keypoint/rtmpose/coco-wholebody/rtmpose-m_8xb64-270e_coco-wholebody-256x192.py \ 检查点文件路径.pth \ --out-file vis_results.jpgdemo/image_demo.py只需图片、配置、检查点三个位置参数适合验证环境。需要视频批量推理或指定检测器时改用demo/inferencer_demo.py封装了mmpose/apis/inferencers/里的 Pose2DInferencer支持图片和视频输入。热图路线和坐标回归路线为什么并存理解 MMPose 的关键是mmpose/codecs/目录它定义了模型输出如何变成关键点以及关键点标注如何变成训练标签目前内置 18 种编解码器。MSRA/UDP 热图msra_heatmap.py、udp_heatmap.py回归每个像素的热图概率配合num_deconv_layers3的转置卷积头部放大特征图空间精度直接是 SimpleBaseline、HRNet 这类模型的路线SimCCsimcc_label.py把坐标拆成 x、y 两个一维分类分布训练时避免了对角方向的耦合是 RTMPose 系列的主打路线associative_embedding.py则对应自底向上的人体框聚合策略。标签编码决定了损失函数选型热图用KeypointMSELossSimCC 用KeypointKLDiscretLoss配置里data_preprocessor的batch_augments支持 BatchSyncRandomResize 这类跨 batch 增强。mmpose/engine/里还提供了 QuadraticWarmup 学习率、EMA 权重、LayerDecay 优化器这些训练组件都是配置项级别可开关的。选哪个尺寸RTMPose 系列的 AP 与帧率projects/rtmpose/是仓库里迭代最活跃的实时方案官方报告的实测数据检测器RTMPose 整条 pipelineCOCO val如下模型COCO APCPU FPSGPU FPSRTMPose-t68.5300940RTMPose-s72.2200710RTMPose-m75.890430RTMPose-l76.550280RTMPose-l-38478.3-160测试环境为 Intel i7-11700 和 GTX 1660 TiRTMPose-s 在骁龙 865 移动端可达 70 FPS。换到自己硬件后建议用tools/analysis_tools/下的工具复测上述数字以官方文档为准。133 点全身模型方面COCO-WholeBody 验证集上 RTMPose-m256x192Whole AP 为 0.582RTMPose-l384x288达到 0.648对应配置在configs/wholebody_2d_keypoint/rtmpose/coco-wholebody/rtmpose_coco-wholebody.md。和 MMDetection、MMDeploy 怎么配合上游检测demo/mmdetection_cfg/里预置了 15 个检测器配置包含 RTMDet、Cascade RCNN、YOLOX 等topdown_demo_with_mmdet.py直接消费这些配置不需要自己搭检测链路。下游部署RTMPose 项目通过 MMDeploy 导出 ONNX、TensorRT、ncnn 模型projects/rtmpose/examples/下有 CONNXRuntime、TensorRT和 Androidncnn的完整示例还有一套无 MMDeploy 依赖的纯 Python 推理代码。projects/目录本身也是二次开发的参考just_dance/用全身关键点算动作相似度pose_anything/做语义化姿态估计yolox_pose/和rtmo/是端到端多人方案。想加自己的算法照projects/example_project/的骨架写配置和模型模块即可不用动mmpose/主包源码。资源地图configs/ —— 全部训练/推理配置按 body、hand、face、wholebody、animal、fashion 分任务组织每个目录的 README 带精度表demo/ —— 单图、视频、Inferencer、3D 提升等推理脚本及中英文文档mmpose/models/ —— 骨干网络约 35 种、模型头heatmap/regression/hybrid/transformer 等 6 类与损失函数实现mmpose/codecs/ —— 18 种标签编解码器决定热图/回归/自底向上路线mmpose/datasets/ —— 数据集适配器与 11 个 transforms 文件加载、翻转、裁剪、增强tools/dataset_converters/ —— 300VW、H3.6M、Label Studio 等数据格式转 COCO 的脚本projects/ —— RTMPose、RTMO、PoseAnything、Just Dance 等 9 个独立示例项目docs/en/ —— 安装、配置、数据流、部署等完整文档另有 docs/zh_cn/ 中文版【免费下载链接】mmposeOpenMMLab Pose Estimation Toolbox and Benchmark.项目地址: https://gitcode.com/GitHub_Trending/mm/mmpose创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

相关新闻

OpenResearch:本地优先的科研CLI工具链解析

OpenResearch:本地优先的科研CLI工具链解析

1. 项目概述:OpenResearch 不是“开源科研平台”,而是一套本地优先的学术研究 CLI 工具链OpenResearch 这个名字听起来像某个大型基金会或学术联盟发起的倡议,但实际在开发者和研究者圈子里,它指的是一套正在快速演进的、以local-…

2026/11/16 23:48:04 阅读更多 →
Omost 上手指南:3 步让大模型替你合成图像

Omost 上手指南:3 步让大模型替你合成图像

Omost 上手指南:3 步让大模型替你合成图像 【免费下载链接】Omost Your image is almost there! 项目地址: https://gitcode.com/GitHub_Trending/om/Omost 想改图里某个元素,却只能把整张图推倒重画?这是很多人在做 LLM 图像生成时遇…

2026/11/16 23:48:02 阅读更多 →
团队裂变营销的3组模型与实战策略

团队裂变营销的3组模型与实战策略

1. 团队裂变营销的本质与挑战在当今高度竞争的商业环境中,团队裂变营销已经成为许多企业实现快速增长的核心策略。但实际操作中,90%的团队都会遇到"启动难、复制难、持续难"三大痛点。我见过太多团队一开始热情高涨,但很快就陷入&q…

2026/11/16 23:47:58 阅读更多 →

最新新闻

Electron桌面应用开发实战:从环境搭建到打包发布全流程

Electron桌面应用开发实战:从环境搭建到打包发布全流程

做前端这些年,我大部分时间都在跟浏览器标签页打交道,直到第一次把桌面应用跑起来,才发现原来自己一直被限制在地址栏和刷新按钮围起来的框框里。Electron这个词,最开始是在某段时间频繁出现在同事的讨论里,一个用HTML…

2026/11/16 8:22:12 阅读更多 →
滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

简介:亚太天能T109滑盖智能锁产品说明书是一份PDF格式的官方技术文档,主要面向智能锁安装人员、终端用户及售后维护者,帮助快速掌握产品安装、配置与常见故障处理。全包仅1个PDF文件,大小4.37MB,内容结构清晰&#xff…

2026/11/16 6:41:34 阅读更多 →
PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

上个月我在调试一台高速AGV的驱动系统,整车要求空载跑到8m/s,电机转速已经拉到额定点,驱动器的输出电压也顶到了母线电压极限附近。再往上踩速度指令,转速纹丝不动,三相电流反而开始震荡。那会儿我的第一反应就是&…

2026/11/16 8:22:12 阅读更多 →
C++核心知识点:从内存管理到STL的实战指南

C++核心知识点:从内存管理到STL的实战指南

C 这门语言我前前后后折腾了十几年,用它写过嵌入式驱动、做过游戏服务端,也搭过基础组件库。每次看到新人一头扎进"C 核心知识点"这个搜索词,我其实挺感慨的——这门语言的难点从来不是语法多,而是知识点之间的耦合太深…

2026/11/16 8:22:12 阅读更多 →
T109滑盖智能锁怎么装?安装调试与故障排查全攻略

T109滑盖智能锁怎么装?安装调试与故障排查全攻略

简介:亚太天能T109滑盖智能锁产品说明书以PDF格式发布,适合智能锁用户、安装人员与售后维修人员阅读。内容围绕T109系列指纹密码刷卡锁展开,先介绍前面板、后面板、锁体、机械钥匙、电池盒盖等部件名称与功能,再给出完整安装步骤&…

2026/11/16 7:30:18 阅读更多 →
LLM知识降熵:从信息垄断到理解权下放

LLM知识降熵:从信息垄断到理解权下放

你有没有过这种经历:翻开源码注释、论文摘要或者一份专业报告,每个字都认识,连在一起却像天书。想找人聊聊,身边要么没人懂,要么懂的懒得跟你解释。后来我试着把同一段内容丢给一个大语言模型,几秒钟之后&a…

2026/11/16 8:22:12 阅读更多 →

日新闻

周新闻

月新闻