[具身智能-651]:RDK X5 算法应用开发与Model Zoo 使用说明,通俗易懂
RDK X5 算法应用开发 Model Zoo 通俗讲解一、先说人话理解整套流程我们电脑上用 PyTorch 训练出来的神经网络模型YOLO、目标检测等不能直接放到 RDK X5 的 BPU 上运行。 就像Word 文档不能直接在手机上打开需要转格式AI 模型同理PC 训练的浮点模型→ 经过地平线工具量化、编译生成专属.hbm文件才能给 BPU 执行推理。Model Zoo 官方现成工具箱地瓜机器人官方整理好的仓库 里面放好了常用检测 / 分类模型、配套转换脚本、开发板上直接运行的Demo 代码。 不用从零写模型预处理、BPU 调用、NMS后处理拿来改一改就能用。二、分清两台设备分工重中之重很多人混淆PC 电脑Ubuntu Docker OE 工具链任务模型编译、量化。 软件hb_mapper模型编译器 作用把 ONNX 模型 → 转换成.hbmBPU 能识别的程序包 ⚠️编译器只能在 PC 运行RDK开发板没有编译工具RDK X5 开发板任务运行推理加载.hbm模型接收图片调用 BPU 做目标检测、输出识别结果。三、Model Zoo 里面都有什么仓库名称rdk_model_zoo每个模型文件夹固定分成三块model_exportPC 电脑使用yaml 配置文件、编译脚本用来生成 hbm 模型cpp /pyRDK 开发板运行C、Python 两套推理示例代码README写清楚编译步骤、模型输入尺寸、参数。支持模型YOLOv5/v8/v11、FCOS、图像分类、实例分割、OCR 文字识别等。四、两种使用方式按需选择方式 1快速验证新手演示首选不用 PC 编译在 Model Zoo 对应模型目录下载官方已经编译完成的.hbm文件通过 scp/U 盘把 hbm 传到 RDK X5在开发板运行自带 python/cpp demo直接测试 AI 检测效果。适用场景功能演示、方案验证、快速看效果。方式 2自研模型部署产品开发正式流程如果你自己训练了 YOLO 等模型完整步骤PC 上把训练好的模型导出成ONNX启动地平线 OE Docker 环境复制 Model Zoo 里的 yaml 模板修改参数重点RDK X5 架构写bayes-e使用hb_mapper命令做量化、编译产出.hbm将 hbm 传到开发板修改 Model Zoo 的推理代码适配自己模型运行测试。核心优化点机器人项目必看编译 yaml 里开启input_type_rt: nv12模型直接接收 NV12 图像。可以和 MIPI 相机 ISP 输出对接不需要 CPU 做图像格式转换硬件流水线零拷贝延迟最低。五、和前面学的五大多媒体 Demo 怎么配合五大 demo 负责获取图像相机、本地视频、网络 RTSP Model Zoo 代码负责 AI 识别。 两者通过分流器 splitter拼接组成机器人标准视觉链路链路 1MIPI 相机实时目标检测vio_capture 采集 NV12 画面 → 分流器 → 分支 1vio2display HDMI 画面预览 → 分支 2送入 Model Zoo YOLO 模型BPU 检测目标 → 检测框通过硬件 OSD 叠加到画面上链路 2网络 IPC 摄像头 AI 识别rtsp2display 拉取网络视频 → 硬件解码得到 NV12 → 分流 → 一路 HDMI 预览一路送入 BPU 做检测链路 3本地录像智能分析decode2display 播放 h265 视频文件 → 解码 NV12 → 分流推理一句话总结多媒体 Demo 负责拿到画面Model Zoo 代码负责看懂画面里的物体。六、开发完整流程极简版PC训练模型 → 导出 ONNX → hb_mapper 编译 → 得到 hbm ↓拷贝 RDK X5运行推理程序加载 hbm → 获取图像 → BPU 推理 → 解析检测结果七、高频踩坑通俗说明❌ 不要尝试在 RDK 开发板执行 hb_mapper 板子只能跑模型不能编译模型编译必须 PC Docker。❌ 分支选错 下载 Model Zoo 后必须切换rdk_x5分支直接拉 main 分支代码不兼容 X5。❌ 架构参数写错 RDK X5march: bayes-eRDK X3 是 bernoulli2两者不能混用。❌ 图像格式不匹配 模型编译成 NV12 输入代码却送 RGB 图片识别完全失效。❌ 工具链版本不一致 PC 端 OE 工具版本 和 开发板 TROS/hobot_dnn 版本差距太大hbm 模型运行报错。八、精简总结Model Zoo 是地瓜机器人提供的算法开源仓库内置大量预适配 RDK 的视觉模型和推理代码。 算法部署分为两步在 PC 电脑 Docker 环境使用 hb_mapper 工具把训练好的模型编译为 BPU 识别的 hbm 模型再把 hbm 文件放到 RDK X5 开发板调用 BPU 执行 AI 推理。 我们可以将 Model Zoo 推理代码和 vio_capture、rtsp2display 等多媒体示例结合实现相机、视频流一边画面预览、一边实时目标检测构成机器人完整视觉感知系统。

相关新闻

PDF拆分压完图糊了?2026国内免费实测,档案员都在用的组合方案

PDF拆分压完图糊了?2026国内免费实测,档案员都在用的组合方案

说实话,提到PDF拆分再压缩,我真是被折腾得够呛。 上个月公司年度合同归档,一份300多页的PDF总合同,需要按年份拆分成三个独立文件,再分别压缩到10MB以内方便邮件发送各部门确认。我心想这还不简单?先找个海…

2026/11/17 23:08:06 阅读更多 →
PDF合并与动态水印的工程化方案:2026国内免费工具实测对比

PDF合并与动态水印的工程化方案:2026国内免费工具实测对比

一、背景与测试方案 在实际项目交付中,PDF文件合并与版权保护水印的叠加是一个高频但容易被低估的技术需求。典型的处理链路涉及:多源PDF的文件流合并、页面级水印渲染(含透明度混合与图层叠加)、输出文件体积控制。看似简单的操作…

2026/11/19 15:01:16 阅读更多 →
G-Helper完整指南:免费开源工具彻底优化华硕笔记本性能

G-Helper完整指南:免费开源工具彻底优化华硕笔记本性能

G-Helper完整指南:免费开源工具彻底优化华硕笔记本性能 【免费下载链接】g-helper Lightweight Armoury Crate alternative for Asus laptops with nearly the same functionality. Works with ROG Zephyrus, Flow, TUF, Strix, Scar, ProArt, Vivobook, Zenbook, E…

2026/11/20 2:28:36 阅读更多 →

最新新闻

Electron桌面应用开发实战:从环境搭建到打包发布全流程

Electron桌面应用开发实战:从环境搭建到打包发布全流程

做前端这些年,我大部分时间都在跟浏览器标签页打交道,直到第一次把桌面应用跑起来,才发现原来自己一直被限制在地址栏和刷新按钮围起来的框框里。Electron这个词,最开始是在某段时间频繁出现在同事的讨论里,一个用HTML…

2026/11/20 23:27:28 阅读更多 →
滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

简介:亚太天能T109滑盖智能锁产品说明书是一份PDF格式的官方技术文档,主要面向智能锁安装人员、终端用户及售后维护者,帮助快速掌握产品安装、配置与常见故障处理。全包仅1个PDF文件,大小4.37MB,内容结构清晰&#xff…

2026/11/20 23:27:28 阅读更多 →
PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

上个月我在调试一台高速AGV的驱动系统,整车要求空载跑到8m/s,电机转速已经拉到额定点,驱动器的输出电压也顶到了母线电压极限附近。再往上踩速度指令,转速纹丝不动,三相电流反而开始震荡。那会儿我的第一反应就是&…

2026/11/20 23:27:28 阅读更多 →
C++核心知识点:从内存管理到STL的实战指南

C++核心知识点:从内存管理到STL的实战指南

C 这门语言我前前后后折腾了十几年,用它写过嵌入式驱动、做过游戏服务端,也搭过基础组件库。每次看到新人一头扎进"C 核心知识点"这个搜索词,我其实挺感慨的——这门语言的难点从来不是语法多,而是知识点之间的耦合太深…

2026/11/20 21:55:32 阅读更多 →
T109滑盖智能锁怎么装?安装调试与故障排查全攻略

T109滑盖智能锁怎么装?安装调试与故障排查全攻略

简介:亚太天能T109滑盖智能锁产品说明书以PDF格式发布,适合智能锁用户、安装人员与售后维修人员阅读。内容围绕T109系列指纹密码刷卡锁展开,先介绍前面板、后面板、锁体、机械钥匙、电池盒盖等部件名称与功能,再给出完整安装步骤&…

2026/11/20 23:27:28 阅读更多 →
LLM知识降熵:从信息垄断到理解权下放

LLM知识降熵:从信息垄断到理解权下放

你有没有过这种经历:翻开源码注释、论文摘要或者一份专业报告,每个字都认识,连在一起却像天书。想找人聊聊,身边要么没人懂,要么懂的懒得跟你解释。后来我试着把同一段内容丢给一个大语言模型,几秒钟之后&a…

2026/11/20 22:59:12 阅读更多 →

日新闻

周新闻

月新闻