LeRobot 手把手完全指南：三步让机械臂学会模仿学习，跑通端到端控制

LeRobot 手把手完全指南三步让机械臂学会模仿学习跑通端到端控制【免费下载链接】lerobot LeRobot: Making AI for Robotics more accessible with end-to-end learning项目地址: https://gitcode.com/GitHub_Trending/le/lerobotLeRobot 是一个基于 PyTorch 的开源机器人学习框架你用手给机械臂演示一遍任务它自己学出策略再让机械臂独立完成操作全程走端到端控制。这篇指南带你从装好环境、收第一批演示数据到把训练好的模型跑上真机——不需要机器人背景所有术语讲到哪解释到哪。它解决了什么麻烦这节先回答一个问题为什么你自己搭一遍采集-训练-部署这么累。做机器人学习的人通常被三件事卡住数据各搞各的。每个团队的遥操作数据格式不同别人攒了上万条的抓取数据你一行都用不上。LeRobot 用统一的 LeRobotDataset V3 格式视频存 MP4、关节与动作存 Parquet把数据标准化Hub 上现成数据集直接一行代码加载格式定义在src/lerobot/datasets/。硬件写一套、再写一套。SO100、Reachy2、Unitree G1……每种机器人的串口、电机、相机驱动都不一样。框架用统一的 Robot 接口把这些差异挡在src/lerobot/robots/里你的策略代码不用关心底下是什么硬件。论文到真机隔着一段路。ACT、Diffusion、Pi0、GR00T 这些算法以前散落在各种仓库里环境难装、接口难对。这里全部用纯 PyTorch 重写在src/lerobot/policies/训练和推理都是同一套 CLI 命令。适合人群会一点 Python 和 PyTorch、手里有一台 SO100 级别机械臂或打算买一台的研究者和爱好者。一句话小结它卖的不是单个算法是数据到真机这条完整流水线的最低门槛。三步跑通安装、最小示例、验证成功这节目标只有一个十分钟内让你确认这套东西在我电脑上能跑。第一步装。要求 Python ≥ 3.12。先建一个虚拟环境conda、uv、venv 都行然后从仓库装git clone https://gitcode.com/GitHub_Trending/le/lerobot cd lerobot pip install -e .[training] lerobot-info.[training]这个后缀装的是训练策略需要的依赖如果还要驱动真机换.[core_scripts]全都要就装.[all]。另外读视频帧依赖 ffmpeg装环境时顺手装一个conda install ffmpeg -c conda-forge后面加载数据集才顺畅。第二步最小示例。上面第三条命令lerobot-info就是最小示例——它会把版本号和你的 PyTorch/CUDA 环境打出来。第三步验证成功。看到终端打印出版本信息、且没有 import 报错环境就通了。接下来一节的加载公开数据集打印第一个动作就是你的 Hello World。拆开看一帧画面如何变成关节动作这节把框架的工作流程拆开讲清楚数据是怎么一路变成动作的全程用类比不用背术语。先看大架构图以 GR00T 类 VLA 模型为例数据走五个站一站一跳输入站相机画面 一句语言指令 当前关节角度。相当于告诉模型你看到什么、主人要你干什么、你的手臂现在摆在哪。视觉-语言骨干这是一个在海量图文数据上预先训练好的常识底座把图像和文字编码到同一个语义空间里。模型一出生就认识桌子、杯子、方块不需要你从零教它。动作解码头骨干给出的语义特征要经过一个 DiT 式的动作头迭代去噪才变成一个具体的关节动作序列。类比画家先有草稿再反复描一遍、磨一遍最后成稿。处理器流水线src/lerobot/processor/模型输入输出之间的标准翻译层。进来先归一化、出去再反归一化。记住一句话训练时用的归一化统计量推理时必须原样复用错开一步动作就飘了。机器人接口send_action把动作发给电机闭环完成。整条链就是obs → processor → policy → action → robot。看完这张图后面所有命令你都能对号入座lerobot-train走 3、4 两站lerobot-rollout走第 5 站。它能替你做的事五类典型任务这节把算法清单翻译成任务清单你照场景对号入座就行。采遥操作演示数据lerobot-record。SO100 主从臂、手机、手柄都能当遥控器。采集中按右方向键保存一条轨迹、左方向键重采、ESC 停止并上传——30 条轨迹通常半小时以内收完。训模仿学习策略ACT、Diffusion 这类看人做事的算法lerobot-train --policy.typeact加一个数据集 id 就能起训单机几小时量级。微调 VLA 大模型Pi0 / Pi0.5 / SmolVLA / GR00T N1.7 这条线适合一个模型干很多任务语言指令鲁棒性更好。可以直接指向 Hub 上的预训练权重微调不用从头训。真机 rolloutlerobot-rollout把策略跑到机器人上按秒计时或无限跑。注意相机配置要和采集时完全一致否则模型等于色盲。仿真评估与奖励建模没有真机也不怕LIBERO、MetaWorld 等仿真基准可直接跑评估见docs/source/libero.mdx另有 SARM / TOPReward / Robometer 三个奖励模型给强化学习和数据筛选打分用。下一步动作先想清楚你属于第几类任务再回去翻对应文档别一上来就全装。数据从采集到训练的一条链这节讲数据侧的两个关键点格式为什么这样设计、训练时有哪几件事必须盯住。格式LeRobotDataset V3 把看和算分开存——画面进 MP4视频压缩省磁盘、省 IO关节角、动作、时间戳进 Parquet表格化随机访问快。加载时你只写几行 Python视频解码透明完成from lerobot.datasets import LeRobotDataset dataset LeRobotDataset(lerobot/aloha_mobile_cabinet) print(dataset[0][action].shape)能打印出动作向量形状说明下载、解码、取帧整条链通了——这就是前面说的 Hello World。训练要点盯住四个开关就够策略与数据--policy.type--dataset.repo_id两个 id 定全局步数与设备--steps、--policy.devicecudaApple 芯片用mps断点续训--config_path指向 checkpoint 再加--resumetrue掉线不用从零开始没有本地 GPU命令后加--job.target就能把训练甩到云端跑模型训完自动推回 Hub。数据集的日常手术删轨迹、切分、合并、加特征都走src/lerobot/datasets/dataset_tools.py背后的 CLI不用手写脚本。上真机最容易翻车的四处这节浓缩了几类最常见的真机事故每条给一个对策照着排查能省很多小时。跳过校准。不同手臂的关节零位完全不一样出厂角度不能当通用语言。上机先lerobot-calibrate每台臂做一次之后所有命令里的--robot.id必须和校准时用的 id 一致——框架靠它找校准文件对不上就是不认识你的手臂。串口和相机编号漂移。机器人挪个位置、换个 USB 口设备号可能就变了。动真机前先用lerobot-find-port和lerobot-find-cameras各验证一遍后者还会把每个相机的测试帧存到lerobot/outputs/captured_images肉眼看一眼最保险。控制频率跟不上模型。模型几百毫秒才产出一个动作而电机每 33 毫秒要一次指令中间靠插值填满。动作抖、卡顿优先上 RTC实时动作插值或src/lerobot/async_inference/的异步推理把思考和执行解耦开。仿真里能跑 ≠ 真机能跑。仿真没有传感器噪声、没有摩擦、没有通信延迟。正确姿势先在仿真基准上验证策略逻辑再用少量真机数据微调并确保训练与推理用同一套 processor 归一化统计量。一句话小结真机问题八成都出在校准、端口、频率、域差这四个词上对号入座比瞎查快得多。报错别慌对照自查这节给你一张高频问题的排查表先对照症状再动手。症状先查什么去哪里找答案电机没反应、串口打不开USB 是否松动、端口号对不对、WSL 下是否装了 evdevlerobot-find-port一步步引导你插拔识别相机找不到或画面全黑相机 index、分辨率设置、ffmpeg 是否在lerobot-find-cameras打印设备信息并存测试帧训练 loss 变 NaN 或发散数据归一化统计量、混合精度、batch 大小src/lerobot/processor/normalize_processor.py的统计量来源推理时机器人卡顿、抖是否--policy.devicecuda、动作插值是否开启src/lerobot/async_inference/与 RTC 相关文档排查顺序建议固定为端口/相机 → 数据 → 设备/频率 → 模型。大多数情况走到第二步就能定位。什么情况选它、什么情况别选这节泼点冷水帮你把预算花在刀刃上。适合选你要的是数据 → 策略 → 真机全链路而不是只训一个模型硬件在支持列表内SO100/SO101、Reachy2、LeKiwi、Koch、HopeJR、OMX、Unitree G1、reBot B601 等或愿意按接口规范补驱动想直接复用公开数据集和预训练模型省掉攒数据的几个月团队偏 ML、不熟悉机器人底层需要一个把硬件脏活包好的框架。不适合选需要工业级硬实时和安全认证的控制栈——它是研究与教学框架不是安全层纯自研硬件且完全不想写驱动那统一接口帮不到你只做仿真算法竞赛、已有成熟训练框架只需单个模型的话直接用自己的流水线更省事。客观一句LeRobot 的价值在链路完整 资产可复用不在单点性能天花板。学完往哪走这节给一条最短学习路线和贡献入口。路线先过一遍examples/notebooks/quickstart.ipynb官方完整走查再背熟docs/source/cheat-sheet.mdx里的命令速查最后按docs/source/hardware_guide.mdx对照你的 GPU 选策略——每个策略的显存和训练时长都有数。贡献入口写新策略看docs/source/bring_your_own_policies.mdx成品放src/lerobot/policies/接新硬件遵循src/lerobot/robots/的接口攒好的数据按 V3 格式传上 Hub 就是社区贡献。流程细节在CONTRIBUTING.md。这周就能落地的下一步拿一台 SO100 收 30 条演示轨迹训一个 ACT用它验证采集-训练-真机全链路跑通——剩下的都是在这条链上换更难的策略和更复杂的任务。【免费下载链接】lerobot LeRobot: Making AI for Robotics more accessible with end-to-end learning项目地址: https://gitcode.com/GitHub_Trending/le/lerobot创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考