LeRobot 机器人学习快速上手指南【免费下载链接】lerobot LeRobot: Making AI for Robotics more accessible with end-to-end learning项目地址: https://gitcode.com/GitHub_Trending/le/lerobot想让机器人学会一项技能最难的不是算法而是数据从哪来、硬件怎么接、代码怎么跑这三件事各卡各的。LeRobot 把数据采集、数据集格式、策略训练、真机部署收进一个 PyTorch 框架里你 pip 装完就能从官方数据集开始训练自己的第一个策略。LeRobot 是什么能干什么一句话定位围绕数据 算法 硬件的开源机器人学习框架把端到端学习拆成几块可以单独用的积木。统一 Robot 接口从百元的 SO-100 机械臂到人形机器人控制逻辑与硬件解耦同一套代码换硬件不改流程标准数据集格式LeRobotDataset v3 用 MP4 存视频、Parquet 存状态动作托管在 Hugging Face Hub删片段、切分、合并都有现成工具开箱即用的策略库ACT、Diffusion、Pi0、Pi0.5、GR00T N1.7、SmolVLA、TDMPC 等覆盖模仿学习、强化学习、VLA 模型全链路 CLIlerobot-record采集、lerobot-train训练、lerobot-rollout真机推理、lerobot-eval仿真评测一条命令一个环节插件生态装一个lerobot_robot_*包第三方机械臂、遥操器、相机就能被自动发现适合谁有机器人学习需求、想用开源硬件起步的研究者和开发者。不适合谁需要 ROS 中间件级系统集成、或多机大规模调度的人——那不是它的定位。十分钟跑起来装环境验证安装# 要求 Python 3.12 pip install lerobot lerobot-info # 打印环境信息能跑通就说明装好了没硬件也能先跑起来。下面这段代码直接从 Hub 拉一个官方数据集视频解码是自动的像边下边看一样按需读取不用整包下载from lerobot.datasets.lerobot_dataset import LeRobotDataset dataset LeRobotDataset(lerobot/aloha_mobile_cabinet) # 官方演示数据集 sample dataset[0] # 取第 0 帧 print(sample[action].shape) # 动作向量 print(sample[observation].keys()) # 图像 状态等观测键装完能打印出动作形状正反馈就有了。后续完整安装细节比如 Linux 下补装 ffmpeg见 安装文档所有命令速查见 cheat-sheet。拆开看看两个关键设计决策为什么所有硬件都要过 Robot 这一层LeRobot 里控制流程固定为三步get_observation()读观测、模型出动作、send_action()下发。具体是串口舵机还是 CAN 总线全被Robot子类藏掉了。好处是数据集、训练脚本、可视化完全不感知硬件差异——你给 SO-100 采的数据流程和给 Unitree G1 采的数据流程一模一样。想接自己的机器人实现这个接口就行。为什么数据集要用视频 表格混合存储LeRobotDataset v3 的设计思路是各存各的长处视觉信息压进 MP4体积比存原图小一个数量级关节状态和动作用 Parquet 表存取数快、可流式读。这套格式的详细目录结构和迁移方法在 v3 格式文档里有完整说明。策略侧则是纯 PyTorch 复现各种 SOTA 模型以 GR00T 这类 VLA 为例它的结构大致如下图中信息流从左到右视觉与语言编码器先出特征跨注意力把机器人状态融合进来再由多轮 DiT 块迭代输出动作轨迹——这也是 Pi0、GR00T 等策略共享的设计范式。真实场景怎么用场景一SO-101 双臂采集演示数据并训练做什么用主臂遥操从臂干活采 30 条演示训练 ACT 策略最后真机 rollout。怎么配先lerobot-find-port找到串口lerobot-calibrate做一次标定同一--robot.id要在后面每条命令保持一致然后lerobot-record采数据——过程中方向键切换/删除 episodeESC 收尾并上传 Hub。完整命令模板抄 cheat-sheet 即可。训练只需lerobot-train \ --dataset.repo_id${HF_USER}/so101_dataset_test \ --policy.typeact \ --policy.devicecuda \ --steps20000 \ --output_diroutputs/train/act_so101_test注意什么训练时摄像头配置必须和采集时一致rollout 阶段尤其如此VLA 类大模型对显卡要求较高具体显存/GPU 建议查 硬件指南没有本地 GPU 可以加--job.targeta10g-small让训练跑在云端。场景二没硬件用仿真环境先练手做什么在 LIBERO、MetaWorld 这类标准 benchmark 上训练和评测验证你的工作流。怎么配lerobot-eval指定--env.typelibero --env.tasklibero_object --eval.n_episodes10装好对应仿真依赖即可见安装文档的 Simulations 部分。注意什么仿真里跑通的流程迁移到真机时延迟和传感器噪声是主要差异源建议先在仿真确认策略上限再上真机。维度真机路线SO-101 等仿真路线LIBERO 等前置条件硬件 串口 标定装仿真依赖即可数据从哪来自己遥操采集官方预训练模型直接评测结果可信度直接反映部署效果验证流程与算法上限适合阶段想拿真机结果先学框架、调通代码真机上跑起来是什么效果看这两个演示这是 Reachy2 按训练好的策略自主执行任务的实拍能清楚看到动作执行的平滑度。SO-101 双臂演示主从臂协同抓取——这正是上文场景一产出的数据长什么样。坑与救火指南1. 症状connect()超时找不到串口→ 原因不知道设备占用的是哪个端口或用户没有串口读写权限。 → 解法跑lerobot-find-port它会引导你插拔 USB 来自动定位端口Linux 下把当前用户加进 dialout 组。2. 症状Hub 上的数据集缺最后几段或视频损坏→ 原因数据集没走finalize()就中断了视频编码器没正常收尾。 → 解法lerobot-record结束务必按 ESC 正常退出API 方式写入时在 push 前显式调用finalize()。3. 症状训练 loss 振荡不收敛→ 原因数据里混入了未对齐的时间戳或异常 episode或观测/动作尺度差异大没做归一化。 → 解法用lerobot-dataset-viz先肉眼检查数据集删掉坏 episode 再训归一化由框架的 processor 流水线自动完成确认 policy 配置没把它关掉。4. 症状真机推理卡顿、动作一顿一顿→ 原因推理与执行串行单步延迟超过控制周期。 → 解法换更快的策略如 Pi0Fast 这类蒸馏版或参考 async_inference 模块 用推理服务 机器人客户端的异步架构把推理和下发解耦。边界与展望LeRobot 不擅长什么先说清楚它不是 ROS 替代品不提供 SLAM、多机调度、完整机器人中间件硬件支持集中在协作机械臂和少量人形冷门硬件要自己实现接口VLA 大模型的训练对显存胃口不小消费级显卡更适合 ACT、Diffusion 这类轻量策略。路线图方向看仓库就很清楚策略库在持续扩张世界模型、奖励模型都已进主线EnvHub 让仿真环境可以像模型一样从 Hub 分发HIL人在环数据采集和 RL 训练链路也在补齐。从想训个机器人模型到模型真的动起来中间的路 LeRobot 已经铺好了——剩下的是接上你的第一台机器人或者打开 cheat-sheet 敲下第一条命令。【免费下载链接】lerobot LeRobot: Making AI for Robotics more accessible with end-to-end learning项目地址: https://gitcode.com/GitHub_Trending/le/lerobot创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考