目录1.仓库核心架构1.1 整体方法：HIL-SERL1.2 系统架构1.3 代码结构2.复现过程2.1 硬件2.2 环境搭建基于UR5e真机部署的源码SERL：RL+Vision+Touch实现搜孔和插拔传统力控搜孔插孔：预先规划好移动的轨迹，这个规划的轨迹会覆盖搜孔区域，实际搜孔的过程中，需要紧贴孔位，按压式搜索，这时需要要求机械臂是软的否则会报碰撞，当搜到孔的那一瞬间力会突变，通过这个判断搜孔成功。强化学习+视觉插孔：通过计算目标位置的误差计算奖励，误差越小给的奖励越多。serl：真机强化https://github.com/rail-berkeley/serl：低配版，不维护https://github.com/rail-berkeley/hil-serl：高配版人工在环，可以通过人工干预提高收敛时间硬件需求：2个D405、6D鼠标、带有阻抗或导纳的臂驱动安装好后打开驱动，里面有个手册，可以看看就知道如何设置了。官网驱动下载 https://3dconnexion.com/cn/drivers/官网产品手册下载 https://3dconnexion.com/cn/manuals/摇操时你需要对摇操数据做个标记他训练的时候要知道哪些是人工数据，哪些是真机训练的数据抽样的时候，人工数据和真机数据各一半原版HIL-SERL仓库中是通过franka机械臂实现的控制（主要还是该臂支持阻抗控制，因为机械臂关节有力矩传感器），人工干预是通过SpaceMouse实现，现在想通过UR5e（末端带力传感器）来复现。背景介绍：https://www.bilibili.com/video/BV1BsMqzgExn/?spm_id_from=333.337.search-card.all.clickvd_source=858585879400a2acad4b4d9a0283f25d目录