Isaac Sim知识小解（9）：anygrasp生成抓取位姿

1. Anygrasp介绍AnyGrasp是上海交大 非夕 Flexiv 联合实验室GraspNet 团队推出的通用 7DoF 视觉抓取算法 工程 SDK2022 论文面向无序未知物体静态 动态抓取是目前工业落地最主流的 6/7 自由度抓取开源方案常和 cuRobo 运动规划搭配使用视觉出抓取位姿→cuRobo 做机械臂避障轨迹。无需提前物体建模、物体 CAD、离线标定训练输入单目 RGB-D 点云直接输出夹爪可用7 自由度抓取位姿6D 位姿 夹爪开合宽度与其他主流方法比较使用流程建议典型 pipeline获取 RGB-D 图像 → 生成点云运行 AnyGrasp → 得到多个候选抓取7DoF 位姿在相机系下手眼标定 → 将抓取位姿转到机器人基坐标系对抓取位姿进行后处理 → 选择最优抓取位姿位姿送入 cuRobo 运动规划 → 规划无碰撞路径执行抓取动作接近 → 闭合夹爪 → 提起使用 [AnyGrasp]它输入一帧 RGBD 数据以及相机内参输出一组相机坐标系下带分数的候选抓取位姿。AnyGrasp 的 SDK 需要申请 license。最直接的用法是离线跑一帧数据核心就是从深度图反投影出点云喂给模型from gsnet import AnyGrasp from graspnetAPI import GraspGroup anygrasp AnyGrasp(cfgs) anygrasp.load_net() # 从深度图反投影出点云 xmap, ymap np.meshgrid(np.arange(W), np.arange(H)) points_z depths / scale points_x (xmap - cx) / fx * points_z points_y (ymap - cy) / fy * points_z points np.stack([points_x, points_y, points_z], axis-1) mask (points_z 0) (points_z 1) points points[mask].astype(np.float32) colors colors[mask].astype(np.float32) # 检测抓取返回一个 GraspGroup gg, cloud anygrasp.get_grasp( points, colors, apply_object_maskTrue, collision_detectionTrue ) gg gg.nms().sort_by_score() # 非极大值抑制 按分数排序 best_grasp gg[0] # 分数最高的抓取用服务的方式调用在实际的数据采集流水线里AnyGrasp 模型加载一次要占不少显存而且我们往往需要并行跑很多个 Isaac Sim 实例每个实例都自己加载一份模型既慢又浪费。所以更实用的做法是把AnyGrasp 包成一个 HTTP 服务模型常驻显存Isaac 这边作为客户端按需请求。from flask import Flask, request, jsonify app Flask(__name__) anygrasp AnyGrasp(cfgs) anygrasp.load_net() # 模型常驻 app.route(/process, methods[POST]) def process_data(): data request.get_json() colors np.array(data[colors], dtypenp.uint8) depths np.array(data[depths], dtypenp.uint16) # ... 反投影 get_grasp ... gg gg.nms().sort_by_score() grasp_list [{ translation: g.translation.tolist(), rotation_matrix: g.rotation_matrix.tolist(), depth: g.depth, score: g.score, } for g in gg] return jsonify({grasp_groups: grasp_list}), 200 app.run(host0.0.0.0, port5001)从相机系到世界系AnyGrasp 给出的抓取位姿是在相机坐标系下的而我们前面规划用的是世界坐标系所以又得做一次坐标变换。这里需要特别小心的是AnyGrasp / GraspNet 的相机坐标系约定和 Isaac Sim 的相机坐标系约定是不一样的中间需要插一个修正矩阵def get_world_grasp_from_camera_coords( camera_position, camera_quaternion, point_3d, matrix_grasp ): rotation_cam_to_world R.from_quat(camera_quaternion[[1, 2, 3, 0]]) # 这两个矩阵用来对齐 GraspNet 和 Isaac 的相机坐标系约定 transform_custom_pose np.array([[0, 0, 1], [0, -1, 0], [1, 0, 0]]) correction_matrix np.array([[1, 0, 0], [0, 0, -1], [0, 1, 0]]) point_in_world ( rotation_cam_to_world.as_matrix() correction_matrix transform_custom_pose point_3d camera_position ) rotation_world ( rotation_cam_to_world * R.from_matrix(correction_matrix transform_custom_pose) * R.from_matrix(matrix_grasp) * R.from_matrix(np.linalg.inv(transform_custom_pose)) ).as_quat()[[3, 0, 1, 2]] return point_in_world, rotation_world