文章目录前言一、标定算法的分类二、openCalib使用步骤0.运行环境1.下载源码并编译2.设置参数3.运行标定程序致谢前言多传感器融合的项目免不了外参标定过程最近参与的项目时间也挺久了尝试了不少标定算法包括手动选点PNP求解、有对象的自动标定、无对象的自动标定和手动标定算法最后还是回归到手动标定上。本文总结一下这个项目中用过的标定算法和效果权当记录。一、标定算法的分类明确“标定”的定义本文的“标定”特指“外参标定”具体的是指激光雷达坐标系到相机坐标系的变换矩阵有机器人相关经验的应该不难理解。目前我们在GitHub中使用过的开源标定算法主要分三类有目标自动标定、无目标自动标定、手动标定目标一般指标定板有目标即需要采集的数据中包含标定板无目标即不需要标定板手动标定就是openCalib提供的手动对齐工具。有目标自动标定基本上一搜一大把因为项目用的是livox所以有目标的自动标定使用的是Livox-SDK下的https://github.com/Livox-SDK/livox_camera_lidar_calibration.git官方的比较麻烦需要更换来更换去有大神改了下代码帮助我们方便使用https://github.com/Shelfcol/livox_camera_lidar_calibration_modified.git当然也可以使用matlab提供的标定工具箱只是与上面这两个相比matlab还是麻烦些。无目标的自动标定那一定是港大的 livox_camera_calib标定内容就是一组图片对应一组pcd文件需要环境中有较多连续深度点最好是不要有树木。以上的自动标定都比较随缘但是大都可以提供一个不错的外参初始值在此初始值之上进行手动微调就是引入openCalib手动标定工具箱的作用了不是让你上来就手动标定有初始外参再微调才是最方便的二、openCalib使用步骤0.运行环境Cmake opencv2.4eigen3PCL1.9Pangolin如果安装有ros则cmake和eigen3就有了opencv实测3.4.16可用大部分开源算法和opencv3.4.16兼容性也比较好建议安装注意ros自带opencv安装新的opencv时建议共存csdn里有不少文章介绍怎么共存pangolin 安装0.8最新版本即可pcl1.9 必须ubuntu18的ros自带pcl1.8是不能编译的所以也需要再共存一个pcl1.9版本网上资源也足够了1.下载源码并编译我们只使用手动标定的所以只编译manual_calib即可mkdircalibration_wscdcalibration_ws/gitclone https://github.com/PJLab-ADG/SensorsCalibration.gitcdSensorsCalibration/lidar2camera/manual_calib/mkdirbuildcdbuild/ cmake..make2.设置参数开始标定前需要设置相机内参和初始的外参找到manual_calib/data/center_camera-intrinsic.json并编辑红色框内是相机的内参矩阵绿色框内是相机畸变参数。项目用的是realsense相机畸变参数全为0所以绿框对我们而言没什么用使用鱼眼相机的时候要注意这块一般顺序就是k1k2p1p2如果要求五个那就是k1k2p1p2k3。再设置初始外参找到manual_calib/data/top_center_lidar-to-center_camera-extrinsic.json并编辑将4*4的初始外参矩阵输入。一般而言激光雷达特指livox激光的坐标系为上z前x的右手坐标系相机的坐标系为前z右x的右手坐标系所以在不知道初始外参时可以用以下外参进行初始化0.0, -1.0, 0.0, 0.0, 0.0, 0.0, -1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.03.运行标定程序学过c应该知道cpp文件编译之后生成一个可执行文件才是最后真正会用到的openCalib也不例外编译好的文件为manua_calib/bin/run_lidar2camera按照官方给的教程运行该文件并传入相应的数据和参数文件即可cd~./manual_calib/ ./bin/run_lidar2camera\data/0.png\data/0.pcd\data/center_camera-intrinsic.json\data/top_center_lidar-to-center_camera-extrinsic.json顺序是图片、点云、内参文件、外参文件最好是写个bash文件将这些命令整理清楚这样更换数据时也比较方便运行效果intensity color可以让颜色修改为以强度显示overlap filter可以率除掉被遮挡的激光点顺便进行点云降噪如图所示step就是每次修改旋转角度和偏移量时的步长point size可以根据习惯适当调大调小然后就可以点左侧栏那一堆按键来将点云和图片对齐啦过程和结果就比较吃感觉了。等标定的差不多了就关闭标定界面运行程序的终端应该会有如下显示这个就是最后的标定结果了。致谢在此感谢港大、上海AILab和Livox官方的开源代码以及无私的开源精神。感谢网友elegantgrey指出的畸变参数顺序错误现已纠正