做相机标定的朋友八成遇到过这种尴尬采集的时候没注意回看数据发现一帧画面里同时进了七八块标定板。常规做法是删掉这种“脏帧”重新拍但如果项目已经收尾、现场设备都拆了或者那组数据本身就是拿广角相机一次拍全视场的特殊采集重新来一遍的成本就很高。尤其当你用的是 Kalibr——它对每帧图像里标定板的数量非常较真默认只认一个完整棋盘格一张图里有 9 块板它要么检测错要么优化发散标出来的内参根本没法用。我最初的想法是去改 Kalibr 源码让它支持多板同帧检测。试了一圈发现工作量不小而且 Kalibr 的棋盘格检测和后续优化耦合得比较深动源码容易带出新坑。后来换了个思路不改 Kalibr改输入图像。把一张含 9 块标定板的原始图复制成 9 份每一份只保留其中一块标定板其余区域遮挡掉再把这些“虚拟帧”按时间顺序喂给 Kalibr。这就是标题里说的“原图复制 遮挡方案”。整套流程跑下来内参标定结果的重投影误差在 0.2 像素以内后续相机与 IMU 联合标定也顺利通过了。这篇文章就把这个方案的完整思路、实操步骤和踩过的坑写清楚给同样被多板同框困扰的朋友一个直接能抄的作业。1. 为什么一帧多板会让 Kalibr 直接罢工先搞懂它在找什么做方案之前得先明白 Kalibr 对“一帧一板”的执念从哪来。它不是故意刁难你而是它的检测与优化机制决定了对输入帧的要求。理解这一点很多后处理操作是否合理就一目了然。1.1 Kalibr 的内参标定机制Kalibr 做相机内参标定的流程可以粗略分成三步第一步在图像里检测棋盘格角点第二步根据检测到的角点建立标定板平面与图像平面的对应关系估计每一帧的位姿初值第三步把所有帧的观测放到一起做光束法平差同时优化相机内参、畸变系数和每帧外参。关键点在第一步。Kalibr 的棋盘格检测会把一张图里所有可能的角点都找出来然后根据棋盘格的行列结构去匹配。如果画面里只有一个棋盘格这个匹配过程很干净如果画面里有 9 个棋盘格角点数量爆炸检测器需要决定哪些角点属于同一个板。问题在于Kalibr 的默认处理逻辑里对一个话题的一帧图像只会输出一个“最优”的棋盘格检测结果或者在你配置不当时直接认为这帧数据不符合预期。就算它勉强挑出一个板其余 8 个板的角点也会成为优化过程中的“外点”把整体重投影误差拉大。你要是强行让它用最后的 K 矩阵和畸变系数可能跟真值差得十万八千里。我见过有人试图通过给 Kalibr 传多组棋盘格参数来骗过它比如把 9 个板当成一个“大棋盘”来声明。理论上如果 9 块板严格共面且间距精确已知确实可以拼成一个虚拟大板但实际上你很难保证 9 块板贴在同一个平面上间距误差也是硬伤。这个方法调试成本极高不推荐。1.2 “九点标定”和棋盘格内参标定别混为一谈很多人搜“标定”时会把好几件事混在一起。这里顺手理一理棋盘格相机内参标定解决的是“三维空间点映射到像素坐标时相机本身的焦距、主点、畸变是多少”的问题。输入是不同姿态下标定板的图像输出是相机内参矩阵 K 和畸变系数典型工具就是 Kalibr、OpenCV 的 calibrateCamera。九点标定通常指的是机器视觉里的手眼标定或二维平面映射标定。做法是让机械臂末端带动相机或者让相机固定、机械臂带动工件走 9 个已知位置的点求解像素坐标系到机器人坐标系的变换关系。它标出来的不是相机的内参而是一个像素坐标到世界坐标的映射矩阵本质上是“定位/引导用”的标定。在 Kalibr 的语境里如果没有特别说明“标定”通常指相机内参标定或相机-IMU 联合标定。联合标定之前必须先有一个可靠的相机内参标定结果。内参不对联合标定里相机-IMU 外参优化就是在一个歪曲的观测上做拟合结果不会好。如果你的多板图像是给联合标定用的那更得先把本文这个内参问题解决掉。2. 方案总览不碰 Kalibr 源码把一张多板图拆成九张“虚拟帧”确定了“改输入不改工具”的思路后下一个问题是怎么改。我当时列了三个候选方案裁剪、纯遮挡、区域替换。逐个说下取舍。2.1 为什么选择“原图复制 遮挡”而不是裁剪最容易想到的是裁剪把每块板所在区域裁出来生成 9 张只含一块板的小图。这个方法看起来干净但有一个隐蔽的坑——裁剪后的图像和原始图像的坐标系已经不一样了。相机内参里的主点 cx、cy 是相对于图像坐标系原点的。你把原始图裁掉一大块相当于换了一个新“成像平面”Kalibr 标出来的 cx、cy 是相对于裁剪图的不是相对于原始图的。虽然理论上可以通过平移换算回原始图但这个过程很容易出错尤其是当你后续要做相机-IMU 联合标定、或者用原始分辨率图像做特征处理时主点对不上是很要命的。“原图复制 遮挡”的做法是把原始图复制 N 份每一份里只保留第 N 块标定板所在区域其余区域用纯色填充。图像的宽高、尺寸和原始图完全一致Kalibr 的检测结果直接对应原始相机模型。即便后续要接其他算法也不需要做任何坐标换算。这个优势非常明显。第二个原因是 Kalibr 对角点检测是基于局部窗口的遮挡区域填充纯色后只要保证标定板周围有一定的纯色边距就不会产生新的角点响应。裁剪则没有这个问题但裁剪带来的坐标系偏移比这点麻烦更让头疼。2.2 “虚拟帧”会不会丢信息效率低不低有人会问把一张图复制 9 份每一份只留一块板是不是有点“自欺欺人”Kalibr 会不会因为看起来是连着 9 帧相同图像而认为它们是完全重复的观测实际上不会。Kalibr 对每帧图像的处理是独立的它只关心这一帧图像里检测到的棋盘格角点是什么、位置在哪。你把同一张原始图复制 9 份分别遮挡掉不同区域Kalibr 看到的每一帧都是“同一个视野内标定板出现在不同位置”的有效观测。第一帧看到左上角的板第二帧看到右下角的板这 9 帧联合起来正好让标定板覆盖了整个视野的各个区域。信息没有丢只是被“重新组织”了。但有一个前提必须强调虚拟帧只能拆分已有观测不能凭空产生新观测。相机内参的优化需要标定板在画面中出现不同的位姿和尺度差异。如果你只有一张原图哪怕里面摆了 9 块板拆分出来也只有一种“场景几何”镜头的畸变约束可能不够充分。我实测下来单张多板图拆出来的虚拟帧标定结果有时能收敛但重投影误差波动会比较大稳妥的做法是至少准备 3 到 5 张不同视角、不同距离的多板原图分别复制遮挡后再合并标定。这样角度变化和深度变化都有了Kalibr 的优化才不容易被“假性局部最小”卡住。3. 实操步骤从图片预处理到 Kalibr 出内参下面进入正题。整个流程分四步准备标定板描述文件、生成虚拟帧、打包成 rosbag、运行 Kalibr 并验证结果。3.1 准备标定板描述文件先确认你使用的棋盘格参数。Kalibr 使用一个 YAML 文件描述标定板典型内容如下target_type: checkerboard target_cols: 11 target_rows: 8 row_spacing_m: 0.03 col_spacing_m: 0.03这里有一个非常容易踩的坑target_cols和target_rows在 Kalibr 里指的是棋盘格的“内部角点数量”不是格子的数量。举个例子如果你的棋盘格外观是 12 列 x 9 行格子那么内部角点是 11 列 x 8 行YAML 里应该写target_cols: 11、target_rows: 8。角点数量填错的话Kalibr 检测时怎么也匹配不上或者匹配出一个“错位”的棋盘结构标出来的内参自然也是错的。我习惯先把棋盘格图片用 OpenCV 的findChessboardCorners验一下角点数量确认无误再写 YAML。3.2 写一个“虚拟帧生成”脚本复制 遮挡这一步是整个方案的核心。脚本逻辑很简单读入原图对每一块标定板的区域生成一个 maskmask 内保留原图mask 外填充纯色最后另存为一张虚拟帧。我直接贴一个可用的 Python OpenCV 脚本你们根据自己的图像分辨率、标定板数量和位置改一下 ROI 就行。import os import cv2 import numpy as np IMG multi_board.png OUT_DIR virtual_frames N 9 # 每块标定板的近似区域格式[x, y, w, h] ROIS [ [50, 40, 420, 300], [500, 35, 430, 305], [950, 45, 400, 295], [40, 380, 410, 310], [490, 390, 420, 300], [940, 375, 415, 305], [60, 730, 400, 290], [510, 720, 410, 300], [930, 735, 405, 295], ] PAD 30 # 扩展边距很重要 os.makedirs(OUT_DIR, exist_okTrue) img cv2.imread(IMG) if img is None: raise FileNotFoundError(fcan not read image: {IMG}) h, w img.shape[:2] for i, (x, y, bw, bh) in enumerate(ROIS): mask np.zeros((h, w), dtypenp.uint8) x0 max(0, x - PAD) y0 max(0, y - PAD) x1 min(w, x bw PAD) y1 min(h, y bh PAD) mask[y0:y1, x0:x1] 255 out img.copy() out[mask 0] (0, 0, 0) out_path os.path.join(OUT_DIR, fvirtual_{i:02d}.png) cv2.imwrite(out_path, out) print(fsave {out_path}, size{img.shape[1]}x{img.shape[0]})代码里的PAD 30是扩展边距作用是确保标定板边缘的白色格子和黑色背景之间留出缓冲带避免在板子边缘产生“伪角点”。如果标定板在画面里的像素尺寸比较小PAD 可以适当缩小如果标定板很大建议加大到 50 以上。ROI 的获取方式没必要用程序自动检测——一张图里 9 块板OpenCV 的findChessboardCorners一次只能检测出一块自动检测多板本身就很费劲。直接用图像查看工具记下每块板的矩形范围即可几秒钟的事。生成完虚拟帧后我建议顺手做一步验证对每一张虚拟帧用 OpenCV 检测一下角点确认每帧能看到且只能看到一块完整板。CHESS_COLS 11 # 内部角点数 CHESS_ROWS 8 for name in sorted(os.listdir(OUT_DIR)): path os.path.join(OUT_DIR, name) gray cv2.imread(path, cv2.IMREAD_GRAYSCALE) found, corners cv2.findChessboardCorners(gray, (CHESS_COLS, CHESS_ROWS), None) if found and len(corners) CHESS_COLS * CHESS_ROWS: print(f{name}: OK, corners{len(corners)}) else: print(f{name}: FAIL, found{found}, corners_len{len(corners) if corners is not None else 0})这一步能在喂给 Kalibr 之前过滤掉明显有问题的虚拟帧省得后面 Kalibr 报错时你再回头排查。3.3 把虚拟帧打包成 rosbagKalibr 的相机标定入口kalibr_calibrate_cameras需要输入 ROS bag 格式的数据。如果你采集时已经有 bag那直接把原始图对应的多板帧替换成虚拟帧就行如果只有图片就需要自己把图片写入一个 bag。下面是一个最简单的写 bag 脚本示例假设你已经把虚拟帧按顺序放进了virtual_frames目录import os import rosbag import rospy import cv2 from sensor_msgs.msg import Image from cv_bridge import CvBridge BAG_PATH virtual.bag TOPIC /cam0/image_raw IMG_DIR virtual_frames bridge CvBridge() bag rosbag.Bag(BAG_PATH, w) try: t 0.0 for name in sorted(os.listdir(IMG_DIR)): path os.path.join(IMG_DIR, name) img cv2.imread(path, cv2.IMREAD_GRAYSCALE) msg bridge.cv2_to_imgmsg(img, encodingmono8) stamp rospy.Time.from_sec(t) msg.header.stamp stamp bag.write(TOPIC, msg, tstamp) print(fwrite {name}, stamp{stamp.to_sec()}) t 0.1 # 相邻帧间隔 0.1 秒防止时间戳完全相同 finally: bag.close()写 bag 时要注意时间戳不能完全一样。Kalibr 在读取话题消息时如果发现时间戳重复或者乱序可能会在同步环节出问题。我这里简单用了0.1秒间隔实际你完全可以根据自己的数据情况来定只要保证递增就行。如果你不想走 ROS 这条路也可以用 Kalibr 官方支持的其他输入方式但我实测下来最稳的还是打 bag兼容性最好。ROS 环境不熟悉的读者花点时间把 bag 打好后面能省很多事。3.4 运行 Kalibr 标定并检查结果bag 准备好后运行下面的命令kalibr_calibrate_cameras \ --target checkerboard.yaml \ --bag virtual.bag \ --topics /cam0/image_raw \ --models pinhole-radtan \ --dont-show-report模型参数要根据相机镜头来选。普通的工业相机、监控摄像头用pinhole-radtan就足够鱼眼或超广角镜头建议用pinhole-equidistant或者omni-radtan。如果不确定可以先跑一次pinhole-radtan看结果文件里的重投影误差。误差偏大再换模型这也是一个很常规的排查方法。标定完成后Kalibr 会输出cam0.yaml或类似名字和cam0-*.pdf报告。报告里有两个地方值得重点关注重投影误差Reprojection error一般要小于 0.5 像素小于 0.2 像素算很好。如果误差大于 1 像素说明输入数据里有问题不建议直接用。位姿图posed poses看看标定板的位姿是否覆盖了视野的各个区域有没有明显只集中在某一块。如果位姿全部扎堆在画面中央说明采集时板子位置太单调标内参会不充分。我这次用 5 张不同位姿的多板原图每张拆出 9 个虚拟帧一共 45 帧参与标定最终重投影误差在 0.18 像素左右内参结果和用单板正常采集的数据标出来的一致性很好。4. 常见问题与排查实录我踩过的坑这个方案流程上看起来简单但实际操作中还是有不少坑。我按踩坑频率排个序整理成一张速查表再挑几个值得展开的说。现象可能原因排查与解决Kalibr 报“检测到多个棋盘格”或“board not found”mask 边缘残留其他标定板区域PAD 太小ROI 没覆盖完整检查虚拟帧图片确认每帧只有一块板加大 PAD手动精确标 ROI重投影误差 1 像素原图数量不足板子不平整尺寸单位写错畸变模型不合适补充不同角度、不同距离的多板原图检查棋盘格间距尝试其他畸变模型标出的焦距和标称焦距差很多target_cols / target_rows 填错图像被隐式 resize核对内部角点数检查采集和写 bag 时图像分辨率是否一致主点 cx / cy 明显不在图像中心附近用了裁剪 ROI 方案或主点本身常与光轴有偏移需结合误差判断换遮挡方案如果误差小就不用太担心优化发散报 “Optimization failed”输入帧太少位姿变化太单调初始内参太远至少准备 3 到 5 张不同位姿的原始多板图优先跑默认模型单板检测通过但 Kalibr 读 bag 后没图像话题名不一致图像编码不对时间戳乱序检查 bag 信息用 rosbag info 确认话题名统一用 mono8/bgr8保证时间戳递增4.1 不要试图用一张多板图完成全部标定这是这个方案里最大的一个误区。我最早测试时只拿了一张含 9 块板的原图拆出 9 帧虚拟帧去标定。结果 Kalibr 收敛是收敛了但重投影误差到了 0.8 像素左右而且和后续用单板数据标的结果差了 1% 以上。原因前面提过9 个虚拟帧虽然覆盖了整个视野但它们来自同一个物理场景板子的角度和距离相对固定对畸变参数的约束不够全面。后来我补到 5 张不同视角、不同距离的原图每张拆 9 帧共 45 帧标定结果一下子就稳定了。所以这个方案的正确用法是解决“历史多板数据怎么利用”的问题不要把它当作省事的采集方式。如果条件允许正常采集单板数据永远是最稳的。4.2 PAD 太小或遮挡色太亮会产生伪角点我最初写脚本时为了图省事PAD 只设了 5 个像素结果好几帧虚拟帧没过验证脚本OpenCV 检测出来的角点数一会儿多一会儿少。排查后发现棋盘格边缘的白色格子和黑色遮挡区域靠得太近形成了一些类似角点的梯度响应。解决办法就是把 PAD 调大。一般只要遮挡区域不贴着最外圈的格子伪角点就能压下去。至于填充色用纯黑还是纯白实测下来差别不大关键是不要用灰色或者和棋盘格灰度接近的颜色否则会干扰角点检测的阈值判断。4.3 多板原图里有板子重叠或截断怎么办9 块板同框时很难保证每一块都完整出现。如果某块板被另一块板挡住了或者被图像边缘截掉了这个“残缺板”对应生成的虚拟帧就应该直接弃用。残缺板的角点结构不完整Kalibr 强行检测会把几个角点归到错误的棋盘结构里反而污染优化。建议在生成虚拟帧前先用图像查看工具逐块确认每块板的完整性。那些明显被遮挡、被切边的板子直接跳过不要纠结数量。9 块板里能用 7 块就生成 7 个虚拟帧宁缺毋滥。4.4 遮挡后背景残留纹理导致检测混乱有一种情况是标定板周围环境有很强纹理比如背景是密集的百叶窗、地板砖格子。这时候就算你只在 mask 里保留标定板区域填充色之外的背景纹理如果恰好延伸到 mask 边缘也可能在边界产生干扰。处理办法有两个一是把 PAD 再加大让纯色缓冲带更宽把周围纹理彻底隔开二是用“区域替换”代替“区域遮挡”也就是把非标定板区域用该区域本身的统计颜色填充而不是全局纯黑色。我在脚本里用了纯黑色是因为它最简单、可复现性最好。如果你遇到强纹理背景干扰建议在 mask 外填充一个与图像整体亮度接近的中性灰色。不过灰色值不要选在 127 附近因为棋盘格的黑白角点响应在中间灰度附近最不好控制选 16 或 240 这样离黑白两极较近的值会更稳。5. 实操体会这个方案还能怎么扩展整套流程走完我最深的体会是标定工具越强大对输入数据的“洁癖”往往越明显。Kalibr 不允许一帧多板本质上是它为了保证角点匹配和优化稳定的设计取舍。不理解这层逻辑遇到问题只能干瞪眼理解了之后绕开它其实有很多思路。这个“原图复制 遮挡”方案本质上是一种数据重组的思路。它不改变任何测量信息只是把 Kalibr 能够消化的“一帧一板”约束通过虚拟帧的方式满足。如果以后你遇到的不是 9 块板而是同时出现了 Apriltag 和其他标定物或者一张图里有多个不同规格的棋盘格同样可以沿用遮挡思路只要保证每一帧虚拟图像只包含一种可用标定目标就行。另外一个可以扩展的方向是如果你不想生成一堆虚拟帧文件也可以考虑在图像话题回调里做实时遮挡处理把一帧多板图像在发送给 Kalibr 之前直接“拆分”。不过实时处理的坑比离线处理多因为每帧的标定板位置会移动ROI 不好固定除非你已经提前知道了标定板的大致追踪位置。对于标定这种一次性任务离线处理已经足够流程简单也更好排查问题。如果你手里的多板数据是要继续做相机-IMU 联合标定的有一个额外建议在跑kalibr_calibrate_imu_camera之前先确保相机内参是用处理后的虚拟帧标出来的且重投影误差足够小。联合标定对相机内参的依赖很强相机内参本身不干净后面不管怎么调 IMU 参数都很难得到可信的外参结果。IMU 内参加速度计零偏、陀螺仪零偏等的标定在 Kalibr 里通常是联合标定的一部分不要跳过相机内参直接去跑那样只会让问题复杂化。最后说个我个人的小习惯处理完一组多板图我会把生成的虚拟帧和原始图放在同一个目录下存档命名里带上原始图的编号和遮挡板的编号。这样一旦后续要复查某帧为什么异常或者想重新调整 PAD 再生成一遍不需要重新做标注。标定这个事最怕的就是流程不可复现能留的中间产物尽量留能写的参数尽量写进脚本。多省一分钟是一分钟。