简介这份资源围绕双目立体视觉的立体标定与立体校正展开面向已掌握OpenCV基础、希望深入立体匹配与三维重建的开发者与学习者。内容基于VS2013与OpenCV3.0环境对左右相机采集的棋盘格标定图像完成立体标定与校正为后续视差计算和深度恢复打下基础。压缩包共251个文件约29.64MB以hpp与h头文件为主辅以png标定图像、lib与dll运行库、cmake构建脚本、yml参数文件及sln工程文件另含可执行程序与调试日志结构完整便于直接编译运行。目前已有1735人学习下载。读者可从中获得一套可复用的标定校正工程模板理解相机内外参求解、畸变矫正与极线校正的完整流程并借助示例图像与配置文件快速验证结果适合课程设计、科研入门或项目预研时参考。1. 双目视觉立体标定与校正从两张棋盘格到可用的深度图很多人第一次做双目代码跑通了视差图也出来了但深度值就是不对——近处物体测出来 3 米远处反而 1 米或者整张深度图是斜的。十有八九不是匹配算法的问题而是立体标定与校正这一环没做扎实。双目立体视觉的核心逻辑很朴素两个相机各拍一张图找到同名点用三角测量算深度。但前提是你得先知道两个相机的内参、畸变系数以及它们之间的旋转和平移关系再把两张图校正到同一极线平面上。这套流程就是立体标定与校正。它适合做机器人抓取、三维重建、测距避障的工程师也适合刚接触 OpenCV 双目的新手。下面按我实际拆项目的顺序把参数、代码和坑一次讲清。2. 标定前必须想清楚的三件事棋盘格、内参和立体关系2.1 为什么单目标定不能直接拿来做双目单目标定只解决一个相机自己的问题把像素坐标映射到归一化平面再通过畸变模型还原真实光线方向。它给出的是内参矩阵和畸变系数描述的是“这个相机怎么看世界”。但双目多了一层约束左右相机之间的相对位置。如果你只做单目标定然后随便拿两个相机的内参去算深度结果一定错因为三角测量依赖的是两个相机光心之间的基线向量和旋转矩阵。常见做法是先分别对左右相机做单目标定拿到各自的内参和畸变系数再用cv2.stereoCalibrate把两组内参作为初值联合优化出旋转矩阵 R、平移向量 T、本质矩阵 E 和基础矩阵 F。这里有个细节stereoCalibrate的flags参数如果设成cv2.CALIB_FIX_INTRINSIC就固定单目标定的内参只优化外参如果设成cv2.CALIB_USE_INTRINSIC_GUESS则把单目标定结果当初始值继续优化。我一般先用CALIB_FIX_INTRINSIC跑一遍看外参是否合理再放开优化。提示棋盘格标定板必须同时出现在左右视野里且每个姿态下左右图都能完整检测到角点否则这一组数据直接丢弃。2.2 采集标定图数量、角度和覆盖范围标定图的质量直接决定标定结果。我踩过的坑是拍了 30 组图结果 20 组棋盘格都在画面正中央标定出来的畸变系数在边缘区域完全不准。正确的做法是让棋盘格覆盖整个视野上下左右四个角、中心、远近不同距离、不同倾斜角度。一般建议 15 到 25 组有效图像太少容易过拟合太多也没必要。采集时注意三点第一标定板要平整打印后贴在硬板上别用软纸第二左右相机同步触发如果物体在动左右图不同步会导致角点对应错位第三光照均匀避免反光和阴影遮挡角点。我通常用cv2.findChessboardCorners检测角点后再用cv2.cornerSubPix做亚像素优化这一步能把角点精度从像素级提到亚像素级。import cv2 import numpy as np # 棋盘格内角点数比如 9x6 pattern_size (9, 6) criteria (cv2.TERM_CRITERIA_EPS cv2.TERM_CRITERIA_MAX_ITER, 30, 0.001) def find_corners(img_path): img cv2.imread(img_path) gray cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) ret, corners cv2.findChessboardCorners(gray, pattern_size, None) if not ret: return None, None # 亚像素优化窗口大小 11x11 corners_refined cv2.cornerSubPix(gray, corners, (11, 11), (-1, -1), criteria) return corners_refined, gray.shape[::-1]这段代码里pattern_size是内角点数不是方格数比如 10x7 的方格对应 9x6 内角点。cornerSubPix的窗口(11,11)是搜索区域太小会收敛到局部极值太大容易受噪声影响。criteria里EPS是精度阈值MAX_ITER是最大迭代次数一般 30 次足够。2.3 单目标定内参和畸变系数的获取单目标定用cv2.calibrateCamera输入是角点的世界坐标和图像坐标。世界坐标按棋盘格实际物理尺寸构造比如方格边长 25mm那第 i 行第 j 列角点的世界坐标就是(i*25, j*25, 0)。标定完成后会得到内参矩阵mtx、畸变系数dist、旋转向量rvecs和平移向量tvecs。# 假设 objpoints 是 3D 点列表imgpoints 是 2D 点列表 ret, mtx, dist, rvecs, tvecs cv2.calibrateCamera( objpoints, imgpoints, gray_shape, None, None ) print(内参矩阵:\n, mtx) print(畸变系数:, dist.ravel())ret是重投影误差单位是像素一般小于 0.5 算不错大于 1 就要检查标定图。mtx里的fx和fy是焦距cx和cy是主点通常接近图像中心。畸变系数dist一般是 5 个值k1、k2、p1、p2、k3分别对应径向和切向畸变。如果重投影误差大优先检查角点检测是否准确而不是急着换算法。3. 立体标定与校正从外参到极线对齐3.1 stereoCalibrate 的参数与输出解读有了左右相机的内参和畸变系数就可以做立体标定。cv2.stereoCalibrate的输入是左右相机的 3D 点、2D 点、内参、畸变系数和图像尺寸。输出包括旋转矩阵 R、平移向量 T、本质矩阵 E、基础矩阵 F。R 和 T 描述的是右相机相对于左相机的位姿如果左相机光心在原点右相机光心就在 T 方向旋转由 R 表示。ret, K1, D1, K2, D2, R, T, E, F cv2.stereoCalibrate( objpoints, imgpoints_left, imgpoints_right, mtx_left, dist_left, mtx_right, dist_right, image_size, flagscv2.CALIB_FIX_INTRINSIC, criteria(cv2.TERM_CRITERIA_EPS cv2.TERM_CRITERIA_MAX_ITER, 100, 1e-5) ) print(基线长度:, np.linalg.norm(T)) print(旋转矩阵:\n, R)flags设成CALIB_FIX_INTRINSIC表示固定单目标定的内参只优化外参。criteria里迭代次数设 100精度 1e-5比单目标定更严格。T的模长就是基线单位跟标定板物理尺寸一致比如标定板方格 25mm那基线单位就是 mm。如果基线明显偏离实际测量值说明标定图质量有问题。3.2 stereoRectify把两张图拉到同一极线平面立体校正的目的是让左右图像的极线水平对齐这样匹配时只需要在同一行搜索大幅降低计算量。cv2.stereoRectify根据内参、畸变、R、T 计算校正变换矩阵R1、R2是左右相机的校正旋转矩阵P1、P2是校正后的投影矩阵Q是视差到深度的重投影矩阵。R1, R2, P1, P2, Q, roi1, roi2 cv2.stereoRectify( K1, D1, K2, D2, image_size, R, T, alpha0, # 0 表示裁剪掉无效区域1 表示保留所有像素 flagscv2.CALIB_ZERO_DISPARITY ) print(重投影矩阵 Q:\n, Q)alpha0时校正后的图像会裁剪掉黑色无效区域适合做深度图alpha1保留所有像素但边缘有黑边适合做全景拼接。CALIB_ZERO_DISPARITY让主光线在无穷远处相交保证极线水平。Q矩阵是关键它的第三行第四列是-1/TxTx 是基线在 x 方向的分量深度计算公式就是Z f * B / d其中 d 是视差。3.3 initUndistortRectifyMap 与 remap生成校正图算出校正参数后用cv2.initUndistortRectifyMap生成映射表再用cv2.remap把原图映射到校正图。映射表只算一次之后每帧直接 remap速度很快。map1x, map1y cv2.initUndistortRectifyMap( K1, D1, R1, P1, image_size, cv2.CV_32FC1 ) map2x, map2y cv2.initUndistortRectifyMap( K2, D2, R2, P2, image_size, cv2.CV_32FC1 ) img_left cv2.imread(left.png) img_right cv2.imread(right.png) rect_left cv2.remap(img_left, map1x, map1y, cv2.INTER_LINEAR) rect_right cv2.remap(img_right, map2x, map2y, cv2.INTER_LINEAR)initUndistortRectifyMap的输出是CV_32FC1的浮点映射表remap时用INTER_LINEAR双线性插值。校正后可以画几条水平线检查极线是否对齐如果左右图中同一物体的角点在同一行说明校正成功。我一般会保存map1x、map1y、map2x、map2y到 npz 文件避免每次启动都重新计算。4. 避坑与排查标定结果不对时先查这五条4.1 重投影误差大角点检测不准现象calibrateCamera返回的ret大于 1.0校正后图像边缘扭曲。原因棋盘格角点检测受光照、模糊或遮挡影响亚像素优化没收敛。解决检查标定图是否清晰findChessboardCorners是否返回 TruecornerSubPix窗口是否合适。我习惯把检测到的角点画出来肉眼确认别只看返回值。4.2 基线长度和实际不符现象stereoCalibrate输出的T模长跟卷尺量的基线差很多。原因标定板物理尺寸填错或者左右相机不同步导致角点对应错位。解决确认棋盘格方格实际边长单位统一检查采集时是否同步触发动态场景必须用硬件同步。4.3 校正后极线不水平现象画水平线检查左右图同一物体不在同一行。原因stereoRectify的alpha或flags设置不当或者 R、T 本身不准。解决先用CALIB_ZERO_DISPARITY和alpha0跑一遍如果还不行回查立体标定的重投影误差。常见做法是重新采集几组覆盖边缘的标定图。4.4 深度图近处准远处飘现象1 米内深度误差几厘米3 米外误差几十厘米。原因视差精度随距离下降基线越短越明显。解决增大基线能提升远距离精度但会减小重叠视野或者用更高分辨率相机提高视差量化精度。这是物理限制不是算法能完全解决的。4.5 remap 后图像有黑边或缺失现象校正图边缘出现黑色区域或者内容被裁掉。原因alpha0会裁剪无效区域alpha1保留黑边。解决根据用途选择做深度图用alpha0做显示用alpha1。如果黑边太大检查相机是否装歪或者标定图覆盖范围不够。5. 进阶技巧用 Q 矩阵把视差图转成深度图并验证标定校正做完最终要落到深度图。OpenCV 的StereoBM或StereoSGBM可以算视差然后用cv2.reprojectImageTo3D结合 Q 矩阵生成三维点云。这里有个容易忽略的点视差图里有很多无效值视差为 0 或负数直接重投影会得到无穷远或负深度必须过滤。# 假设 disparity 是 StereoSGBM 算出的视差图单位是像素 disparity stereo.compute(rect_left_gray, rect_right_gray).astype(np.float32) / 16.0 # 过滤无效视差 mask disparity 0 points_3d cv2.reprojectImageTo3D(disparity, Q) points_3d[~mask] [0, 0, 0] # 验证取视差图中心区域计算深度中位数 h, w disparity.shape center_disp disparity[h//3:2*h//3, w//3:2*w//3] center_depth Q[2,3] / (center_disp Q[3,2]) print(中心区域深度中位数:, np.median(center_depth))reprojectImageTo3D的输入视差必须是浮点型StereoBM和StereoSGBM默认输出是 16 倍定点数所以要除以 16。Q[2,3]是-1/Tx相关的项Q[3,2]是焦距项深度公式可以简化为Z f*B/d。验证时别只看单点取中心区域中位数更稳。我还会做一件事用卷尺量一个已知距离的物体比如 1.5 米处的标定板看深度图输出是否接近。如果偏差超过 5%优先检查 Q 矩阵是否用错或者校正图是否真的极线对齐。从那以后我每次标定完都强制走一遍“画极线 量已知距离”的验证不再直接信重投影误差。希望帮到你。本文还有配套的精品资源点击获取