简介这是一份基于C#语言实现的双目立体视觉测距工程利用三角测量原理检测并测量空间中特定点的距离适合学习计算机视觉、图像处理与三维重建的开发者参考。项目从双相机图像采集、特征匹配、立体匹配、视差图计算到三角测量与最终距离测量形成了完整可运行的实现流程工程中同时包含主界面、参数设置、特征点列表等多个功能模块配合示例图像可直接打开验证效果。压缩包共49个文件以C#源码文件、可执行程序、配置文件、资源文件及左右相机示例图像为主整体大小仅2.79MB结构紧凑、易于阅读。目前已有676人学习下载。通过研读源码既可以理解SIFT/SURF/ORB等特征匹配算法在视差计算中的实际用法也能掌握相机内参与外参在三角测量中的重要作用为后续参与机器人导航、自动驾驶或工业测量项目打下扎实基础。1. 双目立体视觉测距是什么为什么我不建议你直接买深度相机双目立体视觉测距这个zip包拆开就是两件事用两台相机模拟人眼的视差感知再把像素差换算成真实距离。我在一个喷涂机器人的定位场景里被这东西折腾过一整周一开始以为装上两个USB摄像头跑个SGBM就能出距离结果输出的深度图全是雪花返工之后才发现问题出在标定环节而不是算法本身。这套技术适合正在做机器人避障、工业测量或者目标定位的从业者也适合刚接触立体视觉、想知道这套方案和ToF、结构光相比到底值不值得投入的人。下面从原理开始一路讲到可复现的OpenCV流程以及那几个让我返工到怀疑人生的坑。2. 双目测距的核心原理视差到深度的几何推导与硬件前置条件2.1 为什么是两台相机而不是一台单目缺一个尺度先说一个经常被忽略的事实单目相机在数学上无法直接测距。一个近距离的小物体和一个远距离的大物体在图像里可能投影成完全一样的大小这个尺度歧义在单张图里无解除非你引入已知物体尺寸、运动视差或者地面假设这些额外约束。双目方案的本质就是仿照人眼用两个视点对同一场景做三角测量相当于给图像补上缺失的尺度信息。这也是所有做双目的人都死盯着基线的原因因为基线就是这套三角测量的“尺子”。常见做法是用两个同型号相机组成一个刚性基线结构。基线的长度B是整套系统的灵魂基线越短结构越紧凑能测的最近距离越近基线越长远距离测距精度越好但近处会形成较大的盲区。如果你要测0.5米到5米的距离基线选60到120毫米比较合适如果目标是10米开外的障碍物基线至少要做到200毫米以上。选基线时还要把相机的视场角考虑进去基线拉长之后左右视野的重叠区域会变窄超出重叠区的物体根本没有对应点可匹配这一段区域只能当它不存在。把双目和主动式深度传感器做个对比有助于判断这个方向值不值得投入。ToF和结构光都是有源方案在室外强光下容易被环境光压制而且近距离精度好、远距离衰减快双目是无源方案只要场景不是纯白墙白天和室外的表现通常更好硬件成本几乎就是两台相机的价格。代价是对纹理敏感、标定繁琐、计算量比单目大不少。若是室内近距离且预算充足ToF确实省心但要做室外或者大范围测量双目仍然是最稳的被动选择而且它不依赖主动光源也就没有功耗和阳光干扰的包袱。2.2 极线约束与视差图把三维搜索压成一维匹配要算出深度必须先知道同一个三维点在左右两张图里分别投在了哪里这就是立体匹配要解决的问题。如果没有任何约束在右图里搜索左图某个点的对应点是一个二维搜索问题计算量巨大且极容易错配。立体几何里有一个关键结论叫极线约束左图中的任意一个点它的对应点必然落在右图中一条特定的直线上这条线叫极线。借助这个约束二维搜索被降成一维搜索误匹配概率和计算量同时大幅下降。实际工程中不会直接用原始图像做极线搜索而是先做立体校正通过重映射把两张图转成严格行对齐的状态让所有极线都变成水平线。这样一来对应点搜索就退化为在同一行像素里找一个水平偏移量这个偏移量就是视差d x_L - x_R。把每个像素的视差都算出来就得到一张视差图它本质上就是带符号的深度信息载体。剩下的工作就是把这个水平错位换算成物理距离。从视差到深度的公式是Z f·B / d其中f是焦距像素单位B是基线毫米d是视差像素算出来的Z就是毫米单位的深度。这个公式背后有个非常重要的工程直觉深度与视差成反比距离近的物体视差大距离远的物体视差小。视差在远距离处会被量化得很粗比如在10米处视差可能只有几个像素一个像素的视差误差对应几十厘米的距离误差。这也是所有双目系统“越远越不准”的数学根源不是算法不行而是几何决定的。这里可以直接估算精度边界。对Z求导有dZ ≈ Z² / (f·B)这个式子说明深度误差和距离的平方成正比。举例焦距1200像素、基线120毫米在5米处的单像素视差误差对应约170毫米的深度误差把基线加到240毫米同样条件下误差降到85毫米。所以你想提升远处精度最有效的杠杆不是换算法而是拉基线、加分辨率。理解了这一点你就不会对远处精度抱不切实际的期待也不会在错误的方向上白费力气。2.3 硬件选型的三个硬指标同步、快门与基线很多人在软件上花了大量时间最后发现误差来自相机硬件本身这一步选型值得先想清楚。第一个硬指标是帧同步双目测距要求左右图像是同一时刻拍摄的如果两个相机各自独立出帧运动物体在两张图里的位置不一致视差匹配直接出错。理想的方案是硬件触发或者带同步线的双目模组退一步也要做软件软同步把时间戳差小于一个帧周期的图像对打包使用运动场景下千万别让两个相机自由运行。第二个硬指标是快门类型。卷帘快门是很多USB摄像头的标配它逐行曝光拍运动物体会产生明显的果冻畸变左右图的畸变方向还可能不一致放大到视差上就是系统性误差。做运动场景的双目优先选全局快门哪怕分辨率低一点也值得。如果手头只有卷帘快门就只能把系统限制在低速或静态场景这是硬约束不是调参能解决的。另一个常见错误是混用两个不同型号的相机视场角不一致会让校正后的重叠区变小色彩响应不一致会让匹配置信度下降所以务必两同一型号、同一固件。第三个才是基线前面已经讲过它的作用。选型时把这三个因素按同步优先、快门次之、基线再次的顺序考虑会比先纠结像素分辨率更实际。像素分辨率影响的是视差的角分辨率但同步和快门问题直接决定匹配是否可信属于有和无的区别而不是好和坏的区别。这个排序是我在多个项目里反复验证过的顺着它选硬件后面标定和调参能省掉一大半麻烦。3. 用OpenCV跑通双目测距全流程标定、立体校正与SGBM参数调法3.1 双目标定内参、外参与重投影误差我一般把双目流程拆成四步双目标定、立体校正、视差计算、深度换算。第一步标定决定了后面所有环节的生死用OpenCV做双目标定其实不复杂但细节很多。先用一张棋盘格打印出来贴平板上棋盘格的内角点数要记准比如7列9行左右相机同时采集15到25对图像覆盖画面四角和不同距离。采集时注意让棋盘格在画面里的姿态足够多样倾斜、旋转、远近都要有否则外参解算会退化。import cv2 import numpy as np # 棋盘格内角点数7列 x 9行 CHESSBOARD (7, 9) square_size 0.023 # 每格边长单位米 objp np.zeros((7 * 9, 3), np.float32) objp[:, :2] np.mgrid[0:7, 0:9].T.reshape(-1, 2) * square_size obj_points [] # 世界坐标系下的棋盘格角点 img_points_l [] # 左图角点像素坐标 img_points_r [] # 右图角点像素坐标 for l_path, r_path in zip(list_left, list_right): img_l cv2.imread(l_path, cv2.IMREAD_GRAYSCALE) img_r cv2.imread(r_path, cv2.IMREAD_GRAYSCALE) ret_l, corners_l cv2.findChessboardCorners(img_l, CHESSBOARD, None) ret_r, corners_r cv2.findChessboardCorners(img_r, CHESSBOARD, None) if ret_l and ret_r: obj_points.append(objp) img_points_l.append(corners_l) img_points_r.append(corners_r) # 先单独标定两个相机拿到内参初值 ret_l, mtx_l, dist_l, _, _ cv2.calibrateCamera( obj_points, img_points_l, img_l.shape[::-1], None, None) ret_r, mtx_r, dist_r, _, _ cv2.calibrateCamera( obj_points, img_points_r, img_r.shape[::-1], None, None) # 双目标定求右相机相对左相机的旋转R和平移T ret, mtx_l, dist_l, mtx_r, dist_r, R, T, E, F cv2.stereoCalibrate( obj_points, img_points_l, img_points_r, mtx_l, dist_l, mtx_r, dist_r, img_l.shape[::-1], criteria(cv2.TERM_CRITERIA_MAX_ITER | cv2.TERM_CRITERIA_EPS, 100, 1e-6))逻辑说明这里先对左右相机分别做单目标定拿到内参初值再传入 stereoCalibrate 做联合优化最后得到的 R 和 T 是右相机在左相机坐标系下的旋转和平移平移向量的模就是基线长度B。之所以先单目标定再双目标定是因为 stereoCalibrate 依赖内参初值做外参迭代初值太离谱会直接不收敛或者收敛到错误的外参上。参数说明square_size 必须填真实棋盘格边长它决定了 T 和 B 的物理单位填错一格后面所有深度全部偏差一个固定比例。criteria 里的100是最大迭代次数1e-6是精度阈值CHESSBOARD 的值必须和实际打印棋盘的内角点一致数错一个点标定结果就完全不能用。双目标定完成后看 ret 对应的重投影误差一般要求小于0.3像素如果跑到0.5以上先回头检查是不是有模糊或者逆光的图像混进了数据集而不是急着调算法。3.2 立体校正与SGBM让左右图严格行对齐标定完成后下一步是把原始图像重映射成行对齐的校正图像。OpenCV 里 stereoRectify 会计算左右视图的校正映射再配合 initUndistortRectifyMap 和 remap 生成校正后的图。这里有个常见误区很多人跳过立体校正直接用原始畸变图喂给SGBM结果视差图在图像边缘全是错配。极线约束的前提是图像已校正这一步省不掉。# 立体校正计算左右视图的重映射表 R1, R2, P1, P2, Q, _, _ cv2.stereoRectify( mtx_l, dist_l, mtx_r, dist_r, img_l.shape[::-1], R, T, alpha0) map1_l, map2_l cv2.initUndistortRectifyMap( mtx_l, dist_l, R1, P1, img_l.shape[::-1], cv2.CV_32FC1) map1_r, map2_r cv2.initUndistortRectifyMap( mtx_r, dist_r, R2, P2, img_r.shape[::-1], cv2.CV_32FC1) # 对每一帧做校正注意颜色图要先转灰度再喂给SGBM rect_l cv2.remap(img_l_raw, map1_l, map2_l, cv2.INTER_LINEAR) rect_r cv2.remap(img_r_raw, map1_r, map2_r, cv2.INTER_LINEAR) # 视差计算SGBM sgbm cv2.StereoSGBM_create( minDisparity0, numDisparities64, blockSize11, P18 * 3 * 11 ** 2, P232 * 3 * 11 ** 2, uniquenessRatio10, speckleWindowSize100, speckleRange2, disp12MaxDiff1, modecv2.STEREO_SGBM_MODE_SGBM_3WAY) disp sgbm.compute(rect_l, rect_r).astype(np.float32) / 16.0逻辑说明stereoRectify 输出的 P1、P2 是校正后的投影矩阵Q 是用于把视差转成三维点云的矩阵remap 用查表方式做像素重映射效率比逐像素调用畸变矫正函数高得多。SGBM 算出的视差是定点格式本质是整数乘以16所以 compute 之后必须除以16才能得到真实像素单位视差漏掉这一步的人经常发现深度整体偏大或偏小。SGBM 的参数是双目测距里最玄学的部分但底层逻辑是清晰的它本质上是一个带平滑约束的块匹配P1、P2 控制平滑强度uniquenessRatio 控制匹配置信度。以下是我常用的起点参数大多数场景在这个基础上微调就够用。参数常用起点调参方向numDisparities64必须16的倍数近处目标多就加大到96或128blockSize11取奇数纹理弱加大到15想保边缘减小到7P1 / P28·3·bs² / 32·3·bs²视差图噪声大就加大边缘糊就减小uniquenessRatio10错配多就加大到15纹理弱就降到5speckleWindowSize100滤掉小块椒盐噪点0表示关闭disp12MaxDiff1左右一致性检查阈值越大越宽松参数说明numDisparities 是视差搜索范围范围越大能测的近处目标越多但计算量和错误匹配同步上升P2 通常是 P1 的4倍这个比例本身来自代价聚合的平滑假设不要随意改成1:1。blockSize 的平方会乘进 P1、P2 公式里所以改了 blockSize 要同步重算惩罚项否则参数组合是自相矛盾的。3.3 从视差到深度与点云Z f·B/d 的工程化写法有了视差图深度就是一步除法。但工程上直接除会有两个问题一是视差为0或负值的像素无法计算二是单像素视差噪声很大直接转深度会得到一堆毛刺。我一般会先做中值滤波再按公式转换顺便生成一份三维点云用于后续的目标定位或者避障决策。# 把无效视差置为NaN避免除零 disp_valid disp.copy() disp_valid[disp_valid 0] np.nan # 基线B从标定的T向量模长取单位换算成毫米 # 注意T的单位取决于square_size这里square_size用的是米所以乘以1000 B_mm np.linalg.norm(T) * 1000.0 # 校正后的水平焦距从投影矩阵P1取 f_px P1[0, 0] # 深度图Z f * B / d单位毫米 depth_mm f_px * B_mm / disp_valid # 中值滤波去掉单像素椒盐噪声 depth_filtered cv2.medianBlur( np.nan_to_num(depth_mm, nan0).astype(np.uint16), 5) # 生成三维点云X向右Y向下Z向前 rows, cols disp.shape xx, yy np.meshgrid(np.arange(cols), np.arange(rows)) points np.stack([ (xx - P1[0, 2]) / f_px * depth_mm, (yy - P1[1, 2]) / f_px * depth_mm, depth_mm ], axis-1)逻辑说明Z方向用的是反比公式X和Y方向通过内参把像素坐标反投影到相机坐标系P1[0, 2]和P1[1, 2]是校正后的主点坐标。这里把T乘以1000是因为 square_size 定义成米OpenCV 返回的 T 单位就是米深度图想要毫米单位就必须对齐。这个单位链条是最容易出错的点务必在写代码时统一。参数说明medianBlur 的核大小5在640x480分辨率下比较平衡核太大近处物体边缘会被吃掉。如果你只需要某个区域的测距比如目标框中心点的距离完全不必要生成整张点云直接取目标中心周围5x5像素的深度做中值池化即可速度快一个量级。另外注意 uint16 的截断深度超过65535毫米约65米会溢出普通室内场景没问题但做室外远距离测量时要换成 float32 保存。注意depth_mm 是相机光心到目标点的轴向深度不是直线距离。对正前方的物体两者近似相等但目标偏离光轴越大直线距离和轴向深度的差越大做避障时要用点云的模长而不是Z值。4. 双目测距踩坑实录5个让我返工的问题与排查方法这一章是我把调试过程里最耗时的五个问题整理成的清单。每一个都按现象、原因、解决的顺序写方便你遇到类似情况时对照排查。我的经验是双目测距的故障多半不是孤立出现的先看现象落在标定、匹配、单位还是机械层面再动手能省掉一大半无效时间。4.1 标定板拍得不够狠深度图全是毛刺现象刚搭好的系统第一次出深度图近距离物体轮廓倒是能看到但整张图噪点非常多远处直接变成雪花。一开始我还以为是SGBM参数问题把P2调大调小折腾了半天没有任何改善。原因标定图像对只有8对而且全是在同一距离、同一姿态拍的。这样的数据解出来的外参本身方差很大重投影误差看着还行但外参在真实相机位姿下并不稳定校正后的行对齐误差被放大视差匹配全面劣化。解决重拍凑齐20对以上覆盖从近到远至少3个距离档每档都要有仰角、俯角和侧倾姿态。我后来习惯把标定板在画面里划九宫格走位保证四角和中心全都有角点覆盖最终重投影误差稳定在0.2像素以下。批量采集时可以用一段脚本自动检测角点并丢弃不满帧只保留左右都检测成功的图像对能省不少人工筛选时间。4.2 换了个环境光照视差图突然花掉现象白天在室内调试得好好的拿到户外或者换到强烈顶光下视差图出现大片黑色无效区域和条纹状误匹配物体边缘更是重灾区。原因SGBM的参数是按初始环境的纹理强度调的光线一变图像对比度和噪声水平全变了原来合适的 uniquenessRatio 和 P2 惩罚项就不再匹配。这不是算法bug是参数没有跟随环境重新标定。解决给SGBM写环境档位切换而不是一套参数走天下。我一般准备两套配置室内低照度用高惩罚、低uniqueness室外强光用低惩罚、高uniqueness。另外强烈建议在喂给SGBM之前对左右图做直方图均衡化或者归一化这一步对光照变化的鲁棒性提升非常明显代价几乎可以忽略。4.3 代码能出深度但测出来的距离整体偏了10%现象用卷尺量相机到墙面的距离是1米程序输出1.1米而且这个偏差在不同距离下比例基本固定。最开始我怀疑是视差图有系统性偏移花了半天查SGBM参数毫无收获。原因九成是单位不统一。OpenCV的标定结果里基线T的单位完全取决于你定义棋盘格世界坐标时用的单位square_size 填的是米还是毫米B_mm 的换算就得跟着变。一旦T的单位和 f·B/d 公式里的单位混了深度就系统性地偏一个固定比例。另一个常见是把焦距用成原始内参的f而不是校正后投影矩阵P1里的f两者在畸变较大的镜头下能差好几个百分点。解决先用一张已知距离的标定板或者墙面做单点验证反推实际的 f·B 乘积再和理论值对比。如果偏差是固定比例基本就是单位问题把T的换算系数对齐即可如果偏差随距离非线性变化则要重新检查标定数据本身。养成习惯在代码里打印 T、P1[0,0] 和 square_size每次标定后存档留底。4.4 视差图上有大片空洞尤其是物体边缘现象深度图里物体中心区域能读出距离但物体边缘一圈全是0或者NaN远处的小目标整个处在空洞里。原因这其实是两个不同的物理原因叠加。边缘处左右视图存在遮挡左相机看得到的区域右相机看不到这种区域的匹配天然无解任何算法都补不出来远处物体视差太小落在整像素量化的边上SGBM 的左右一致性检查把它判成低置信度后直接丢弃。解决边缘空洞可以用视差后处理补比如对孤立小洞做邻域填充但代价是边缘精度下降填充出来的值本质是插值不是测量值。远处的空洞只能通过拉长基线或提高分辨率来缓解这是物理限制。我通常只在目标中心取深度边缘不做填充避免把错误距离当真值喂给下游的避障或者抓取逻辑。4.5 固定相机的支架松了整机标定作废现象系统用了两周后有一天深度数据突然整体漂移重新标定之后恢复正常但过几天又漂。这时候最容易误判成算法不稳定其实问题根本不在软件。原因双目的外参R、T是标定时刻的安装状态两个相机之间哪怕发生零点几毫米的相对位移都会让极线约束失效重投影后的行对齐误差变大视差匹配全面劣化。塑料支架的热胀冷缩、螺丝松动、线缆拉扯都是常见的诱发因素。解决相机的机械固定必须用刚性结构最好是金属安装板加防松螺丝调试阶段别用胶带和快拆支架。另一个更省心的习惯是每次开机跑一次快速校验拍一张固定在视野内的标定板算重投影误差超过0.5像素就提示重新标定。这个校验耗时几毫秒能省掉大量无效排错强烈建议做成系统上电自检的一部分。5. 精度调优的最后一公里验证表建立与三个进阶习惯到这步你的系统已经能稳定出深度了但能出和测得准之间还有一段路。我的做法是建一张验证表在0.5米到5米之间取5到7个距离点用卷尺或者激光测距仪做真值每个点拍20帧取均值算误差率和标准差。这张表能直接告诉你系统的有效量程和精度极限也能暴露前面所有环节的问题。别觉得这一步土每次调完参数跑一遍表五分钟就能让你知道这次改动是变好了还是变坏了。三个进阶习惯可以长期复用。第一固定相机光圈和焦距绝不在程序里碰自动对焦变焦就是变ff一变之前的标定全部失效这一点在工业现场尤其要强调工人手动调过镜头后一定要重新标定。第二每次重标定后把内参、外参、P1矩阵和SGBM参数一起存档文件名带上日期和环境描述翻车的时候能快速回溯是哪次变更引入的问题这个习惯在项目中期以后价值很大。第三如果对近距离精度有硬需求可以在SGBM之后加一个亚像素视差细化用抛物线插值对视差最小值附近做拟合能让近距离误差再降10%到20%但远距离收益很小不值得为它增加耗时。我个人的教训是双目测距这个方向80%的精度问题出在标定和机械刚性上只有20%出在算法上。先别急着换算法把标定数据、安装结构和单位体系捋清楚往往比调SGBM参数收益大得多。这套从标定到深度换算的流程是我踩过一遍坑之后沉淀下来的固定套路希望这篇笔记能帮你在做双目测距时少走我走过的弯路尤其是那5个让我返工的坑。本文还有配套的精品资源点击获取