简介这份相机标定实验报告面向计算机视觉初学者与需完成相关课程设计的学生系统讲解了从传统标定、自标定到张正友标定方法的原理对比并围绕内参、外参、单应矩阵、畸变系数等核心概念给出完整的推导过程与基于OpenCV的实现步骤。报告还附带了多幅棋盘格图像的标定实验结果包含每幅图像的平均误差、总体平均误差、相机内参数矩阵及畸变系数便于读者对照验证自己的标定结果。压缩包共含1个docx文档大小477KB内容结构清晰兼顾理论推导与实验数据既有公式说明也有可直接参考的数值输出适合作为实验报告写作模板或标定流程的学习笔记。目前已有2347人学习下载对于正在撰写相机标定实验报告或希望快速理解张正友标定法实现细节的读者具有较高的参考价值。1. 相机标定实验报告先理清标定在解什么方程很多人拿到相机标定实验报告模板第一反应是贴一张棋盘格照片、填上内参矩阵和畸变系数然后交差。但如果只做到这一步标定的意义就丢了。相机标定真正做的事是在三维世界坐标和二维像素坐标之间建一条可逆的映射链路镜头焦距、主点偏移、镜片加工误差造成的径向畸变、感光芯片装配产生的切向畸变都会改变这条链路上的数值。报告里最该回答清楚的问题不是“我标定出了多少位小数”而是“这套参数放到后续的测距、双目深度或传感器融合里能把误差压到多大”。这篇内容会按单目内参、双目外参、相机与 IMU 联合标定的顺序把实现步骤和实验数据判定逻辑完整过一遍新手能照着执行老手也能拿去对照自己的标定流程。2. 相机标定的数学模型内参矩阵、畸变系数与坐标系变换2.1 针孔模型像素坐标映射为世界坐标的正向链路相机标定涉及四个坐标系世界坐标系、相机坐标系、图像物理坐标系、像素坐标系。理想针孔模型下世界坐标点 (P_w[X,Y,Z,1]^T) 到像素坐标 (p[u,v,1]^T) 的投影关系可以写成[ s \cdot p K \cdot [R \mid t] \cdot P_w ]其中 (K\begin{bmatrix} f_x \alpha c_x \ 0 f_y c_y \ 0 0 1 \end{bmatrix})。(f_x) 是焦距在像素宽度方向上的归一化值(f_y) 同理(\alpha) 是像素轴倾斜系数现代相机通常接近 0(c_x,c_y) 是主点坐标即光轴与感光芯片的交点。(R) 和 (t) 构成外参负责把世界坐标搬到相机坐标系下(s) 是投影深度尺度因子。import numpy as np def project_points(Xw, K, R, t): # Xw: (N, 3) 世界坐标系下的三维点 # K: 3x3 内参矩阵 # R: 3x3 旋转矩阵 # t: 3x1 平移向量 Xc (R Xw.T).T t.reshape(1, 3) # 世界坐标转相机坐标 Xc Xc[Xc[:, 2] 0] # 剔除相机后方的点 x Xc[:, 0] / Xc[:, 2] # 归一化平面坐标 y Xc[:, 1] / Xc[:, 2] uv K np.stack([x, y, np.ones_like(x)]) return uv.T这段代码把外参和内参的调用关系拆开外参先将世界点变换到相机坐标系随后直接除以 Z 得到归一化平面坐标最后乘内参矩阵得到像素坐标。平时使用 OpenCV 的projectPoints时输入的是标定得到的rvec和tvec函数内部会把罗德里格斯旋转向量转成旋转矩阵再执行同样的链路。如果你在自己的代码里手写了投影函数注意旋转矩阵转置的方向R Xw.T这种写法要求 Xw 是列向量很多重投影误差异常偏大的问题都出在这步转置上。2.2 畸变模型径向和切向畸变怎么修正真实镜头不是理想针孔光线进入镜片后会发生折射偏离。OpenCV 默认采用 radtan 模型用 5 个畸变系数逼近镜头实际误差(k_1,k_2,k_3) 是径向畸变系数(p_1,p_2) 是切向畸变系数。校正时先算原始像素点相对主点的归一化半径 (r^2x^2y^2)再做映射[ x_{corrected} x(1 k_1 r^2 k_2 r^4 k_3 r^6) 2p_1 x y p_2(r^2 2x^2) ][ y_{corrected} y(1 k_1 r^2 k_2 r^4 k_3 r^6) p_1(r^2 2y^2) 2p_2 x y ]k_3只有在使用CALIB_RATIONAL_MODEL标志时才会被求解鱼眼镜头和低质广角镜头通常需要它普通针孔镜头如果强行多解一个 k3会把噪声吸进高次项导致边缘反而更不稳定。切向畸变主要来自感光芯片安装倾斜正常装配误差下 (p1,p2) 应该在零点几的量级如果标定结果明显异常先考虑是不是没有用足够多带角度的图像约束求解。畸变类型参数特征触发修正标志径向畸变k1, k2, k3画面边缘弯曲直线变弧线CALIB_RATIONAL_MODEL切向畸变p1, p2画面整体倾斜、梯形形变默认开启薄棱镜畸变s1, s2由镜片与芯片不平行引入极少使用实际标定中畸变系数的数值大小不能孤立看。广角相机的 k1 通常是负值表示桶形畸变如果标定出的 k1 是正的且绝对值很大大概率是把棋盘格边缘区域拍得太多或者标定板不平整需要先重新采集而不是盲目调 flag。2.3 张正友算法为什么一块平面标定板能标定出全部内参张正友标定法的核心是利用棋盘格平面上的共面角点。平面标定板上的三维点满足 (Z0)外参矩阵的第三列在单应性约束中被消掉于是每张图都能形成一个 3x3 的单应性矩阵 H。单应性矩阵包含 8 个独立自由度而每张棋盘格照片可以提供 8 个以上的角点约束多个角度下把 H 联立起来就能分离出内参矩阵和每张图的外参。实际操作中单张照片永远解不出可靠的内参。因为当标定板与相机光轴完全垂直且只有平移时运动退化约束不够标定板倾斜角度变化越大约束越充分。这也解释了为什么很多人拍了 30 张正对相机的图片结果重投影误差依然很大。通常保留 15 到 25 张分布均匀的照片其中四角和中心都要覆盖标定板平面与光轴的夹角至少要有 30 度以上这是张正友标定法能用好的基本条件。3. 用 OpenCV 在 Ubuntu 上完成单目相机内参标定的实验流程3.1 标定板尺寸、拍摄姿态与样本数量标定板打印质量直接决定角点检测精度。棋盘格的格子边长至少打印到 20mm 以上内角点数量常用 9x6 或 10x7也就是棋盘格 layout 为 10x7 时内角点为 9x6。过小的格子会让cornerSubPix的亚像素搜索窗口覆盖多个角点反而限制精度。参数建议值作用内角点数量9x6 或 10x7每帧提供足够多的匹配点格子边长20mm 至 50mm边长过小导致亚像素窗口失效拍摄张数15 到 25 张保证多姿态约束姿态角度与相机光轴倾斜 30 度以上提高焦距和畸变参数的可观性画面覆盖中心、四角、四边均要有板避免只标定到中心区域采集时如果用的是 RealSense D435i 这类相机我一般会把 RGB 流的自动曝光关掉或固定曝光时间否则标定板在画面中移动时亮度突变角点提取容易失败。录像取帧的方式可以先用cv2.VideoCapture读入视频每隔 5 到 10 帧抽一张再用下面的角点检测函数自动筛选。3.2 角点检测与不合格角点剔除OpenCV 的findChessboardCorners对噪声很敏感光线不好时会给出错误的角点排列。即使函数返回 True也可能出现棋盘格区域外被误识别的情况所以在进入标定方程前必须做筛选。这里提供一个检测函数import cv2 import numpy as np def detect_chessboard(img, pattern_size, min_area_ratio0.4): # pattern_size: (列数, 行数)例如 (9,6) gray cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) ok, corners cv2.findChessboardCorners( gray, pattern_size, flagscv2.CALIB_CB_ADAPTIVE_THRESH | cv2.CALIB_CB_NORMALIZE_IMAGE ) if not ok: return None criteria (cv2.TERM_CRITERIA_EPS cv2.TERM_CRITERIA_MAX_ITER, 30, 0.001) corners cv2.cornerSubPix(gray, corners, (5, 5), (-1, -1), criteria) # 用凸包面积粗略剔除残缺棋盘格 pts corners.reshape(-1, 2) hull cv2.convexHull(pts) hull_area cv2.contourArea(hull) image_area img.shape[0] * img.shape[1] if hull_area min_area_ratio * image_area: return None return corners这段代码先检测角点然后做亚像素细化最后用凸包面积判断棋盘格是否占据画面足够大的区域。min_area_ratio是经验值如果标定板离相机远可以调小到 0.2但为了标定稳定我建议保留面积占比大于 0.3 的图像太小的标定板会使角点间距只有几个像素亚像素插值几乎没有意义。实测中最常见的问题是CALIB_CB_ADAPTIVE_THRESH对复杂背景有效但对强反光标定板反而会引入伪角点这时可以把该 flag 去掉改用原始灰度检测。3.3 calibrateCamera 求解与 YAML 参数保存角点收集完成后用cv2.calibrateCamera计算内参。需要构造世界坐标系下的棋盘格点通常把第一个内角点设为原点Z 坐标为 0其余点按格子边长等距排列。objp np.zeros((pattern_size[0] * pattern_size[1], 3), np.float32) objp[:, :2] np.mgrid[0:pattern_size[0], 0:pattern_size[1]].T.reshape(-1, 2) objp * square_size # square_size 是格子边长单位 mm ret, mtx, dist, rvecs, tvecs cv2.calibrateCamera( obj_points, img_points, gray.shape[::-1], None, None, flagscv2.CALIB_RATIONAL_MODEL )obj_points是所有有效图像的棋盘格世界坐标列表img_points是对应像素坐标列表。CALIB_RATIONAL_MODEL让 OpenCV 求解 8 个畸变系数中的 k3普通镜头可以不加。求解后的mtx是 3x3 内参矩阵dist是畸变系数向量rvecs和tvecs长度与图像数量一致分别保存每张图的外参。参数保存不建议用 npz 或 pickle 存 Python 对象跨环境使用时容易出错。我习惯写成 YAML%YAML:1.0 --- image_width: 1280 image_height: 720 camera_matrix: !!opencv-matrix rows: 3 cols: 3 data: [ 615.24, 0., 640.11, 0., 617.38, 362.87, 0., 0., 1. ] distortion_coefficients: !!opencv-matrix rows: 1 cols: 5 data: [ -0.283, 0.082, -0.0013, 0.0021, -0.021 ]这段 YAML 是 OpenCV 的FileStorage标准格式ROS 相机驱动和很多标定工具都能直接读取。保存后再读取时要确认image_width和image_height与实际采集分辨率一致否则后续去畸变和投影会全部对不上。如果标定后还要给 VINS 或 ORB-SLAM 使用通常需要把畸变模型转成 MEI 或 Kannala-Brandt直接拿 OpenCV 的 pinhole 模型配 IMU 会带来额外误差。4. 双目相机标定、相机IMU联合标定与移动平台外参标定4.1 双目相机标定中的 R 和 TstereoCalibrate 的参数含义双目标定不是简单把两个相机分别标定一遍还要确定右相机相对左相机的旋转和平移。OpenCV 的stereoCalibrate需要传入左右相机的内参初值通常用单目标定结果填入然后加上左右对应的角点集合。cv::stereoCalibrate( objectPoints, imagePoints1, imagePoints2, K1, dist1, K2, dist2, imageSize, R, T, E, F, cv::CALIB_FIX_INTRINSIC );使用CALIB_FIX_INTRINSIC时函数只优化外参 R 和 T适合两个相机的内参已经足够稳定的情况。如果不加这个 flagstereoCalibrate会同时微调左右内参可能掩盖单目标定本身的偏差。输出的 R 是右相机坐标系到左相机坐标系的旋转矩阵T 是右相机原点在左相机坐标系下的平移向量。双目标定的经典坑是左右图像分辨率不一致或者两个相机的曝光参数相差太大。极线校正后如果平行度不够先检查棋盘格是否布满双目公共视野左右各留 5 到 10 度的余量否则立体匹配时搜索范围永远需要对很大的视差。4.2 相机与 IMU 联合标定kalibr 的典型命令与 Autoware 工具链相机与 IMU 联合标定的目标是求解外参从相机坐标系到 IMU 坐标系的旋转和平移同时估计时间偏移。kalibr 是目前开源社区最常用的方案典型流程是录制一段标定板静止或缓慢运动的 ROS bag然后运行kalibr_calibrate_imu_camera \ --target aprilgrid_6x6.yaml \ --cam camchain.yaml \ --imu imu.yaml \ --bag dataset.bag \ --time-calibrationaprilgrid_6x6.yaml是标定板的配置camchain.yaml写好相机内参模型imu.yaml提供 IMU 的噪声密度和随机游走参数。--time-calibration会同步估计传感器时间偏移在低成本 IMU 上尤其有用因为硬件触发频率不稳定时间偏移可能达到几十毫秒。在 Ubuntu 18.04 上安装 Autoware 的相机雷达联合标定工具链时常见做法是先用 ROS 的包管理器装依赖再单独编译 calibration_toolkit最容易卡住的是 OpenCV 3 与 PCL 的版本冲突编译时如果出现camera.h相关头文件找不到通常是把 Autoware 自带的 OpenCV 路径和系统 OpenCV 混到一起了。这类工具适合激光雷达和相机的外参标定而相机与 IMU 联合标定我更倾向直接用 kalibr因为它对时间偏移的建模更细致标定结果可以直接喂给 VINS-Fusion 或 ORB-SLAM3。4.3 小车相机外参标定9点标定算法和 PNP 的选择移动平台上常见的“相机9点标定算法”本质是求一张单应性矩阵用在固定高度的平面场景中。让车头或机械臂末端依次走到 9 个已知物理位置同时记录像素坐标然后通过cv2.findHomography求解。这个结果只在 Z 值固定的平面上成立如果相机安装高度变化或者地面本身有坡度误差会迅速放大。场景推荐方法输出结果适用条件固定高度平面抓取9点标定2D 单应性矩阵相机与工作平面平行车前向相机棋盘格 PNP3D 外参 R,t需要完整 6 自由度位姿双目/IMU 融合定位联合标定工具6 自由度外参需要时间同步和尺度恢复小车上做相机外参标定我一般会优先选择多个高度的棋盘格 PNP 方案把棋盘格固定在车前用cv2.solvePnP求标定板坐标系到相机坐标系的位姿再通过标定板与车辆中心的位置关系换算成相机到车体坐标系的外参。这个方法比 9 点法多一个 Z 方向约束适合相机有俯仰角的场景。5. 重投影误差、实验数据表与报告提交前的检查项5.1 用 projectPoints 统计单张和全局重投影误差重投影误差是把世界坐标点按标定结果重新投影到图像与原始角点坐标计算距离。OpenCV 的calibrateCamera返回的ret是 RMS 重投影误差但那只是总体值我还会逐张统计global_error 0.0 per_image_errors [] for i in range(len(obj_points)): projected, _ cv2.projectPoints( obj_points[i], rvecs[i], tvecs[i], mtx, dist ) error cv2.norm(img_points[i], projected, cv2.NORM_L2) / len(projected) per_image_errors.append(error) global_error error mean_error global_error / len(obj_points) print(mean re-projection error: %.4f px % mean_error)注意这里cv2.norm计算的是所有角点误差的 L2 范数再除以角点数量得到该图像的平均像素误差不是最大误差。逐张统计的意义在于发现问题图像如果某一张图的误差明显高于其他图多半是标定板发生形变或者该图超出了景深范围。可以设定一个阈值比如大于 0.3 像素的图像直接剔除后重新求解。5.2 实验报告结果表与阈值判定报告里应该用一张表列出标定条件、每张图的误差和全局误差。参考格式如下图像编号棋盘格角度平均误差 (px)最大误差 (px)01正面轻微俯仰0.0870.21312左侧大角度倾斜0.1150.29418右侧边缘遮挡0.3220.571对普通 USB 相机平均重投影误差低于 0.3 像素可以接受工业定焦镜头配合高质量标定板通常能到 0.1 像素以下。如果全局误差超过 0.5 像素先重新采集不要急着调畸变模型。建议在报告末尾附上一张带索引号的角点检测图并标出最大误差所在位置重投影误差只能证明标定过程自洽不能证明传感器绝对精度因为标定板本身的平面度和打印角点位置误差会完整传递到结果里。最终提交前可以用一张全新的、未参与标定的棋盘格图像重新投影验证若新图误差与训练集一致这套内参才算真正通过验收。本文还有配套的精品资源点击获取