1. 项目缘起为什么要在ROS里折腾网络相机标定搞机器人视觉的朋友估计都绕不开ROSRobot Operating System和相机标定这两座大山。最近我在一个移动机器人项目里需要把一台普通的网络摄像头IP Camera接入ROS用来做物体识别和定位。东西买回来驱动装好图像话题/image_raw也发出来了看着实时画面挺清晰心想这不就搞定了结果当我尝试用这个相机的图像去做一个简单的测距实验时数据直接飘到姥姥家去了——同一个物体在画面中心和在边缘计算出来的距离能差出20%以上。这显然没法用。问题就出在相机标定上。我们平时看到的相机图像是经过镜头这个“凸透镜”扭曲过的世界存在径向畸变和切向畸变。简单说就是直线拍出来可能变弯了图像边缘的物体形状和位置会发生拉伸或挤压。对于消费级的网络摄像头这种畸变尤其明显。如果不进行标定获取的图像坐标就无法准确地反投影到真实的三维空间后续所有的视觉算法无论是SLAM同步定位与建图、导航还是机械臂抓取其精度都会大打折扣甚至完全错误。所以在ROS下对网络相机进行标定不是一道可做可不做的“选择题”而是保证视觉感知数据可靠性的“必答题”。这个过程就是通过拍摄已知图案通常是棋盘格或AprilTag的多张图片计算出相机的内参矩阵和畸变系数。内参矩阵包含焦距、主点坐标描述了相机本身的几何属性畸变系数则描述了镜头扭曲的数学模型。有了它们我们就能对原始图像进行校正得到一幅“横平竖直”、几何关系准确的无畸变图像为后续的视觉处理铺平道路。2. 环境准备与工具选型ROS生态下的标定全家桶在开始动手前我们需要把“厨房”收拾好把“厨具”备齐。整个标定流程强烈依赖于ROS提供的强大工具链。2.1 ROS版本与工作空间我使用的环境是Ubuntu 20.04 ROS Noetic。这也是目前最稳定、社区支持最广泛的LTS长期支持组合。如果你用的是Ubuntu 22.04对应的是ROS 2 Humble或ROS 2 Jazzy核心工具如camera_calibration的思想是相通的但包名和命令行可能略有差异。首先确保你的ROS基础环境已经安装并配置好。可以通过roscore能否成功启动来验证。然后创建一个专属的工作空间如果已有可复用mkdir -p ~/camera_calib_ws/src cd ~/camera_calib_ws/src catkin_init_workspace cd .. catkin_make source devel/setup.bash2.2 核心工具camera_calibration 包ROS官方提供了camera_calibration包它封装了经典的张正友标定法。这个工具通过一个图形化界面GUI来采集标定板图像并自动计算参数对用户非常友好。安装命令很简单# 对于ROS Noetic (Ubuntu 20.04) sudo apt-get install ros-noetic-camera-calibration # 对于ROS 2 Humble (Ubuntu 22.04) sudo apt-get install ros-humble-camera-calibration2.3 网络相机驱动这是标定网络相机的关键一环。普通的USB摄像头ROS有现成的usb_cam包驱动。但对于网络摄像头我们需要一个能通过RTSP或HTTP流拉取图像并转换成ROSsensor_msgs/Image消息的节点。常用方案有以下几种video_stream_opencv这是一个非常轻量且通用的包。它基于OpenCV的VideoCapture类只要你的OpenCV能通过URL如rtsp://192.168.1.100:554/stream1打开视频流它就能工作。适合大多数标准协议的网络相机。sudo apt-get install ros-noetic-video-stream-opencv相机厂商专用包一些主流品牌如大疆DJI、英特尔实感RealSense如D435i提供了官方的ROS驱动包如realsense2_camera功能更强大可以直接发布相机内参、点云等丰富信息。如果你的相机是这类优先使用官方驱动。自定义节点如果上述都不行你可能需要写一个简单的Python或C节点用cv_bridge和rospy/roscpp将OpenCV读取的图像流发布到ROS话题上。我的选择我手头是一台海康威视的普通网络摄像机支持RTSP流。因此我选用video_stream_opencv方案它最简单直接。2.4 标定板标定需要一块高精度的标定板。camera_calibration包支持多种网格图案最常用的是棋盘格Checkerboard。你需要知道棋盘格的两个关键参数size棋盘格内部角点的数量例如8x6表示有8行6列的内部角点注意不是方格数是角点数。square每个方格的实际物理尺寸单位是米例如0.024表示每个方格边长为24毫米。注意这里的“内部角点”指的是被黑色或白色方块完全包围的那些角点。一个8x6的棋盘格看起来是9行7列方格但内部角点是8行6列。这一点在启动标定程序时必须准确输入否则无法检测。你可以从网上下载棋盘格PDF用高精度打印机打印并粘贴在平整的硬板如亚克力板上。确保打印没有缩放并用游标卡尺实际测量方格尺寸以square参数输入。3. 实战演练一步步完成网络相机标定环境就绪我们开始实操。整个过程分为三个核心步骤启动相机驱动、启动标定程序、采集数据并计算。3.1 第一步启动网络相机驱动节点首先我们需要让相机的图像出现在ROS的话题中。创建一个启动文件start_camera.launch放在你的包的launch目录下launch node nameip_camera pkgvideo_stream_opencv typevideo_stream outputscreen param namevideo_stream_provider typestring valuertsp://admin:password192.168.1.100:554/Streaming/Channels/101 / param namecamera_name typestring valuemy_ip_camera / param namewidth typeint value1280 / param nameheight typeint value720 / param namefps typeint value30 / /node /launch参数解释video_stream_provider你的网络相机RTSP流地址。格式通常是rtsp://[用户名]:[密码][IP地址]:[端口]/[流路径]。你需要根据相机型号和配置修改。camera_name给相机起个名字这会影响发布的话题名。例如这里会发布/my_ip_camera/image_raw。width,height,fps设置你希望获取的图像分辨率需相机支持和帧率。启动它roslaunch your_package_name start_camera.launch然后用rostopic list查看应该能看到类似/my_ip_camera/image_raw的话题。用rqt_image_view可以预览图像确保画面正常。3.2 第二步启动标定程序并理解GUI打开一个新的终端启动标定程序。命令格式如下rosrun camera_calibration cameracalibrator.py \ --size 8x6 \ # 内部角点尺寸 --square 0.024 \ # 方格物理边长单位米 image:/my_ip_camera/image_raw \ camera:/my_ip_camera关键点解析--size和--square必须与你准备的标定板严格对应。image:后面接你的图像话题名称。camera:后面接你的相机命名空间通常与驱动节点中设置的camera_name一致。执行命令后会弹出一个标定GUI窗口。这个窗口分为几个区域主图像区显示实时相机画面。当标定板被成功检测到时角点会被用彩色圆圈标出。侧边控制条有X, Y, Size, Skew四个进度条。它们代表标定数据采集的“丰富度”。按钮区包括CALIBRATE计算、SAVE保存、COMMIT提交到相机驱动等。四个进度条的含义与采集技巧X (左右移动)将标定板在画面中左右水平移动让标定板覆盖从最左到最右的区域。Y (上下移动)将标定板在画面中上下垂直移动覆盖从顶部到底部的区域。Size (远近移动)将标定板靠近和远离镜头让标定板在画面中从小变大。这有助于计算焦距。Skew (倾斜旋转)将标定板绕其法线倾斜旋转就像翻书一样或者让标定板平面不与图像平面平行。这有助于计算畸变参数。采集的核心原则是“多样性和全覆盖”。你需要缓慢地移动标定板确保它在画面中的位置、大小、角度都有充分的变化。每采集到一张合格的图像角点被成功检测对应的进度条就会增长。当所有进度条都变成绿色或接近满格时CALIBRATE按钮才会从灰色变为可点击状态。3.3 第三步采集数据、计算与保存数据采集手持标定板在相机视野前缓慢地做上述四个维度的运动。你会看到GUI窗口不断闪现“GOOD”提示表示采集成功。尽量采集40-60张分布良好的图像。图像太少或分布不均会导致标定结果不准。开始计算当四个进度条都绿了之后点击CALIBRATE按钮。程序会开始进行复杂的优化计算期间界面会卡住请耐心等待几十秒到几分钟取决于图片数量和电脑性能。结果评估计算完成后GUI上会显示标定结果。最需要关注的是重投影误差Reprojection Error通常显示在终端或GUI的一个小窗口里。这个误差的单位是像素理想值应小于0.1像素一般做到0.1-0.3像素以内就算很不错了。如果误差大于0.5甚至1说明标定质量较差可能需要重新采集数据。保存结果对结果满意后点击SAVE按钮。默认情况下它会将标定结果保存到/tmp/calibrationdata.tar.gz这个压缩包中。同时它会在你的home目录下生成一个名为ost.yaml或ost.txt的文件例如~/.ros/camera_info/my_ip_camera.yaml这就是最终的标定文件。提交参数可选点击COMMIT会将标定参数发送到ROS参数服务器并让相机驱动节点在/camera_info话题中发布这些参数。这对于需要实时使用校正参数的节点如image_proc很方便。4. 标定结果解读与应用YAML文件里藏着什么保存下来的YAML文件是标定的核心成果。我们打开一个典型的my_ip_camera.yaml看看image_width: 1280 image_height: 720 camera_name: my_ip_camera camera_matrix: rows: 3 cols: 3 data: [906.123456, 0.0, 640.123456, 0.0, 905.654321, 360.654321, 0.0, 0.0, 1.0] distortion_model: plumb_bob distortion_coefficients: rows: 1 cols: 5 data: [-0.123456, 0.045678, 0.001234, 0.000567, 0.0] rectification_matrix: rows: 3 cols: 3 data: [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0] projection_matrix: rows: 3 cols: 4 data: [906.123456, 0.0, 640.123456, 0.0, 0.0, 905.654321, 360.654321, 0.0, 0.0, 0.0, 1.0, 0.0]逐项解读camera_matrix内参矩阵K。它是一个3x3矩阵。data[0]和data[4]通常是焦距fx和fy单位是像素。两者接近且数值较大如图中900说明焦距较长/传感器像素密度高。data[2]和data[5]主点坐标cx和cy理论上应在图像中心640, 360附近。图中640.12, 360.65非常合理。data[1]倾斜系数对于大多数现代相机为0。distortion_coefficients畸变系数。plumb_bob模型对应5个参数(k1, k2, p1, p2, k3)。k1, k2, k3径向畸变系数。通常k1为负值桶形畸变或正值枕形畸变绝对值越大畸变越严重。图中-0.12是典型的桶形畸变。p1, p2切向畸变系数通常数值很小。图中接近0说明切向畸变不明显。rectification_matrix和projection_matrix在单目标定中它们通常是单位矩阵或特定形式主要用于立体标定。这里可以暂时忽略。如何使用这个文件在Launch文件中加载你可以在相机驱动的launch文件中加载它让相机节点自动发布camera_info。param namecamera_info_url valuefile://$(find your_package)/calib/my_ip_camera.yaml /在代码中读取使用camera_info_manager或直接解析YAML文件获取内参和畸变系数然后调用OpenCV的cv::undistort()或cv::initUndistortRectifyMap()函数来实时校正图像。用于视觉算法将camera_matrix和distortion_coefficients输入到任何需要相机模型的算法中如OpenCV的solvePnP用于位姿估计、ROS的image_geometry库等。5. 避坑指南与进阶思考那些我踩过的“雷”第一次标定很难一帆风顺。下面是我总结的几个常见坑点和注意事项5.1 标定板检测失败或闪烁问题GUI中角点检测时有时无或者根本检测不到。排查光照确保标定板光照均匀避免反光和阴影。自然光或均匀的室内光最好不要用点光源直射。对焦网络相机可能自动对焦导致标定板模糊。在相机Web管理界面或通过v4l2-ctl命令如果支持设置为手动对焦并对焦清晰。对比度打印的棋盘格黑白对比要强烈。如果打印质量差可以尝试增加图像对比度或使用AprilTag标定板camera_calibration也支持。尺寸与距离标定板在画面中不能太小。至少要让棋盘格占据画面1/3到1/2的面积角点才能被稳定检测。5.2 标定结果误差巨大问题重投影误差大于1或者标定后的图像校正效果奇怪。排查参数输入错误反复检查启动命令中的--size和--square是否与实物完全一致。这是最常见的错误。数据质量差采集的图像姿态变化不够。你需要在X, Y, Size, Skew四个维度上都采集到足够多且分布均匀的数据。只在画面中心来回移动是没用的。标定板不平整打印的纸贴在软板上会弯曲导致角点实际不在一个平面上。一定要用硬质平板。运动模糊移动标定板时速度过快导致图像模糊角点检测不准。务必缓慢、平稳地移动。5.3 网络相机特有的问题流延迟与丢帧网络传输可能带来延迟和丢包导致标定程序采集到的图像序列不稳定。尽量使用有线网络连接并确保网络带宽充足。在驱动节点中适当降低fps参数如从30降到15可能有助于稳定性。自动曝光与白平衡相机的自动参数调整会导致连续图像的亮度、颜色发生变化可能干扰角点检测。标定时务必在相机设置中关闭自动曝光AE、自动白平衡AWB和自动增益AGC改为手动固定值。图像压缩网络流通常经过压缩如H.264过高的压缩率会引入块状伪影影响角点定位精度。在相机设置中尽量选择较高的图像质量或较低的压缩率。5.4 标定之后验证与集成标定完成不是终点必须验证。视觉验证使用image_proc节点或写一个简单的OpenCV程序加载标定参数对实时图像进行去畸变处理。观察画面边缘的直线如门框、桌子边缘是否变得笔直。定量验证用一个已知尺寸的物体如一个边长为L的方块放在相机前不同位置和距离利用去畸变后的图像和相机内参通过solvePnP等算法反算其尺寸。计算出的尺寸应该与实际尺寸L基本吻合且在不同位置的一致性要高。集成到SLAM或导航如果你做视觉SLAM如ORB-SLAM3需要在配置文件中正确设置相机内参和畸变参数。错误的参数会导致特征点提取和匹配出错进而使整个SLAM系统失效。最后标定文件是相机的“身份证”一旦相机镜头物理位置不变比如不是变焦镜头且未磕碰这个文件可以一直使用。建议妥善保存并在项目文档中记录对应的相机SN号和标定环境。对于多相机系统如双目、多目还需要进行双目标定或多相机联合标定以获取相机间的旋转平移关系那是另一个复杂但同样重要的主题了。