1. 项目缘起当“仰望”遇到“二哈”视觉寻线能玩出什么花最近在捣鼓一些开源硬件项目发现一个挺有意思的组合“仰望小车3”和“二哈识图”。光看名字就挺有画面感一个是能灵活移动的底盘另一个是号称能“识图”的视觉模块。把它们俩凑一块目标很明确——做视觉寻线。这听起来像是机器人竞赛或者智能车入门的一个经典课题但具体怎么实现里面有哪些门道和坑可能很多刚接触的朋友还是一头雾水。我自己也是从一堆资料和实践中摸索过来的今天就把这个“仰望小车3二哈识图”实现视觉寻线的完整过程包括硬件连接、核心逻辑、代码编写以及我踩过的那些坑系统地梳理一遍。简单来说这个项目的核心就是让小车能自动沿着地面上的线通常是黑色胶带行驶。它不依赖传统的巡线传感器阵列而是通过一个摄像头二哈识图模块实时“看”前方的路面分析图像找到线的位置然后计算出小车应该如何调整轮子转速差速来对准这条线实现跟踪。这种方式更接近“视觉感知”灵活性更高可以应对更复杂的线路比如十字路口、弯道但也对图像处理和决策逻辑提出了要求。如果你手头正好有这两样设备或者对基于视觉的移动机器人控制感兴趣想了解从图像采集到电机控制的全链路实现那么这篇内容应该能给你提供一个清晰的、可复现的参考。整个过程会涉及到硬件接线、二哈识图模块的配置、OpenMV IDE的使用、PID控制算法的浅析以及如何将视觉信息转化为具体的电机指令。我会尽量用直白的语言和具体的代码示例把每个环节讲清楚。2. 硬件平台深度解析为什么是它们俩在开始动手之前我们得先搞清楚手里的“兵器”。选择“仰望小车3”和“二哈识图”这个组合并非偶然而是基于它们各自的特点恰好能互补形成一个快速上手的视觉移动平台。2.1 仰望小车3一个为扩展而生的移动底盘“仰望小车3”本质上是一个集成度很高的两轮差分驱动机器人底盘。它的核心是一块主控板通常基于ESP32或类似的单片机集成了电机驱动、电源管理、蓝牙/WIFI等功能。它的最大优势在于“开箱即用”和“易于编程”。差分驱动结构这是实现灵活转向的关键。两个轮子独立控制转速和方向。当两个轮子转速相同时小车直行当转速不同时小车就会朝转速慢的一侧转弯。视觉寻线最终输出的控制量就是左右轮的转速差。丰富的接口主控板上通常会预留UART、I2C、GPIO等接口方便外接传感器。这正是连接二哈识图模块的基础。配套的库函数厂家一般会提供封装好的电机控制函数如set_motor_speed(left_speed, right_speed)开发者无需关心底层PWM波形生成等细节可以更专注于上层逻辑。供电一体化底盘自带电池仓和稳压电路可以为自身和二哈识图模块提供稳定的电源通常是5V省去了额外供电的麻烦。所以仰望小车3扮演的是“执行者”和“载体”的角色它负责接收指令并精准地移动。2.2 二哈识图HuskyLens一款“傻瓜式”的AI视觉传感器二哈识图是一款非常有趣的传感器它把复杂的图像识别算法固化在了一个硬件模块里。你可以把它理解为一个“自带大脑的摄像头”。它通过UART或I2C接口输出识别结果而不是原始的图像数据流。功能集成它支持多种AI识别功能如人脸识别、物体追踪、颜色识别、标签识别、巡线、物体分类等。对于本项目我们主要使用其“巡线”功能。易用性这是它最大的优点。你不需要在仰望小车的主控上运行复杂的图像处理算法如OpenCV。只需要通过简单的指令向二哈模块请求巡线结果它就会返回线的位置、角度等信息。这极大地降低了开发门槛和对主控计算能力的要求。输出信息在巡线模式下二哈模块可以告诉你它识别到了几条线以及每条线的起点、终点坐标在它自己的摄像头坐标系下甚至能计算出一个“线框”的中心点。我们最关心的就是这条线相对于摄像头画面中心的偏移量。因此二哈识图扮演的是“感知者”的角色它负责“看懂”路面并将看懂的结果线的位置以数据的形式告诉小车主控。两者的协作关系小车主控ESP32通过串口不断询问二哈识图“线在哪里” 二哈模块回答“线中心在X150 Y120”假设画面分辨率320*240。主控程序根据这个坐标特别是X坐标计算出一个偏差值然后通过PID等算法将这个偏差值转换为左右电机的速度差驱动小车修正方向使线始终保持在摄像头画面中央。这就形成了一个完整的“感知-决策-控制”闭环。3. 硬件连接与基础环境搭建理论清楚了接下来就是动手连接。这一步的可靠性直接决定了后续所有工作能否顺利进行。3.1 电气连接确保通信与供电万无一失二哈识图模块与仰望小车3主控板的连接最常用且稳定的方式是UART串口通信。我们需要连接四根线VCC - 5V二哈模块的供电线连接到小车主控板的5V输出引脚。GND - GND共地这是所有电路正常工作的基础必须连接可靠。RX - TX二哈模块的接收引脚连接到小车主控板的发送引脚。TX - RX二哈模块的发送引脚连接到小车主控板的接收引脚。注意这里的RX/TX是交叉连接的。即模块的RX接主控的TX模块的TX接主控的RX。接反了会导致通信完全失败。具体引脚号需要查阅你手中仰望小车3主控板的引脚定义图常见的是像GPIO16/17这样的引脚被用作串口。连接好后建议先用扎带或胶带简单固定一下线束避免在调试过程中因拉扯导致接触不良。3.2 二哈识图模块的初始配置在接入系统前需要先单独对二哈识图模块进行配置让它进入我们需要的模式。上电与模式选择单独给二哈模块供电或先连接好小车给小车上电屏幕上会出现功能菜单。通过右按键或触摸屏取决于型号切换到“巡线”功能图标按下左键确认。学习标定这是关键一步。将二哈模块对准地面上的黑线确保环境光线均匀对比度明显。按下“学习”按键通常是功能键模块会“学习”当前画面中的线特征。屏幕上应该会有一条线被高亮标出。如果识别到多条线段可以多次按“学习”键让它学习你希望追踪的那条线的特征。学习成功后即使线有部分弯曲或中断它也应该能持续追踪。参数微调可选在二哈的菜单中可以设置识别阈值、最大识别线段数量等。对于初学者使用默认值通常即可。如果发现识线不稳定时而识别时而不识别可以尝试在光线更好的环境下重新学习或稍微调整模块的俯仰角度。配置完成后二哈模块的屏幕应该能稳定地显示出它追踪到的线条。至此感知部分就准备好了。3.3 开发环境准备Arduino IDE与库安装仰望小车3的主控编程最常用的环境是Arduino IDE。你需要进行以下准备安装ESP32开发板支持在Arduino IDE的“文件-首选项”的“附加开发板管理器网址”中添加ESP32的板支持网址。然后在“工具-开发板-开发板管理器”中搜索“esp32”并安装。选择正确的开发板在“工具-开发板”中选择你的ESP32具体型号例如“ESP32 Dev Module”。安装仰望小车库和二哈识图库仰望小车库通常厂家会提供一个库文件.zip格式。在Arduino IDE中点击“项目-加载库-添加.ZIP库…”选择该文件即可。二哈识图库在Arduino IDE的“项目-加载库-管理库…”中搜索“HuskyLens”或“DFRobot_HuskyLens”选择并安装。我使用的是DFRobot_HuskyLens这个库它封装了与模块通信的常用函数非常方便。端口选择用USB线将仰望小车连接到电脑在“工具-端口”中选择对应的串口。环境搭建完毕我们就可以开始编写最核心的控制逻辑了。4. 核心逻辑与代码实现拆解整个系统的软件逻辑可以清晰地分为几个步骤初始化、获取视觉数据、处理数据计算偏差、根据偏差控制电机。下面我们一步步拆解并给出关键的代码片段。4.1 初始化建立通信与准备就绪在setup()函数中我们需要完成串口通信初始化和小车电机初始化。#include Arduino.h #include “你的仰望小车库头文件.h” // 例如 #include MecanumCar.h #include DFRobot_HuskyLens.h // 初始化对象 DFRobot_HuskyLens huskylens; MecanumCar myCar; // 假设小车库的类名为 MecanumCar // 定义连接二哈的硬件串口引脚 (根据实际接线修改) #define HUSKYLENS_RX_PIN 16 #define HUSKYLENS_TX_PIN 17 void setup() { Serial.begin(115200); // 用于调试输出 // 初始化与小车的通信具体函数名参考你的小车库文档 myCar.begin(); // 初始化与二哈识图的软件串口通信 SoftwareSerial huskySerial(HUSKYLENS_RX_PIN, HUSKYLENS_TX_PIN); huskySerial.begin(9600); // 二哈模块的默认波特率 // 初始化HuskyLens库并指定使用的串口对象 while (!huskylens.begin(huskySerial)) { Serial.println(“二哈识图初始化失败请检查连接”); delay(1000); } Serial.println(“二哈识图初始化成功”); // 可选通过代码强制设置二哈为巡线模式避免手动操作 huskylens.writeAlgorithm(ALGORITHM_LINE_TRACKING); delay(2000); // 等待模式切换 }注意有些ESP32开发板有多个硬件串口如果硬件串口被占用或冲突使用SoftwareSerial软件模拟串口是常见选择。但SoftwareSerial在高速或复杂环境下可能不稳定。如果条件允许优先使用HardwareSerial如Serial1、Serial2。4.2 获取视觉数据向二哈“询问”线的位置在loop()函数中我们需要持续地向二哈模块请求数据。二哈模块的DFRobot_HuskyLens库提供了便捷的方法。void loop() { // 请求二哈模块进行一次识别 if (!huskylens.request()) { Serial.println(“从二哈模块获取数据失败”); delay(100); return; // 本次循环跳过 } // 检查是否识别到线 if (!huskylens.isLearned() || !huskylens.available()) { Serial.println(“未识别到任何线条。”); // 这里可以设置小车的安全行为例如停止或缓慢前进寻找 myCar.setMotorSpeed(0, 0); delay(50); return; } // 获取识别到的线条信息 HUSKYLENSResult result huskylens.read(); // 通常我们只处理第一个或最主要的一个线条结果 // result 包含了 xOrigin, yOrigin, xTarget, yTarget 等成员代表线段的起点和终点坐标 // 对于巡线我们更关心线的“中心”或“方向” }这里有一个关键点二哈模块返回的result可能包含多个线段比如一个急弯被识别成两条直线段。一个简单的策略是只取第一个结果result或者遍历所有结果选择最长或最靠近画面中心的那条线。我们的示例采用简单策略。4.3 数据处理从坐标到控制偏差获取到线的起点(x1, y1)和终点(x2, y2)后我们需要计算出一个能反映小车偏离程度的“误差”。常用方法一中点偏差法计算线段在图像底部附近一个特定Y坐标上的X坐标。我们可以取线段的下端点假设y2 y1即(x2, y2)是更靠近画面下方的点或者计算线段与画面底部一条虚拟水平线的交点。更简单且有效的是直接使用线段的下端点(x2, y2)的X坐标。// 假设摄像头画面宽度为320像素中心X坐标是160 #define IMAGE_CENTER_X 160 #define IMAGE_WIDTH 320 int line_bottom_x result.xTarget; // 线段下端点的X坐标 int error line_bottom_x - IMAGE_CENTER_X; // 计算偏差 // error 0: 线在中心右侧小车需要右转左轮加速或右轮减速 // error 0: 线在中心左侧小车需要左转右轮加速或左轮减速常用方法二角度偏差法利用线段的角度信息。二哈模块有时也能提供线段的角度。偏差可以正比于这个角度。这种方法在弯道时可能更平滑。// 计算线段角度弧度 float angle atan2(result.yTarget - result.yOrigin, result.xTarget - result.xOrigin); // 将角度转换为一个偏差值例如我们希望线是垂直的角度为PI/2偏差就是当前角度与PI/2的差值 float desired_angle PI / 2.0; float error_angle angle - desired_angle;在实际项目中中点偏差法因其简单直观被广泛采用。我们接下来的PID控制也基于这个error值。4.4 控制算法PID的引入与调参得到误差error后直接用一个比例系数去控制电机就是最简单的P控制。但P控制容易在中心点附近振荡或者遇到弯道时响应不足。引入积分(I)和微分(D)环节形成PID控制器能让小车巡线更平滑、更稳定。一个离散化的增量式PID或位置式PID代码如下// PID参数需要根据实际小车和场地调试 float Kp 0.8; // 比例系数决定响应速度 float Ki 0.01; // 积分系数消除静态误差 float Kd 0.3; // 微分系数抑制振荡 int lastError 0; int integral 0; int computePID(int error) { integral error; int derivative error - lastError; lastError error; int output Kp * error Ki * integral Kd * derivative; // 对输出进行限幅防止过大 output constrain(output, -255, 255); // 假设电机速度范围是-255~255 return output; }在loop()中计算偏差后调用PIDint error line_bottom_x - IMAGE_CENTER_X; int turnAdjust computePID(error); // 设定一个基础速度 int baseSpeed 150; // 0-255之间的值 int leftSpeed baseSpeed - turnAdjust; int rightSpeed baseSpeed turnAdjust; // 再次限幅确保速度值有效 leftSpeed constrain(leftSpeed, -255, 255); rightSpeed constrain(rightSpeed, -255, 255); // 发送速度指令给小车 myCar.setMotorSpeed(leftSpeed, rightSpeed);PID调参心得先调P将Ki和Kd设为0。逐渐增大Kp直到小车在直线上开始出现明显的来回摆动振荡。然后取这个值的50%-70%作为初步的Kp。再调D增加Kd可以抑制振荡。观察小车过弯和直道修正时的平滑度。Kd太大反而会引入高频抖动。最后调I如果小车在长期运行时发现始终无法对准中心存在稳态误差可以引入一个很小的Ki。但Ki要非常小心因为积分累积可能导致“积分饱和”使小车突然猛转。通常巡线项目对I的需求不高。实地调试参数没有银弹必须在实际运行的场地上调试。不同的光线、地面材质、轮胎摩擦力都会影响效果。5. 调试过程中的常见问题与解决方案理论代码写完了下载到小车上大概率不会一次成功。下面是我在调试中遇到的一些典型问题及解决办法。5.1 二哈模块识别不稳定或丢线现象小车走走停停或者突然乱转。串口打印发现error值跳动剧烈或经常进入“未识别到线”的分支。排查与解决检查环境光线这是最常见的原因。强光反光、阴影、光线不均都会干扰二哈。尝试在光线均匀的室内进行或者为二哈模块制作一个简单的遮光罩。重新学习标定确保学习时摄像头与地面的距离、角度和实际运行时一致。学习时让线处于画面中央。调整识别阈值在二哈菜单中尝试调整“识别阈值”提高它可以让它只识别对比度非常高的线但可能对浅色地面上的黑线更有效降低它可以提高灵敏度但也更容易误识别。软件滤波在代码中对获取到的line_bottom_x进行软件滤波。例如采用滑动平均滤波#define FILTER_SIZE 5 int x_buffer[FILTER_SIZE] {0}; int buffer_index 0; int filtered_x 0; // 在获取到新的x后 x_buffer[buffer_index] line_bottom_x; buffer_index (buffer_index 1) % FILTER_SIZE; filtered_x 0; for (int i0; iFILTER_SIZE; i) filtered_x x_buffer[i]; filtered_x / FILTER_SIZE; // 使用 filtered_x 代替 line_bottom_x 计算 error设置丢线处理策略当huskylens.available()为false时不要立即停车。可以记录上一次有效的error让小车按照上一次的偏差继续行驶一小段惯性预测或者缓慢减速并小幅摆动车头寻找线。5.2 小车运动抖动或画龙现象小车在直线上不是平稳前进而是不停地左右快速小幅摆动。排查与解决PID参数问题这是首要怀疑对象。比例系数Kp过大或微分系数Kd不合适都会导致振荡。按照上一节的方法重新仔细调整PID参数尤其是降低Kp。控制频率过高loop()循环执行太快导致PID输出变化过于频繁电机响应不过来。可以在循环末尾加一个小的延时delay(20); // 20毫秒将控制频率稳定在50Hz左右。误差计算噪声大根源还是识别不稳定。参考5.1的方法对视觉数据进行滤波。电机响应延迟小车的电机和驱动电路可能有响应延迟。可以尝试在PID输出后对最终的速度指令也做一个低通滤波平滑速度变化。5.3 过弯时冲出赛道或反应迟钝现象遇到弧度较大的弯道时小车转不过来直接冲出去或者转弯动作生硬、滞后。排查与解决前瞻距离我们之前用的是线段下端点的X坐标。这意味着小车是根据“车头正下方”的线位置来决策的前瞻性很差。更好的方法是取线段上距离摄像头更远Y值更小的一个点比如线段的中点甚至上端点。这相当于让小车“看得更远”提前预判弯道。修改line_bottom_x result.xTarget;为line_reference_x (result.xOrigin result.xTarget) / 2;试试。PID微分项D增加微分系数Kd可以让小车对误差的变化趋势即正在快速偏离中心做出反应从而在进入弯道时更早、更主动地转弯。速度与弯道的匹配在急弯处可以引入速度控制。当计算出的turnAdjust绝对值很大时说明需要急转弯此时可以适当降低baseSpeed防止因惯性冲出赛道。int absTurn abs(turnAdjust); int dynamicBaseSpeed baseSpeed; if (absTurn 100) { // 阈值需要调试 dynamicBaseSpeed 100; // 急弯时减速 } leftSpeed dynamicBaseSpeed - turnAdjust; rightSpeed dynamicBaseSpeed turnAdjust;5.4 通信中断或数据异常现象小车完全不动串口调试信息显示初始化失败或持续请求失败。排查与解决检查接线反复检查VCC、GND、RX、TX四根线是否连接牢固是否接反。检查波特率确保代码中huskySerial.begin(9600);的波特率与二哈模块的实际波特率一致。新款二哈可能默认是115200请查阅最新文档。电源问题二哈模块工作时峰值电流可能较大如果小车电池电量不足或稳压电路不给力可能导致二哈模块重启。尝试用外接的5V电源单独给二哈模块供电测试。添加通信重试机制在初始化或请求失败时不要只打印错误可以加入有限次数的重试逻辑并尝试重新初始化二哈模块的算法模式。6. 进阶优化与功能扩展思路当基本的巡线功能稳定后你可以尝试以下优化和扩展让项目更有挑战性和实用性。6.1 多段PID与动态参数对于有直道、缓弯、急弯的复杂赛道单一的PID参数可能无法兼顾所有情况。可以设计一个“多段PID”控制器根据误差error或误差变化率的大小切换不同的PID参数集。例如当abs(error)很小时使用一组温和的参数保证直线稳定当abs(error)很大时使用一组更激进的参数来快速过弯。6.2 引入图像处理辅助决策虽然二哈模块输出了处理好的结果但我们依然可以对其返回的多个线段进行更高级的分析。例如十字路口判断如果同时识别到两条近似垂直的线段可以判断为十字路口触发特定的决策如直行、左转、右转或停车。断线处理如果线段长度突然变短可能是线断了。可以结合历史数据预测断线后的前进方向或者进入“搜索模式”原地旋转找线。赛道边界识别如果学习两条并行的线如车道线可以实现车道保持而不仅仅是单线跟踪。6.3 融合其他传感器单纯依靠视觉在高速或复杂环境下仍有局限。可以考虑融合其他传感器惯性测量单元IMU获取小车的姿态角俯仰、横滚、偏航。可以用于补偿摄像头因车身颠簸产生的角度变化使视觉数据更稳定也可以在丢线时结合角速度进行更准确的惯性导航。编码器测量轮子的实际转速和行走距离。可以与视觉定位结合实现更精确的轨迹控制和位置估算。6.4 上位机调试与数据可视化为了更直观地调试PID参数和观察小车状态可以开发一个简单的上位机例如用Python的PyQt或Tkinter。让小车通过蓝牙或WIFI将实时数据如error、turnAdjust、leftSpeed、rightSpeed发送到电脑在上位机上绘制成曲线图。这样参数变化对系统的影响一目了然能极大提升调试效率。实现这个功能你需要在小车代码中通过另一个串口或网络发送数据包并在电脑端编写程序解析和绘图。这虽然增加了复杂度但对于深入理解控制系统和优化性能来说是非常有价值的工具。从硬件连接到软件调试从基础PID到进阶优化“仰望小车3二哈识图”的视觉寻线项目是一个绝佳的嵌入式与控制系统入门实践。它串联了传感器数据采集、串口通信、实时控制算法、电机驱动等多个知识点。最关键的不是一次调通而是在遇到问题、分析问题、解决问题的过程中积累的经验。那些关于光线、滤波、PID调参的“坑”每一个填平后都会让你对机器人的“感知-决策-控制”闭环有更深的理解。希望这篇详细的梳理能帮你少走弯路更快地享受到自己动手让机器人“看见”并“跟随”的乐趣。