1. 项目概述当“二哈”遇见人脸识别最近在捣鼓一个挺有意思的小项目核心目标是用一块成本不高的开发板实现一个能同时学习和识别多个人脸的系统。这个项目的标题叫“基于二哈实现多人人脸学习和识别”听起来有点技术范儿但说白了就是想做一个智能化的“人脸打卡机”或者“智能门禁”的雏形只不过它更灵活能随时教它认识新朋友。这里说的“二哈”可不是那个拆家的宠物而是指HuskyLens这款AI视觉传感器。它本身就是一个集成了处理器和算法的“聪明摄像头”出厂就自带了好几种识别功能人脸识别是其中之一。但官方固件通常更侧重于单次识别对于“学习”新面孔并形成一个可管理的多人数据库支持得并不那么直接和强大。所以我们这个项目的核心就是通过编程深度调用二哈的底层能力并设计一套逻辑来实现动态的“学习-存储-识别”循环。这玩意儿能干嘛呢想象一下如果你有一个私人的工作坊或者小团队活动室你希望门禁系统能自动识别团队成员并记录考勤或者你想做一个智能相册自动把家人朋友的照片分类甚至是想给家里的智能设备加个“刷脸”开关。这些场景都要求系统不仅能认出已知的人还能方便地添加新人。市面上成熟的解决方案要么太贵要么不够灵活而用二哈搭配一块像Arduino或ESP32这样的主控板成本可以控制在很低的范围内并且完全由你自定义逻辑。整个项目的思路就是让二哈负责最重的“看”和“初步判断”的活我们把识别到的人脸特征数据拿过来在主控板上建立一个小型数据库。当二哈看到一个脸我们先在数据库里查有没有记录如果没有就触发一个学习流程让用户输入一个名字比如通过键盘、手机App或者简单的按钮组合然后把这张脸的特征和名字存起来。下次再见到就能直接叫出名字了。下面我就把实现这个想法过程中关于设计思路、具体操作、踩过的坑以及怎么解决问题的全过程详细拆解一遍。2. 核心思路与系统架构设计2.1 为什么选择“二哈”作为视觉核心选择HuskyLens而不是直接用一个普通摄像头加OpenCV跑在树莓派上是基于几个非常实际的考虑。首先就是开发效率与资源占用。二哈本身就是一个完成了算法集成和优化的模块它通过UART或I2C接口直接输出结构化的识别结果比如“画面中ID为1的人脸坐标是(x,y)”。这意味着主控板MCU不需要进行任何耗时的图像处理或特征提取计算极大地降低了对主控芯片性能的要求一个最普通的Arduino Uno都能胜任更别说ESP32了。省去了在MCU上部署AI模型的巨大麻烦。其次是功耗与实时性。二哈针对识别任务做了硬件优化识别速度快功耗相对较低。对于需要长时间待机或电池供电的应用场景比如便携式设备非常友好。最后是易用性。其配套的图形化界面和固件更新很方便即使不深入底层也能快速上手。当然它的局限性也明显算法固件是黑盒精度和功能上限取决于厂家更新特征数据我们无法直接获取原始向量只能操作其返回的ID。但对于我们多人学习识别的目标通过其提供的学习指令和ID管理是完全可行的。2.2 整体系统工作流程设计我们的目标是构建一个闭环系统其核心状态流程如下初始化系统启动主控板从非易失存储如EEPROM、SD卡或SPIFFS中加载已保存的人脸ID与姓名的映射表。识别循环主控板持续向二哈请求当前画面的人脸识别结果。决策判断如果二哈返回了人脸信息且该人脸ID存在于我们的映射表中则系统执行“识别成功”动作比如通过屏幕显示“你好张三”或控制继电器开门。如果二哈返回了人脸信息但该ID不在映射表中系统则进入“学习模式”流程。学习模式系统提示“发现新面孔是否学习”可通过OLED屏显示或LED指示。等待用户确认如按下确认按钮。在等待期间需要确保目标人脸保持相对静止且在画面中。用户确认后主控板向二哈发送“学习指令”让二哈将这个新人脸的特征学习并分配一个新ID或使用一个指定的ID。随后系统提示用户输入姓名通过外接键盘、蓝牙手机输入或者用多个按钮进行字母选择等简易方式。将新的“ID-姓名”对保存到非易失存储中并更新内存中的映射表。返回循环完成学习后系统自动返回第2步的识别循环。这个流程的关键在于状态管理和数据持久化。整个程序不能是线性的必须有一个清晰的状态机在“识别”、“等待确认”、“输入姓名”等状态间切换。数据持久化则保证了断电后人员信息不丢失。2.3 主控板与外设选型考量主控板的选择直接影响系统的扩展性和实现难度。Arduino Uno/Nano优点是简单、便宜、生态成熟。缺点是资源紧张2KB RAM 32KB Flash存储人脸映射表假设存20个人每人名字10个字符用EEPROM1KB还行但如果想记录更多信息或使用更复杂的输入输出就捉襟见肘了。适合最简化的验证原型。ESP32这是我最推荐的选择。理由非常充分双核处理器性能富余拥有4MB以上的SPI Flash可以用SPIFFS文件系统存储大量数据集成Wi-Fi和蓝牙这意味着你可以轻松地通过手机网页或蓝牙App来输入姓名、管理数据库极大提升用户体验价格依然亲民。Wi-Fi功能还打开了远程通知如识别到某人后发送微信消息的大门。树莓派 Pico性能强大价格适中但生态相对较新在非易失存储和网络扩展上需要额外注意。外设方面除了二哈通常还需要显示设备0.96寸OLED屏I2C接口用于显示状态、姓名和提示信息必不可少。输入设备根据复杂度选择。简易版可以用2-3个按钮确认、取消、切换字母。追求体验就用蓝牙模块配合手机或者直接使用ESP32的蓝牙功能。存储ESP32可使用内部SPIFFS。对于Arduino可考虑加一个SD卡模块但会大幅增加复杂度。注意二哈的工作电压是5V而ESP32的IO口是3.3V电平。虽然二哈的通信口UART/I2C通常能兼容3.3V电平但最稳妥的做法是使用一个双向电平转换模块或者选择那些明确标明支持3.3V逻辑的二哈版本避免损坏设备。3. 硬件连接与核心代码解析3.1 硬件接线图与电源管理我们以ESP32-DevKitC和HuskyLens为例构建一个基础系统包含OLED屏和两个按钮。HuskyLens - ESP32HuskyLens的GND- ESP32的GND。HuskyLens的VCC- ESP32的5V输出引脚注意必须是5V引脚不是3.3V。HuskyLens的RX- ESP32的TX2例如GPIO17。HuskyLens的TX- ESP32的RX2例如GPIO16。这里使用UART通信占用一个硬件串口。I2C方式接线不同但UART更稳定可靠。OLED (SSD1306, I2C) - ESP32OLED的GND- ESP32的GND。OLED的VCC- ESP32的3.3V。OLED的SCL- ESP32的GPIO22(I2C时钟线)。OLED的SDA- ESP32的GPIO21(I2C数据线)。按钮 - ESP32按钮A确认/学习一端接GPIO13另一端接GND。ESP32内部启用上拉电阻。按钮B取消/下一个一端接GPIO12另一端接GND。电源管理是一个容易忽视的坑点。二哈在识别时峰值电流可能达到300mA以上如果使用USB线给ESP32供电同时带动二哈和OLED务必确保USB线质量好、电源适配器能提供至少1A的电流。否则可能出现二哈不断重启或识别不稳定的情况。建议使用外部5V/2A的电源适配器通过ESP32的VIN引脚供电这样更稳定。3.2 二哈通信协议与指令解析二哈通过UART发送结构化的数据包。我们需要编写代码来解析这些数据包并封装发送指令的函数。一个典型的人脸识别结果数据包包含帧头、数据长度、命令字、人脸数量、每个人脸的ID和坐标等信息。以下是一个简化的解析函数示例用于获取第一个人脸的ID// 假设使用HardwareSerial Serial2(2)与HuskyLens通信 #define HEADER1 0x55 #define HEADER2 0xAA struct FaceResult { bool detected; int id; // 人脸ID-1表示未知或未学习 int x, y, width, height; }; FaceResult getFaceFromHuskyLens() { FaceResult result {false, -1, 0, 0, 0, 0}; // 检查串口是否有足够数据这里简化处理实际需要更严谨的协议解析 if (Serial2.available() 10) { // 假设一个简单数据包长度 byte header[2]; Serial2.readBytes(header, 2); if (header[0] HEADER1 header[1] HEADER2) { byte cmd Serial2.read(); // 命令字 if (cmd 0x2F) { // 假设0x2F是人脸识别结果命令 // 跳过长度等字节读取人脸数量 Serial2.read(); // 数据长度高位 Serial2.read(); // 数据长度低位 byte faceCount Serial2.read(); if (faceCount 0) { // 读取第一个脸的信息 result.detected true; result.id Serial2.read(); // ID // 继续读取x, y, width, height等坐标信息... // 注意实际协议中这些数据可能是多字节需要组合 result.x Serial2.read() 8 | Serial2.read(); result.y Serial2.read() 8 | Serial2.read(); result.width Serial2.read() 8 | Serial2.read(); result.height Serial2.read() 8 | Serial2.read(); } } } } // 清空可能不完整的数据 while(Serial2.available()) Serial2.read(); return result; }实操心得二哈的官方通信协议文档可能比较简略。最可靠的方法是使用其官方库如HUSKYLENS.h它已经封装好了所有复杂的解析。自己写解析函数是为了更深入理解但在实际项目中强烈建议先使用官方库快速搭建原型稳定后再考虑优化。例如HUSKYLENS库的request()和available()函数非常好用。3.3 人脸学习指令的发送让二哈学习一张新人脸需要发送特定的指令包。根据二哈的协议你需要告诉它“请学习当前画面中的人脸并给它分配IDX”。这个X可以由我们指定也可以让二哈自动分配下一个可用ID。void learnNewFace(int faceIdToLearn) { // 构建学习指令数据包 byte learnPacket[] { HEADER1, HEADER2, 0x0C, 0x00, // 数据长度后续字节数 0x28, // 命令字学习指令 0x00, 0x00, 0x00, 0x00, // 算法类型人脸识别 0x00, 0x00, 0x00, 0x00, // 保留 (byte)(faceIdToLearn 8), (byte)(faceIdToLearn 0xFF) // 要学习的ID }; Serial2.write(learnPacket, sizeof(learnPacket)); delay(100); // 等待二哈处理 }在实际操作中更简单的做法是使用官方库huskylens.writeLearn(1);// 学习ID为1的人脸。但关键点在于学习前必须确保目标人脸在画面中清晰、稳定地出现至少1-2秒。我们的程序需要在发送学习指令前有一个“准备阶段”在OLED上显示“请保持不动”之类的提示。3.4 数据持久化人脸数据库的存储与加载这是项目的核心之一。我们需要把face_id和name的对应关系存下来。在ESP32上使用Preferences库或SPIFFS文件系统都是好选择。Preferences使用起来像简单的键值对非常适合存储配置和映射表。#include Preferences.h Preferences storage; void saveFaceName(int id, const String name) { storage.begin(face-db, false); // false表示读写模式 String key face_ String(id); storage.putString(key.c_str(), name); storage.end(); } String loadFaceName(int id) { storage.begin(face-db, true); // true表示只读模式 String key face_ String(id); String name storage.getString(key.c_str(), Unknown); storage.end(); return name; } // 初始化时加载所有已知人脸示例遍历ID 1-50 void loadAllFaces() { for (int i 1; i 50; i) { String name loadFaceName(i); if (name ! Unknown) { // 添加到内存中的映射表比如一个std::map或数组 faceMap[i] name; } } }使用Preferences的好处是简单、速度快并且是ESP32原生支持。如果人名很长或者想存储更多信息如头像特征码的备份虽然二哈不直接给可以考虑用SPIFFS存储为JSON文件可读性更好但代码稍复杂。4. 状态机设计与程序主循环实现4.1 定义系统状态一个清晰的状态机是程序不混乱的保障。我们至少需要以下几个状态enum SystemState { STATE_IDLE, // 空闲/识别中 STATE_NEW_FACE_FOUND, // 发现未知人脸等待用户确认学习 STATE_WAIT_CONFIRM, // 显示确认提示等待按钮 STATE_LEARNING, // 正在执行学习指令 STATE_INPUT_NAME, // 等待用户输入姓名 STATE_SAVING // 保存数据 }; SystemState currentState STATE_IDLE;4.2 主循环逻辑拆解主循环loop()函数就像一个调度中心根据currentState执行不同的任务并处理状态转移。// 全局变量 int unknownFaceId -1; String newName ; void loop() { switch (currentState) { case STATE_IDLE: handleIdleState(); break; case STATE_NEW_FACE_FOUND: handleNewFaceState(); break; case STATE_WAIT_CONFIRM: handleWaitConfirmState(); break; // ... 其他状态的处理函数 } // 处理按钮事件建议用中断或非阻塞方式检测 handleButtonEvents(); } void handleIdleState() { FaceResult face getFaceFromHuskyLens(); if (face.detected) { if (face.id -1 || faceMap.find(face.id) faceMap.end()) { // 检测到人脸且ID未知或不在数据库中 unknownFaceId (face.id -1) ? getNextAvailableId() : face.id; // 获取一个可用ID currentState STATE_NEW_FACE_FOUND; } else { // 识别到已知人脸 String knownName faceMap[face.id]; displayWelcome(knownName); // 可以触发其他动作如点亮LED、发送网络请求等 } } else { displayIdleScreen(); // 显示待机画面 } } void handleNewFaceState() { // 在OLED上显示“发现新面孔按A键学习B键忽略” displayMessage(New Face! A:Learn B:Ignore); currentState STATE_WAIT_CONFIRM; // 立即进入等待确认状态 } void handleWaitConfirmState() { // 这个状态主要靠handleButtonEvents函数来改变状态 // 保持显示提示信息即可 }4.3 按钮事件处理与姓名输入按钮处理要使用非阻塞方式避免delay()卡住整个系统。可以使用millis()来消抖和检测长按。void handleButtonEvents() { // 读取按钮状态假设已配置上拉按下为LOW bool btnA digitalRead(BTN_A_PIN) LOW; bool btnB digitalRead(BTN_B_PIN) LOW; // 简单的消抖逻辑实际应用应用更健壮的消抖 static unsigned long lastPressTime 0; if (millis() - lastPressTime 200) { // 200ms消抖 if (btnA) { lastPressTime millis(); onButtonAPressed(); } if (btnB) { lastPressTime millis(); onButtonBPressed(); } } } void onButtonAPressed() { switch (currentState) { case STATE_WAIT_CONFIRM: // 用户确认学习 currentState STATE_LEARNING; break; case STATE_INPUT_NAME: // 在字母输入界面A键可能代表“确认选择” inputNameConfirm(); break; } } void onButtonBPressed() { switch (currentState) { case STATE_WAIT_CONFIRM: // 用户忽略返回空闲状态 currentState STATE_IDLE; break; case STATE_INPUT_NAME: // B键可能代表“下一个字母” inputNameNextChar(); break; } }姓名输入是一个挑战。用两个按钮实现一个简易的屏幕键盘一个按钮B循环切换当前光标位置的字符A-B-C...-Z-空格-A另一个按钮A确认当前字符并移动到下一位。在OLED上显示一个正在输入的字符串和当前可选的字符。虽然效率不高但对于输入少量名字如家庭成员是可行的。更好的方案是接入一个4x4矩阵键盘或者直接启用ESP32的蓝牙开发一个手机App来输入体验提升巨大。5. 功能优化与体验提升实战5.1 提高识别准确率与稳定性二哈在默认设置下可能会因为光线、角度、遮挡等因素出现识别抖动同一个人ID在已知和未知间跳变或误识别。我们可以通过软件策略进行优化连续帧验证不要根据单次识别结果做决定。例如连续5帧都识别到同一个未知ID才判定为“发现新面孔”。对于已知人脸同样可以设置一个置信度阈值比如10帧里有7帧识别为张三才最终确认为张三。这能有效过滤偶然的识别错误。区域锁定与跟踪当一个人脸进入画面并开始识别流程后可以记录其大致位置。在接下来的几帧里只关注这个区域附近的人脸变化忽略画面其他部分突然出现的人脸防止干扰。这模拟了“注意力”机制。光线补偿提示通过二哈返回的图像数据如果协议支持或简单的光敏电阻检测环境光线。如果光线太暗或过亮在OLED上提示用户“光线不足请调整”并暂时不进行学习和关键识别。固件升级定期检查二哈的固件版本厂家可能会更新算法提升性能。升级固件是一个低成本高收益的优化手段。5.2 实现简单的“人脸管理”功能一个完整的系统应该允许用户管理已学习的人脸例如删除或重命名。我们可以通过长按某个按钮比如在空闲状态下长按B键3秒进入“管理模式”。在管理模式下OLED列表显示所有已存储的[ID]: 姓名。通过按钮上下浏览按A键选择当前条目然后进入二级菜单选择“删除”或“重命名”。删除操作很简单就是从Preferences中移除对应的键。重命名则相当于重新走一遍输入姓名的流程。void enterManagementMode() { int selectedIndex 0; std::vectorint knownIds; // 存储所有已知ID // ... 从faceMap加载knownIds while(inManagementMode) { // 显示列表高亮selectedIndex对应的条目 displayFaceList(knownIds, selectedIndex); // 按钮B向下选择按钮A确认 if(buttonBLongPressed()) { selectedIndex (selectedIndex 1) % knownIds.size(); } if(buttonAPressed()) { int selectedId knownIds[selectedIndex]; // 进入针对selectedId的操作子菜单 handleFaceOperation(selectedId); } // 长按A退出管理 if(buttonALongPressed()) { inManagementMode false; } } }5.3 利用ESP32网络能力扩展应用这是ESP32相比Arduino的巨大优势。一旦接入Wi-Fi这个小小的人脸识别系统就能玩出很多花样Web管理界面启动一个Web服务器用户可以在同一局域网内的手机或电脑浏览器上访问一个页面。这个页面可以实时查看摄像头画面需要二哈支持获取图像流或者用另一个摄像头、查看已注册人员列表、进行远程添加/删除/重命名操作。输入姓名直接用手机键盘比硬件按钮方便太多。// 伪代码使用ESPAsyncWebServer库 server.on(/list, HTTP_GET, [](AsyncWebServerRequest *request){ String json [; for(auto pair : faceMap) { json {\id\: String(pair.first) ,\name\:\ pair.second \},; } json.remove(json.length()-1); // 去掉最后一个逗号 json ]; request-send(200, application/json, json); }); server.on(/learn, HTTP_POST, [](AsyncWebServerRequest *request){ // 从POST参数获取名字触发学习流程 String name request-arg(name); // ... 调用学习函数保存名字 request-send(200, text/plain, OK); });MQTT消息推送识别到特定人员后通过MQTT协议向家庭自动化平台如Home Assistant或自己的服务器发送一条消息。可以触发自动化场景比如“识别到爸爸回家自动打开客厅灯和空调”。数据同步与备份将本地的faceMap定期同步到云端数据库防止设备丢失数据也方便多个设备间共享人脸库。6. 调试技巧与常见问题排查实录6.1 硬件连接与通信故障问题现象ESP32程序上传成功但OLED不显示或者二哈毫无反应指示灯不正常。排查步骤检查电源这是最常见的问题。用万用表测量二哈VCC和GND之间的电压确保在4.8V-5.2V之间。ESP32的5V输出引脚可能带载能力不足尝试改用外部5V电源直接给二哈供电共地即可。检查接线再三核对TX/RX是否接反。ESP32的TX应接二哈的RXESP32的RX接二哈的TX。I2C设备检查SDA、SCL是否接对。检查串口在setup()函数中初始化Serial2.begin(9600)后可以尝试在循环里用Serial2.write(“test”)同时用USB转TTL工具监听二哈的TX线看是否有数据输出验证通信链路。6.2 二哈学习失败或识别不稳定问题现象发送学习指令后二哈的指示灯没有变成学习状态的蓝色或红色或者学习后立刻识别不到。解决方法环境光线确保光线均匀不要有强烈的逆光或侧光。人脸部分不能有过曝或死黑。可以尝试在二哈上方加一个柔光的小补光灯。学习距离与角度让人脸正面朝向摄像头距离在20cm到1米之间最佳。学习时让人脸在画面中占据足够大的区域比如1/3到1/2画面高度。协议与延迟发送学习指令后必须给二哈足够的处理时间。在learnNewFace()函数后加一个delay(500)甚至更长。同时确保在学习指令发出前目标人脸已经在画面中稳定停留了至少1秒。ID冲突如果你手动指定ID确保这个ID没有被占用。可以让二哈自动分配ID通常指定ID为0x0000然后从返回的数据包中读取它实际分配的ID。6.3 ESP32数据存储异常问题现象重启后之前学习的人脸信息丢失。排查步骤Preferences使用错误确保begin()和end()成对调用并且模式正确写操作用false。写操作后可以调用storage.flush()确保数据写入Flash。键名重复或覆盖检查putString使用的键名是否唯一。不要在循环或高频调用中反复begin()和end()这可能导致磨损或错误。SPIFFS文件系统如果使用SPIFFS首次使用前需要先格式化。通过SPIFFS.begin(true)可以自动格式化注意true参数会格式化丢失所有数据仅第一次使用或出错时用。写入文件后务必调用file.close()。6.4 程序运行卡顿或崩溃问题现象系统运行一段时间后无响应或突然重启。可能原因内存泄漏在Arduino/ESP32环境中频繁的String拼接、动态分配内存如new而不释放会导致堆内存耗尽。尽量使用静态缓冲区、String的reserve()方法预分配或使用std::string对于ESP32。看门狗复位ESP32有看门狗定时器。如果某个循环或任务执行时间过长比如一个复杂的网络请求没有设置超时看门狗会强制重启。将耗时任务拆解或在循环中适时调用delay(0)或yield()让看门狗喂狗。堆栈溢出如果使用了深度递归或非常大的局部变量数组可能导致堆栈溢出。将大数组移到全局区或使用动态分配。调试利器善用串口打印。在不同的状态切换、函数入口、数据读写的关键点用Serial.print()输出变量值和状态信息。例如Serial.printf([State] Switching from %d to %d\n, oldState, newState);。这能帮你清晰地看到程序的执行流快速定位问题卡在哪一步。