这几年总有人问我嵌入式AI到底能做些什么实际项目。如果只挑一个最有代表性的场景我会说无人机。无人机是嵌入式AI最典型的练兵场机身空间小、功耗卡得严、实时性要求高你没法扛着一台带独显的电脑上天只能在有限的算力里榨出视觉识别、避障、路径规划这些需要“秒级响应”的能力。这篇文章是我自己做过的一个嵌入式AI无人机案例复盘会覆盖飞控调度、机载视觉、路径规划、嵌入式测试这几个环节也会把选型参数、踩坑过程一起写出来。不管你是刚开始走嵌入式AI学习路线还是手里已经有一台能飞的机子想往上加视觉应该都能找到能直接拿去用的东西。1. 项目整体解读嵌入式AI到底在无人机里承担什么角色1.1 嵌入式AI不是“把AI塞进单片机”很多人一听嵌入式AI第一反应是“是不是在STM32上跑神经网络”。这个理解不完全。嵌入式AI更准确的描述是在资源受限的端侧设备上完成AI模型推理并把推理结果直接接入实时控制或业务逻辑。无人机就是这个定义最好的例子。我做的这个案例是一台四旋翼无人机主控用STM32系列芯片负责飞控AI计算模块单独用一块带NPU或GPU的嵌入式板卡。飞控跑的是姿态解算、电机控制、IMU数据采集这些硬实时任务AI板卡跑的是目标检测、语义分割、路径规划这些“慢一点但很聪明”的任务。两块芯片通过串口或以太网通信AI板卡把识别结果发给飞控飞控决定怎么飞。这样拆法的好处是安全隔离。哪怕AI板卡死机、推理任务卡住飞控依然能维持无人机姿态不至于直接炸机。这也是嵌入式AI项目里最容易被新手忽略的一点AI做得再好也不能让一个非实时任务阻塞飞行控制通道。1.2 这个案例要解决的实际问题我给自己设定了一个比较完整的场景不是只做一个“能识别杯子”的demo。完整需求包括三个方面第一自主起降。无人机需要降落到一个移动平台或者固定起降平台上不能靠人遥控。这里要用视觉识别平台上的标志物解算相对位置和姿态再把引导信息送到飞控。第二低空避障与路径规划。无人机在树丛、工地、农田这类环境中飞行不能只靠GPS站点点到点。需要实时检测前方障碍物并且在地图或感知数据基础上规划一条可飞的轨迹。第三巡检识别。我选了农业巡检和工地进度两类典型场景。农业上做作物分类工地做车辆、设备检测。这样既能检验视觉模型的泛化能力也能让案例有实际落地价值。这三块任务刚好覆盖了嵌入式AI无人机的常见组合飞控、视觉感知、路径规划、数据闭环。做完之后你会发现真正难的不是某一个模型跑通而是所有模块在同一台小机器上稳定协同运行。1.3 系统架构怎么拆我习惯把整个系统拆成三层最底层是飞控层。包括IMU、气压计、GPS/RTK、电调、电机以及跑在MCU上的控制算法。这一层的核心指标是稳定性和实时性代码一般用C/C跑在RTOS上比如FreeRTOS。中间是感知层。包括摄像头、光流传感器、激光测距模块以及AI板卡上的图像处理链路。感知层输出的是“前方3米有障碍物”“起降平台在我下方偏左0.5米”这类结构化信息。最上面是决策层。路径规划、任务调度、航点生成在这里完成。决策层不一定要求极致的毫秒级响应但要求能处理突发情况比如发现新障碍后重新规划路径。三层之间用消息流串联。拿降落举例感知层识别到起降平台的标签解算出相对位置决策层根据相对位置生成下降轨迹飞控层执行轨迹并保持姿态稳定。整个过程闭环运行任何一层出问题都能追溯到明确日志。2. 硬件选型背后的参数逻辑2.1 主控与AI计算单元怎么搭无人机主控的选择相对固定STM32F4、STM32H7、Kinetis、GD32都有人用。性能不用太夸张关键是外设丰富、定时器精准、能在高优先级中断里快速读IMU数据。我用的STM32H743主频480MHzSPI和DMA够用跑姿态控制完全没问题。AI计算单元的选择才是关键。市面上常见的有几类NVIDIA Jetson系列比如Jetson Orin Nano、Jetson Orin NX。生态成熟TensorRT部署方便适合做目标检测、分割、深度估计。瑞芯微RK3588、RK3566这类SoC自带NPU功耗低适合功耗敏感的小型无人机。地平线旭日X3派、全志、算能等国产芯片性价比高但部署工具链各有差异。我最终选了 Jetson Orin NX 8GB版原因有三个算力足够FP16算力大约100 TOPS级别CUDA生态好写好的模型基本都能用TensorRT优化接口齐全能接多个摄像头和串口设备。但是别一上来就追旗舰。如果你只是做避障验证RK3588甚至更小的RK3566都够用。嵌入式AI的特点是“够用就好”选太强的芯片意味着功耗、散热、价格都跟着涨。AI模块算力特点典型功耗适合场景Jetson Orin NX 8GB约100 TOPSFP1610W~25W多任务视觉、复杂避障Jetson Orin Nano约40 TOPSFP167W~15W单路视觉识别、入门部署RK35886 TOPS NPU5W~10W轻量化视觉、功耗敏感型无人机RK35661 TOPS NPU约3W简单分类、光流处理我实测下来Orin NX跑YOLOv5s640×640输入TensorRT FP16推理耗时大约10ms到15ms整机功耗在12W左右飞行中可以接受。如果用RK3588推理耗时大概15ms到20ms功耗更低但遇到复杂场景时余量会小一些。2.2 无人机电机选型的实用计算无人机电机选型是新手最容易迷惑的地方经常有人在群里问“用2200KV还是1400KV”。说白了选电机就是选推力和转速的匹配。先做一个估算。假设整机起飞重量是2.6kg四轴每根机臂分摊0.65kg。悬停时推力需要等于重力但油门不能拉到100%否则遇到风或者急拉升就没余量了。一般会让悬停油门落在45%到55%左右也就是说单根机臂的最大推力至少应该是0.65kg除以0.5得到1.3kg。我按这个逻辑选了单轴最大推力约1.4kg级别的电机搭配10寸或者11寸桨叶。具体型号是2216规格KV值880配4S锂电池。为什么选4S而不是6S因为4S电池搭配低KV电机电流相对温和电调发热小适合长时间巡检。实际采购时不要只看电机标称推力要把螺旋桨也算进去。同一个电机配1045桨和1145桨最大推力能差20%以上。最好找厂商提供的推力数据表或者自己用推力测试台测一遍。装机后实测悬停油门在48%左右留了足够余量。续航方面一块5200mAh 4S电池能飞大约18到20分钟对视觉巡检场景来说基本够用。如果续航不够优先检查电机和桨的匹配而不是盲目加大电池因为电池重量增加会让续航进一步下降。2.3 IMU采样率达不到200Hz会造成什么影响这个问题是项目里最值得展开的一个。很多人买传感器只看“最高采样率”结果飞控代码里I2C读取频率没调好IMU实际只有50Hz或者100Hz飞起来就开始飘。先说结论IMU采样率达不到200Hz对飞控的影响非常直接。姿态控制内环需要高频的姿态角与角速度反馈采样率不够时反馈滞后明显无人机稍微打舵就会出现“点头”或者“甩尾”严重时会持续振荡甚至炸机。为什么是200Hz这个线姿态控制回路的工作频率通常在50Hz到100Hz根据香农采样定理反馈采样频率至少是控制频率的两倍。工程上还要留更多余量一般取5到10倍。所以IMU采样率至少要200Hz我习惯设到400Hz到1000Hz之间让姿态解算有充足的数据点。我在测试中故意把IMU采样率从500Hz降到100Hz结果悬停时能看到机身在缓慢漂移快速打舵时姿态响应明显迟钝。把采样率恢复到400Hz后同样参数下的飞行手感立刻正常。这说明采样率设置不合理会在飞控层面积累大量延迟。排查IMU采样率有个固定套路先看飞控日志里IMU数据的实际时间间隔再用示波器或逻辑分析仪抓SPI/I2C总线最后检查读取代码是否被其他中断阻塞。常见原因是I2C工作在100kHz模式、SPI没有开DMA、或者传感器初始化时低通滤波器设置过重。解决办法是把I2C提到400kHzSPI开DMA并且给IMU读取任务设置高优先级。2.4 传感器融合与时间同步视觉传感器和IMU的时间同步容易被忽略但非常重要。无人机在运动过程中如果图像帧时间戳和IMU时间戳不一致视觉位置解算就会出现数百毫秒的偏差。我的做法是在AI板卡和飞控之间使用同一个时间基准。飞控每隔10ms发一帧带时间戳的IMU数据AI板卡收到后先缓存到队列摄像头采集到的图像也打上最近的系统时间戳。后续做位姿融合时只取时间差小于10ms的数据对。实测下来这种软同步方案对降落引导足够用。如果后续要做VIO视觉惯性里程计建议升级到硬同步。也就是用同一个PWM/GPIO信号触发IMU和摄像头采集时间戳精度能做到微秒级。不过对于大多数嵌入式AI无人机案例软同步加严格时间戳已经够用了。3. 视觉感知、路径规划与开源方案3.1 机载视觉感知模型怎么部署我的视觉感知模块选了两个任务目标检测和语义分割。目标检测用于工地车辆识别、障碍物发现语义分割用于农田植被区域划分。这两个任务不能各跑一个大模型否则推理时间太长。我选择的是YOLOv5s作为目标检测主模型语义分割单独用一个轻量的UNet变种。训练时先用公开数据集预训练再用自己拍的数据微调。部署阶段统一转换成ONNX再通过TensorRT生成FP16的engine文件。这里有个重点嵌入式AI部署不是训练完就能跑。训练时用的是PyTorch输入图像是归一化张量但部署时你需要自己处理图像预处理、NMS、坐标映射。如果不做优化一个640×640的模型在Orin NX上可能跑出40ms延迟优化后能压到10ms左右。关键技巧包括把图像预处理合并到GPU上、使用批量推理、关闭NMS里的Python循环改向量化操作。我的实测记录如下YOLOv5s在FP16模式下单帧推理平均11ms加上图像采集和预处理端到端视觉感知延迟大约35ms。对于避障场景这个延迟是够用的因为无人机飞行速度不会太快。如果飞太快35ms内飞机已经前进了几十厘米视觉避障就会失真。3.2 无人机起降平台视觉引导怎么做自主降落到起降平台是视觉感知和飞控结合最典型的案例。我的实现方案不复杂在平台上放置AprilTag二维码机载摄像头实时识别标签通过PnP解算无人机相对标签的位置和姿态。过程分四步第一步相机标定。用棋盘格标定板先拿到相机内参和畸变系数这一步不做后面定位全出错。第二步识别AprilTag。OpenCV里有现成的AprilTag检测接口识别到标签后会返回四个角点坐标。第三步PnP解算。把标签的物理尺寸和角点像素坐标输入solvePnP输出旋转向量和平移向量。再经过坐标变换得到无人机相对平台中心的三维位置。第四步将位置误差送给飞控。飞控里写一个降落模式当无人机在平台正上方2米内时根据水平位置误差生成速度指令让无人机缓慢下降。这里最容易踩的坑是相机曝光。无人机在阳光强烈的户外飞行时自动曝光会导致AprilTag过曝检测失败。解决方法是把相机曝光时间固定到一个合适的值比如1/800秒同时开启Gsensor或者灰度直方图来辅助判断。另一个坑是标签尺寸要和降落高度匹配标签太小在高空识别不到标签太大低空时又超出视野。我建议在降落高度3米时让标签在画面中占到1/3左右宽度这样可以稳定解算位置。实测效果在无风环境下视觉引导降落的位置偏差能控制在10厘米以内。有风时偏差会扩大到30厘米左右但依然能落在80厘米见方的起降平台上。3.3 三维路径规划从数学模型到MATLAB代码路径规划是无人机决策层的核心。很多初学者把它看得太神秘其实本质是在已知地图或感知地图上找一条从起点到终点的无碰撞路径。常见方法有A*、RRT、RRT*、人工势场法等。我做的是三维栅格地图上的路径规划。先把环境地图栅格化每个格子标记为“可通行”或“障碍物”再把A算法扩展到三维。A的核心是维护两个代价从起点到当前点的实际代价g以及当前点到终点的估计代价h。每次从open list里取fgh最小的节点去扩展。这里给一份简化的三维A*MATLAB核心循环代码方便理解% map3D: x*y*z 0-1矩阵1表示障碍物 % start: [x,y,z], goal: [x,y,z] open [start, 0, heuristic(start, goal)]; closed []; parent containers.Map(); while ~isempty(open) [~, idx] min(open(:, end)); current open(idx, 1:3); if isequal(current, goal) break; end closed(end1, :) current; open(idx, :) []; neighbors expand3D(current); % 生成上下左右前后共6个相邻点 for n neighbors if map3D(n(1), n(2), n(3)) 1 continue; end if any(ismember(closed, n, rows)) continue; end g open(find(ismember(open(:,1:3), current, rows)), 4) norm(n - current); h heuristic(n, goal); f g h; % 如果该节点不在open中直接加入否则判断是否需要更新 if ~any(ismember(open(:,1:3), n, rows)) open(end1, :) [n, g, f]; parent(mat2str(n)) current; else existingIdx find(ismember(open(:,1:3), n, rows)); if f open(existingIdx, end) open(existingIdx, 4) g; open(existingIdx, end) f; parent(mat2str(n)) current; end end end end function h heuristic(a, b) h norm(a - b); % 欧氏距离 end这只是教学演示代码真正上机前还要做三点改进一是把栅格地图换成八邻域或连续空间减少路径长度二是加入无人机的动力学约束比如最大爬升角、最小转弯半径三是加一条路径平滑算法比如B样条曲线拟合。很多研究生数学建模题里出现的无人机路径优化思路也是一样的。题目会给你一个三维数字高程模型让你设计一条从起点到终点的路径要求避开山峰、雷达威胁区同时让航程或能耗最小。解法通常就三步把连续地形离散成栅格用A*或RRT找初解再用遗传算法或粒子群优化去微调。掌握了这套方法论比赛和实际项目都能应付。3.4 开源无人机与公开数据集怎么用做嵌入式AI无人机没必要从零造轮子。软件层面px4、ArduPilot都是非常成熟的开源飞控系统硬件层面也有很多开源四旋翼项目可以参考。我参考了类似Spacedrone这类开源无人机项目的架构思路它的源码和硬件设计文档对于理解飞控与机载电脑的通信很有帮助。你可以直接拿开源飞控代码来跑基础飞行把精力集中在AI感知和决策上。数据集方面做农业巡检推荐使用公开的高光谱农业数据集。比如Indian Pines数据集包含农作物与植被的高光谱影像常见类别有玉米、大豆、草、树木等WHU-Hi系列数据集则包含水稻、玉米、蔬菜等精细作物类别。用这些数据先做预训练再结合自己无人机拍摄的RGB图像做迁移学习作物分类准确率会提升不少。做工地巡检可以用公开的无人机航拍工地数据来训练车辆、挖掘机、塔吊等目标检测模型。这类数据集不像自动驾驶数据集那么标准破旧数据很多但正因如此模型在真实工地场景里的泛化效果更好。实际使用时要主动做数据清洗把无人机高度、拍摄角度差异大的样本都保留下来模型才会更稳。4. 嵌入式AI测试的实战记录4.1 嵌入式AI测试到底测什么嵌入式AI测试不是单纯在电脑上跑一遍模型评估就算完。我把它拆成四个层次每一层都不能少。第一层是模型精度测试。用验证集跑mAP、准确率、召回率确认模型本身的识别效果。这一层在PC上就能做但要注意数据分布必须接近真实飞行场景。第二层是板端推理性能测试。模型部署到Jetson/RK芯片后要测推理延迟、CPU占用、内存占用、功耗。重点看延迟的p99值而不是平均值。平均值低但偶尔卡顿也容易导致避障失灵。第三层是嵌入式环境稳定性测试。无人机飞行时芯片散热、电压波动、振动都会影响AI模块。我在室内做了2小时连续压力测试让AI板卡循环跑同一段视频流观察是否死机、是否降频、内存是否持续增长。第四层是端到端闭环测试。把视觉识别结果接入飞控从感知到控制形成闭环在仿真环境里先跑再拿到真机上飞。闭环测试才是真正检验嵌入式AI是否可用的标准。4.2 测试中发现的高频问题与调试第一坑推理延迟在长时间运行后上升。原因是TensorRT的上下文没有正确释放或者显存碎片增加。解决办法是在推理循环里复用context和buffer不要反复创建销毁。第二坑AI板卡温度过高触发降频。无人机机舱很小CPU满负荷时温度很快到80℃以上。我一开始没加风扇运行10分钟就开始卡顿。后来给板卡加了小型涡轮风扇并且在软件里限制了GPU最大频率把功耗控制在12W左右温度稳定在65℃以下。第三坑相机自动曝光导致目标检测失效。飞到有阳光的地方画面过曝工地上的白色车辆直接丢失。解决方法是固定曝光时间和ISO在机载程序里把相机参数设置为手动模式。第四坑IMU采样率波动。我用I2C读取IMU时因为总线上还有其他传感器经常出现一次读取延迟几毫秒的情况。后来把IMU挪到SPI总线并开启DMA采样间隔稳定在2.5ms左右采样率稳定在400Hz。第五坑内存泄漏。AI板卡在长时间识别过程中内存占用缓慢增长排查后发现是图像帧的Mat对象没有释放。嵌入式开发中这种问题特别多解决方式是统一封装图像处理类在析构函数里确保资源释放并且每1000帧打印一次内存日志。4.3 一次典型闭环测试的记录我记录了一次完整的避障闭环测试方便大家参考指标测试项配置结果视觉识别YOLOv5s640×640FP16 TensorRT单帧推理平均11ms端到端延迟摄像头采集→推理→飞控指令平均78msp99为96msIMU采样率SPIDMA稳定400Hz飞行模式慢速巡飞1.5m/s障碍物检测成功率97%连续运行2小时循环识别无死机温度65℃功耗Orin NX 外设平均12.5W这套指标说明对于低速巡检无人机嵌入式AI方案完全可行。如果要把飞行速度提到5m/s以上端到端延迟就必须压到50ms以内这时候就要考虑更高算力芯片或更强优化。5. 常见问题速查与避坑清单症状可能原因排查步骤解决方案无人机上电后IMU偏航漂移IMU采样率低查看日志数据间隔SPIDMA采样率调到400Hz视觉引导降落位置偏移大相机内参不准重做标定棋盘格标定固定曝光AprilTag识别不到自动曝光过曝/标签太小查帧画面固定曝光增大标签模型推理偶尔卡顿TensorRT内存碎片打印每帧延迟复用buffer减少创建销毁AI板卡过热降频散热不足看温度日志加风扇限制GPU频率电池续航偏低电机/桨匹配不佳测悬停油门百分比调整电机KV值或桨叶尺寸算法板死机但飞控正常双板通信异常查串口日志增加看门狗和心跳机制检测模型对工地设备漏检训练数据单一分析bad case补充无人机高度和角度样本提示大部分嵌入式AI问题都能通过日志定位。别在出问题时“拍脑袋”改参数先把飞控日志、AI板卡日志、图像帧日志三份数据对齐再动手。还有一个必须提的避坑技巧AI板卡和飞控之间的通信一定要设计心跳包。飞控如果超过300ms没收到AI板卡指令就自动切换回手动模式或者原地悬停。这样即使AI程序崩溃无人机也不会乱飞。6. 嵌入式AI学习路线与后续扩展建议6.1 嵌入式AI学习路线怎么走很多人问学习路线实际上这门技术是“嵌入式AI系统工程”的交叉学科硬啃某一个方向都不够。我把自己的路线整理成四个阶段第一阶段打底子。入手嵌入式开发板和无人机飞控代码能看懂中断、DMA、RTOS任务调度同时把Python和C基础补上来。不用精通但得会读代码和改代码。第二阶段做小项目。先跑一个简单的图像分类模型在开发板上比如人脸检测或数字识别。重点学习模型转换成ONNX、再部署到TensorRT/RKNN的完整流程。第三阶段做飞控与感知融合。把AI板卡和飞控通信建立起来实现最简单的“识别到目标就拍照”。这个阶段能帮你理解实时系统和非实时系统之间的协调。第四阶段做大闭环。加入路径规划、避障、自主起降做完整的嵌入式AI无人机案例。整个路线不需要一上来就上岗关键是把“训练→部署→实时推理→控制反馈”这一条链路亲手跑通。跑通一次以后你就知道嵌入式AI不是玄学而是很多可复现的工程细节。6.2 如果让我重新做一次我会做哪些改进做过一遍之后我最大的体会是嵌入式AI项目的难点从“AI”转移到“系统”。模型能不能识别目标反而是最不卡壳的部分卡壳的是内存、延迟、功耗、时间同步、异常恢复这些系统级问题。如果重新做我会先在仿真环境里搭建完整的HIL硬件在环测试把视觉输入、飞控控制、路径规划全部先用仿真跑透再上真机。这样能减少大量炸机测试时间。我也会更早建立日志规范。飞控日志、AI板卡日志、图像帧日志统一加时间戳统一存盘出了问题回放起来非常高效。而不是像第一次做那样问题出现时手忙脚乱地翻log。最后想说的是嵌入式AI无人机是一个非常“厚”的案例它把AI部署、实时系统、机器人控制、传感器融合全串在了一起。对于想在这个方向深入的人这个案例足够让你练上大半年。能坚持做完后面做其他嵌入式AI项目都会轻松很多。