基于BP神经网络的车牌识别系统：Matlab实现与图像处理全解析

车牌识别一直是数字图像处理和模式识别课程里非常经典的综合性案例。一个完整的车牌识别系统，从图像中定位车牌、切分字符再到识别字符，每一步都对应着图像预处理、特征工程和分类器设计中的核心知识点。这套基于BP神经网络的车牌识别系统，配合Matlab代码，输入一张含车牌的车辆图片，就能依次完成定位、分割和识别，最后输出车牌号。整套流程不依赖深度学习框架，只用Matlab基础工具箱就能跑通，原理摊得很开。对正在学模式识别、数字图像处理的学生，或者想自己动手做一套车牌识别Demo的工程师来说，都是很好的参考样本。

我最初做这个方案，是为了验证“传统图像处理+浅层神经网络”这套组合在一个真实任务上到底能走到什么程度。做完之后整体感受是：BP网络本身不复杂，真正的工程量在预处理和字符分割上。下面我把整个项目的思路、数据结构、网络设计、关键代码和踩坑记录都整理出来，尽量讲清楚每一步背后的“为什么”。

1. 项目整体思路拆解：为什么要用BP神经网络做车牌识别

1.1 车牌识别的三段式框架

车牌识别系统的经典结构是“定位—分割—识别”三段式，少一段都不行。

定位是从整张车辆图像里找到车牌所在的矩形区域，输出车牌图块。分割是在车牌图块内把若干个字符逐一切出来，输出一组字符小图。识别则是把每个字符小图送入分类器，输出具体的字符类别。

为什么是这种三段式？因为车牌本身有非常强的几何和颜色先验。定位可以用颜色、边缘、长宽比例去做，不需要学习；分割可以靠投影、连通域去做，也不需要学习。真正需要学习的是“这张小图是什么字符”，这是典型的模式分类问题，正好交给BP神经网络。所以这套系统的设计逻辑非常清晰：能用规则就用规则，规则搞不定才用学习模型。

1.2 BP神经网络在系统中的位置与选型理由

字符识别环节可选的方案其实不少，模板匹配、SVM、BP神经网络、CNN都有。我在这个项目里选BP神经网络，主要有几个考虑。

模板匹配实现最简单，把每个字符的模板保存下来，待识别字符逐个模板做相关运算，取最大值。但模板匹配的痛点在于：字符有倾斜、粗细不均、光照不均时，匹配分数会剧烈波动，稍微一个形变就把分数打乱了，鲁棒性不够。

SVM在小样本上表现很好，但Matlab里用SVM做多分类要么做一对一、一对多组合，要么装额外工具箱，代码量会膨胀。而且SVM输出的是决策值而不是直观的概率，后续要判“拒识”还得再包一层。

BP神经网络则把特征向量映射到类别空间，输出层每个节点对应一个字符类别，训练好之后前向传播一次就出结果。Matlab神经网络的工具箱封装完整，写训练代码只用几行。而且BP网络是理解梯度下降、反向传播原理的最佳载体，对教学和实验来说非常合适。

有同学可能会问，为什么不直接上CNN？我的回答是：对于字母数字字符识别这种上百个类别的小图分类任务，CNN当然效果更好，但训练CNN需要更多数据、GPU和框架配置，对课程设计或入门项目来说属于过度设计。BP网络训练速度快，结果可控，更容易把“特征—网络—训练—评估”这条链路理解透。先掌握BP，再迁移到CNN，理解成本会低很多。

1.3 这套系统适合什么场景

这套系统定位的是离线或准实时的车牌识别场景，比如实验数据集批量识别、课程演示、算法原型验证。在真实工程中，摄像头抓拍、道闸控制这类环境光照可控、车速可约束的场景，这套流程稍微优化就能用。但如果是复杂路面多目标识别、夜间强光或极端倾斜的情况，就需要更重的模型和更精细的预处理，这是Matlab原型之外的事了。从影响范围看，这套代码和思路可以作为后续做LPR算法、智能交通相关课程设计、毕业设计甚至小型项目预研的起点。

2. 数据准备与图像预处理

2.1 图像数据从哪来，又该怎么组织

训练BP网络之前，必须先准备字符样本集。样本来源可以是采集的车辆图像中切出的字符，也可以是公开字符库，甚至可以用程序批量合成字符图像。

我更推荐用真实切图再配合合成数据。原因很简单：真实切图能覆盖相机视角、光照、噪声的真实分布，但数量有限；合成数据能快速生成大规模样本，覆盖字体、倾斜、干扰等变化，但和真实环境存在域差异。两者混合使用，训练出来的模型泛化能力最稳。

数据组织形式建议做成“一类别一个文件夹”：

dataset/ train/ 0/ 1/ ... A/ B/ 京/ 津/ ... test/ 0/ 1/ ...

训练脚本读文件夹时直接把类别名作为标签，一次性构建特征矩阵和标签向量。Matlab里可以用dir函数列出类别文件夹，再循环读取每张图像。

另外要注意样本量。BP网络的容量不算大，每类字符建议至少50~100张原始样本，经过扩增后每类保持在500张左右。如果类别涵盖汉字、数字、字母全部字符，总数可能上百类，训练时间会明显增加。很多入门方案为了降低复杂度，只做数字和字母识别，或者只做省份简称字符识别，效果会好很多。

2.2 车牌定位：颜色先验与边缘信息结合使用

车牌定位最稳的做法是颜色分割加形态学筛选。

车牌区域有很强的颜色特征，常见样式是蓝底白字，也有黄底黑字和新能源绿牌。以蓝牌为例，先把RGB图像转到HSV空间，再做阈值分割。Matlab里rgb2hsv输出的H、S、V范围是0到1，我常用的蓝色阈值范围是：

mask = (hsv(:,:,1) >= 0.55 & hsv(:,:,1) <= 0.75) & ... (hsv(:,:,2) >= 0.30) & ... (hsv(:,:,3) >= 0.30);

这个阈值不是死的，不同相机的白平衡差异会让蓝色偏移，实际操作时先取几帧样例看看H分量的直方图再微调。只做颜色分割还不够，图像里蓝色的车身、蓝色的指示牌都会产生干扰。所以还要结合边缘和形态学操作。

我的做法是对原图做灰度化，用Sobel算子提取垂直边缘。为什么要垂直边缘？因为车牌字符笔画和边框会产生大量垂直方向的梯度，而自然背景中垂直边缘密集的区域远少于水平边缘，这样能更快锁定候选区。边缘图做完闭运算，把字符缝隙连通成一个整体块。颜色掩膜和边缘闭运算结果做交集，再用regionprops筛选连通域，筛选条件通常包括：

• 宽高比在2到5之间
• 面积占全图比例在一个合理范围
• 矩形度不能太低

符合条件的最小外接矩形就是车牌区域。用坐标裁剪原图，就得到车牌图块。

实操里定位失败最多的原因是用纯颜色分割，结果车身和背景的相似颜色干扰。颜色+边缘双重约束之后，虚警率会明显下降。

2.3 字符分割：垂直投影是主力手段

拿到车牌图块后，先灰度化再做灰度拉伸，把对比度拉开。灰度拉伸这一步别省，很多车牌图像对比度不高，直接二值化会得到一团糊。

二值化可以选择固定阈值或Otsu。Matlab里我一般用imbinarize，它默认采用Otsu方法，在大部分光照条件下表现稳定。

分割字符最常用的是垂直投影法。把二值图像按列统计白色像素数，画出投影曲线，字符与字符之间会出现明显的波谷。找到这些谷底位置，就能把连续的字符块切出来。这是最直观、解释性最强的方法。

但有两个问题需要注意。

第一个是边框干扰。车牌区域二值化之后，白色边框会和字符连成一片，导致投影曲线没有明显的谷底。所以在切割之前，先做一次横向形态学腐蚀，把细边框断开，或者直接根据车牌比例裁掉上下边缘附近的条带。

第二个是铆钉干扰。车牌上下边缘的铆钉在二值图像上留下的凸起，会粘连到相邻字符的投影区域，造成误切。处理方法是在投影切割后用连通域高度做校验，如果某个候选块的物理高度明显小于字符平均高度，直接丢弃合并。也可以先做形态学开运算，用小尺寸结构元素把细小凸起去掉。

切割出的字符区域尺寸不一，要统一缩放到固定大小。我用imresize把每个字符归一化到20×20像素。缩放的插值方式选择双线性插值，比最近邻效果平滑，也比双三次更快，训练字符识别网络足够了。

如果车牌本身有倾斜，还需要先做水平矫正。可以用Hough变换检测车牌上下边缘的直线角度，然后旋转。这一步不做的后果是字符投影会偏移，后期识别率明显下降。倾斜角度在5度以内时，Hough矫正的帮助最明显。

3. BP神经网络的结构设计与训练细节

3.1 输入特征和输出编码怎么定

神经网络的输入是每个字符图块对应的特征向量。我以20×20灰度图像为例，把图像矩阵按列展开成400维向量，直接作为输入特征。为了让特征分布稳定，需要先做归一化，把像素值压到0到1区间。

归一化这一步很重要。BP网络使用Sigmoid类激活函数时，如果输入值过大，加权求和后容易进入Sigmoid函数的饱和区，梯度几乎为零，训练会停滞。把输入控制到0到1区间，能有效避免这个问题。

如果觉得400维输入让网络规模偏大，可以对图像做分块特征降维。比如把20×20图像分成4×4的子块，统计每个子块的像素均值或白色像素占比，得到16维特征。分块特征对微小位移不敏感，鲁棒性会更好，但信息丢失也多。从实验角度看，400维原始像素特征配合足够样本量，效果往往优于过分降维的特征。

输出编码我用的是One-Hot形式。每个类别对应一个输出神经元，该神经元的目标输出为1，其余为0。代码实现时，类别标签要转换成0/1矩阵。假设共31类字符，每条样本的标签就是31维向量。

为什么不建议用单个输出节点输出1到31这种数值编码？因为类别之间没有天然的数值顺序关系，单节点网络必须自己去学“字符A对应10、字符B对应11”这种任意映射，分类面会变得很怪异。One-Hot让每个类有独立的输出维度，语义清晰，反向传播时误差分量也容易解释。

字符集合的组成需要提前定好。常见车牌字符分为汉字、大写字母和数字三类。如果做完整识别，汉字字符数量较多；为降低实现难度，可以先做“字母+数字”共34类（排除容易混淆的I和O），后续扩到含汉字的大集合。输出层节点数跟着类别数走，34类就是34个节点。

3.2 隐藏层节点数和激活函数选择

BP网络我采用三层结构：输入层、一个隐藏层、输出层。车牌字符分类任务复杂度有限，一个隐藏层足够拟合。隐藏层再加一层，训练时间变长，还容易过拟合。

隐藏层节点数的选择有经验公式：

h = sqrt(m + n) + a

其中m是输入节点数，n是输出节点数，a是1到10之间的调节常数。以输入400维、输出34类为例，sqrt(400+34)约等于21，加上调节常数3，初始隐藏层取24个节点。这个值只是起点，实际训练后可以再做增减实验：隐藏节点太少欠拟合，太多过拟合且训练慢。

激活函数的选择上，我在隐藏层用tansig（双曲正切Sigmoid），输出层用logsig（对数Sigmoid）。隐藏层的tansig输出范围是-1到1，具备正负双向激活，对梯度传播更友善；输出层的logsig把结果压到0到1之间，接近概率输出，方便判定最终类别。如果输出层换用purelin线性函数，网络也能训练，但输出可能会出现明显偏离0和1的值，解释起来不如Sigmoid直观。

3.3 数据集扩增与训练参数设置

样本扩增是提升泛化能力性价比最高的手段。字符二值图像可以做小角度旋转（±10度）、上下左右平移（1~2像素）、缩放（0.9~1.1倍）、加高斯噪声、膨胀腐蚀。每张原始样本扩增出5~10张，训练集规模马上翻几倍。扩增时注意尺度不要太大，旋转超过15度之后字符形状已经不真实了，反而会误导训练。

训练数据按7:2:1划分训练集、验证集和测试集。验证集用来观察是否过拟合，测试集最后统一评估准确率。划分时用randperm打乱顺序，避免同类样本扎堆。

训练参数我是这么设的：

net.trainFcn = 'traingdx'; net.trainParam.lr = 0.05; net.trainParam.mc = 0.9; net.trainParam.epochs = 2000; net.trainParam.goal = 1e-5; net.trainParam.max_fail = 20;

学习率取0.05，配合动量项0.9。动量项相当于给梯度更新加了一个惯性，能让损失下降更平滑，抑制震荡。max_fail设为20表示验证集误差连续上升20次就停止训练，这个早停机制能有效防止过拟合。训练目标误差goal设为1e-5，实际中如果全部3000个epoch跑完还没到这个值，只要验证集误差已经平稳，也可以提前手动终止。

训练函数我选traingdx，即自适应学习率加动量梯度下降。数据量不大时trainlm（Levenberg-Marquardt）收敛更快，但LM算法内存占用高，在特征维度和样本量增加后容易卡顿，而且更容易陷入局部极值。traingdx虽然慢一点，但稳定性更好，对入门实验来说更友好。

4. Matlab关键代码解析

4.1 主流程代码框架

整个系统的主流程可以写成下面这个结构，函数的职责边界非常清晰：

% 载入训练好的网络 load('plate_net.mat', 'net'); % 读取待识别车辆图像 img = imread('car.jpg'); % 车牌定位 plateImg = locatePlate(img); % 字符分割 charImgs = segmentChars(plateImg); % 逐字符识别 for i = 1:length(charImgs) feat = extractFeature(charImgs{i}); out = net(feat); [~, idx] = max(out); fprintf('第%d个字符识别结果: %s\n', i, labelSet{idx}); end

这里有几个实用细节。第一，网络训练前要先准备labelSet，它把输出节点索引映射到具体字符，比如{‘0’,‘1’,...,‘A’,‘B’,...}。第二，net(feat)要求输入是一列向量，如果特征是行向量需要转置。第三，识别时用max取输出向量最大值对应的索引，就是最终类别。

4.2 车牌定位函数核心

定位函数的核心是颜色掩膜、边缘检测、形态学闭运算和连通域筛选的组合：

function plateImg = locatePlate(img) hsv = rgb2hsv(img); maskColor = (hsv(:,:,1) >= 0.55 & hsv(:,:,1) <= 0.75) & ... (hsv(:,:,2) >= 0.30) & ... (hsv(:,:,3) >= 0.30); gray = rgb2gray(img); edgeImg = edge(gray, 'sobel', 'vertical'); mask = maskColor & edgeImg; mask = imclose(mask, strel('rectangle', [15, 15])); mask = imfill(mask, 'holes'); stats = regionprops(mask, 'BoundingBox', 'Area'); maxArea = 0; plateBox = []; for i = 1:length(stats) w = stats(i).BoundingBox(3); h = stats(i).BoundingBox(4); ratio = w / h; areaRatio = stats(i).Area / numel(mask); if ratio > 2 && ratio < 5 && areaRatio > 0.01 && stats(i).Area > maxArea maxArea = stats(i).Area; plateBox = stats(i).BoundingBox; end end if ~isempty(plateBox) plateImg = imcrop(img, plateBox); else error('未定位到车牌区域'); end end

颜色掩膜和边缘图求交集，再用闭运算把字符间的缝隙连上，这一步很关键。闭运算的结构元素尺寸不能太小，否则字符区域连不成一个块；也不能太大，否则会把车身边的无关区域也并进来。实测15×15的矩形结构元素对常见拍摄距离比较稳。

4.3 字符分割函数核心

字符分割函数按垂直投影切割字符，先做灰度拉伸和二值化：

function charImgs = segmentChars(plateImg) gray = rgb2gray(plateImg); gray = imadjust(gray); bw = imbinarize(gray); bw = ~bw; % 白字在蓝底上，二值化后字符为0，取反让字符为1 % 去除上下边框干扰 bw(1:2, :) = 0; bw(end-1:end, :) = 0; proj = sum(bw, 1); charCols = proj > 5; % 列阈值需要根据实际图像高度调整 % 找出连续区间 diffCols = diff([0, charCols, 0]); startIdx = find(diffCols == 1); endIdx = find(diffCols == -1) - 1; charImgs = {}; for i = 1:length(startIdx) colRange = startIdx(i):endIdx(i); if length(colRange) < 5 continue; end charImgs{end+1} = imcrop(plateImg, [startIdx(i), 1, ... length(colRange), size(bw,1)]); end end

灰度拉伸用imadjust后，字符和背景的对比度会拉开。二值化后字符区域是0还是1取决于原始车牌颜色布局，蓝底白字在gray图上表现为亮背景暗字符，imbinarize后字符为0，投影前取反才能让字符列和背景列有明显区分。这就是实操中容易忽略的反色问题。

4.4 BP网络训练代码

训练部分用feedforwardnet建立前馈网络，并手动指定隐藏层激活函数：

% 构建特征矩阵 trainFeatures: 每列一个样本 % 构建标签矩阵 trainLabels: One-Hot 编码，每列对应一个样本 hiddenSize = 24; net = feedforwardnet(hiddenSize); net.layers{1}.transferFcn = 'tansig'; net.layers{2}.transferFcn = 'logsig'; net.trainFcn = 'traingdx'; net.trainParam.lr = 0.05; net.trainParam.mc = 0.9; net.trainParam.epochs = 2000; net.trainParam.goal = 1e-5; net.trainParam.max_fail = 20; net.divideFcn = 'divideblock'; [net, tr] = train(net, trainFeatures, trainLabels); save('plate_net.mat', 'net');

注意feedforwardnet返回的默认网络包含一个隐藏层和一个输出层，layers{1}是隐藏层，layers{2}是输出层。默认的divideFcn是dividerand随机划分，用divideblock按块划分时要小心：如果训练样本按类别顺序排列，块划分会让验证集和测试集看不到部分类别。稳妥的做法是先把样本随机打乱，再交给train函数自动划分。

5. 实测中的常见故障与排查技巧

5.1 训练不收敛或收敛后识别率低

训练阶段最常见的问题是损失一直在高位震荡，降不下去。排查顺序很固定：先看输入特征归一化，再看标签编码，最后看网络参数。

特征没有归一化到0到1，是头号原因。像素值范围0到255直接进网络，加权求和后很大，Sigmoid饱和，梯度消失，训练自然停滞。我在调试时用min(feat(:))和max(feat(:))打印特征范围，一眼就能判断。

标签编码错误也很隐蔽。One-Hot矩阵的维度必须和输出节点数严格一致。如果类别数记错，训练过程不报错，但识别结果会全部错位。

网络参数方面，学习率过大表现为损失剧烈震荡，过小表现为下降极慢。先用0.1跑10个epoch看趋势，震荡就减到0.01，下降太慢再升到0.05，这是最快的调试套路。

识别率低的另一个因素是样本不均衡。某个字符的样本量特别少，网络就倾向于把该类判成样本量大的类别。解决方法是按类别统计样本数，目标统一到每类500张左右，少的用扩增补齐，多的可以随机抽样。

5.2 分割阶段的各种异常

分割错误是识别错误的根源。投影法最怕字符粘连和边框残留。字符粘连多发生在拍摄模糊或二值化阈值不当的情况下，解决办法是先把二值化阈值调高再把字符细化。我更常用的是对连通域做高度统计，去掉明显过高的连通区域，再进行投影切分，这样能减少粘连带来的误切。

边框残留的问题，我在前面提到过用形态学腐蚀处理。实际操作中腐蚀的尺度很敏感，腐蚀太少断不开边框，腐蚀太多会把字符笔画也削弱。我的经验是先裁掉上下边缘大约3%高度的条带，再做一次3×3的开运算，对大多数拍摄端正的车牌都能处理干净。

还有一类问题是候选块数量不对。标准车牌一般有7个字符，但定位框稍微偏大，边缘产生的噪点会被切成多余的候选块。所以在字符切割完成后加一层校验：如果候选块数量大于7，检查每块的宽度，把宽度明显小于字符平均宽度60%的块剔除。

5.3 工程化方向上的几点建议

Matlab原型跑通之后，如果要往实际场景推，有几个方向值得考虑。

第一，网络训练好后要把参数持久化保存。save net.mat之后，识别阶段只需要载入网络做前向计算，训练代码和识别代码分离。

第二，批量测试脚本一定要写。遍历测试集文件夹，对每张图跑完整流程，统计端到端识别准确率和单字符识别率。没有量化评估就不知道改动预处理对系统到底有没有提升。

第三，换到Python平台时，BP网络的结构和参数可以直接移植。Matlab里已经训练好的权重导出成矩阵，Python端用NumPy做前向传播，不依赖任何深度学习框架也能复现同样的结果。

第四，如果想提升整个系统的鲁棒性，优先在定位模块投入时间，而不是换个更大的神经网络。定位框抖动几像素，字符分割就会出错，识别率直接掉一截。把定位做稳，比把网络做深收益更大。

最后分享一个我在调试时反复踩过的坑：Matlab的神经网络工具箱版本更迭后，老一点的代码里newff的写法可能不再推荐，但feedforwardnet和自带train函数的用法是稳定的。如果你的Matlab版本较旧，newff还能用；版本新一点，就直接用feedforwardnet，然后把transferFcn、trainFcn这些参数按上面代码配置清楚，训练逻辑是完全一致的。