简介基于深度学习YOLOv8与CNN相结合的车牌识别源码包面向计算机相关专业毕业设计和大作业场景具备完整可运行、得分98分、难度适中的特点适合需要完整参考实现的学生也适合想快速上手目标检测项目的开发者。压缩包共425个文件、39.42MB除140个python脚本和211个pyc编译文件外还包含47个YAML配置、12张测试图片以及pt模型、ttf字体、说明文档、运行脚本等可以覆盖从模型配置、推理测试到结果展示的完整流程。目前已有135人学习/下载项目源码经过严格调试与导师审定能够放心复用。借助这套资源读者可以深入理解YOLOv8目标检测与CNN分类在车牌识别中的分工配合获得脉络清晰的目录结构、真实测试素材和可直接运行的脚本既减少毕业设计从零搭建的试错成本也为扩展智能交通应用提供参考。1. 基于深度学习yolov8CNN的车牌识别系统一个场景单一但变量极多的视觉任务车牌识别是计算机视觉里少有的“场景单一、变量极多”的任务。场景单一因为你只需要在图中找一块矩形牌照变量极多因为光照、倾斜、色差、新能源绿牌、汉字笔画任何一个环节都能让识别结果翻车。基于深度学习yolov8CNN的车牌识别系统是目前毕业设计和工程落地最常用的两段式方案先用yolov8在整图中定位车牌裁剪出车牌区域再用CNN对车牌字符逐字分类拼出完整车牌号。它适合的人群很明确——有Python和PyTorch基础、需要在一个月内跑通完整流程并拿到可演示结果的学生或开发者。这篇笔记从架构选型、数据集构建、训练参数、踩坑记录写到RK3588部署按步骤走就能复现熟手也能在避坑章节找到值得注意的边界条件。2. 两段式架构选型yolov8负责在哪找车牌CNN负责读出字符2.1 为什么拆成检测识别两段而不是端到端直接输出车牌号端到端车牌识别模型确实存在比如基于CRNN或LSTM的序列识别方案输入整张图直接输出车牌字符串。这类方案在公开论文里效果不错但放到毕设场景里有三个现实问题第一序列对齐训练复杂标签需要按帧对齐或者使用CTC损失出问题时很难判断是特征提取失败还是对齐失败第二中间过程不可见检测错了还是识别错了分不清调试时面对的是一个黑匣子第三字符级错误难以定位结果错了但不知道是哪个字错了更不知道是模型问题还是数据问题。两段式把误差彻底解耦yolov8负责回答“车牌在哪”CNN负责回答“字符是什么”。第一段错了就调检测数据和检测参数第二段错了就调识别数据和识别参数每一段都能单独验证、单独调优。这个特性在答辩时尤其重要——老师问“为什么识别错了”你能直接指到具体环节而不是含糊地说“模型效果不好”。工程上这也是最常见做法从停车场道闸到嵌入式抓拍机基本都能看到检测识别的影子。2.2 整体数据流与项目结构整个系统的数据流可以画成一条直线输入图像 → yolov8检测车牌边界框 → 按边界框裁剪车牌区域 → 预处理灰度化、去边框、倾斜矫正→ 垂直投影分割出单个字符 → CNN对每个字符分类 → 拼接字符串输出。每一段都有独立的输入输出方便单独写测试脚本验证。配套的源码项目通常按功能拆目录我一般会这样组织plate_recognition/ ├── detect/ # yolov8检测相关训练配置、推理脚本 ├── recognize/ # CNN字符识别相关分割、模型、训练脚本 ├── utils/ # 公共工具图像预处理、可视化 ├── data/ # 数据集目录或软链接到外部数据集 ├── weights/ # 训练好的best.pt和字符分类权重 └── main.py # 串联入口打开摄像头或读取图片这种结构的核心好处是检测和识别互不干扰。你可以在detect目录里单独跑yolov8的mAP评估也可以在recognize目录里单独跑字符分类的准确率评估最后用main.py把两个模块串起来看端到端效果。2.3 硬件门槛与环境准备硬件门槛比想象中低。yolov8nnano版本在GTX 1660Ti这种6G显存的卡上训练完全跑得动batch配16不紧张字符识别用的CNN网络更轻CPU都能完成训练。推理阶段CPU也能跑只是速度慢一些实时视频流建议至少有一张NVIDIA显卡或者后续部署到RK3588这类带NPU的嵌入式平台。环境安装是新手最先踩坑的地方常见做法是pip install ultralytics torch opencv-python numpyultralytics库自带yolov8的模型定义和训练命令torch负责CNN部分opencv负责图像读取和预处理。这里最常见的翻车点有两个一是Python版本太老3.8以下导致ultralytics依赖装不上建议直接用Python 3.10或3.11二是torch和CUDA版本不匹配装CPU版torch虽然能跑但训练慢好几倍按NVIDIA官网的CUDA版本对应表装最稳。提示环境问题占毕设前期时间的大头装完后先用python -c import torch, ultralytics; print(torch.__version__)验证一下再进入下一步。3. yolov8车牌检测用yolov8训练自己的数据集三个必调参数3.1 车牌检测数据从哪来公开数据集打底自采数据补漏车牌检测模型的训练数据是决定效果上限的环节。国内用的最多的是CCPDChinese City Parking Dataset公开数据集包含不同场景、不同光照下的蓝牌样本覆盖了大多数日常停车场场景。但CCPD里新能源绿牌占比少夜间和强逆光样本也不算多所以我建议把公开数据集当成“打底”再根据你实际要演示的场景自采几百张补充数据——比如你要在校园演示就去拍学校停车场的真实照片这种针对性数据对效果提升比多加几千张公开图都明显。自采数据需要标注。常见标注工具是labelImg或CVAT用矩形框框住车牌即可统一标成一类比如类名license_plate。这里不需要区分蓝牌绿牌检测阶段只负责找“车牌在哪”颜色和字符是识别阶段的事。标注完导出为YOLO格式的txt文件每行格式是class cx cy w h分别是类别编号、中心点x、中心点y、宽度、高度坐标值都归一化到0到1之间。3.2 数据集目录与data.yaml配置yolov8训练需要的数据目录结构有固定约定按下面这样放最省事datasets/plate/ ├── images/ │ ├── train/ # 训练图片 │ └── val/ # 验证图片 └── labels/ ├── train/ # 对应的txt标注 └── val/对应的data.yaml文件这样写path: ./datasets/plate train: images/train val: images/val names: 0: license_plate这里的路径建议用相对路径指向你实际放置数据集的位置。names字典里的类别编号必须和标注txt里的编号一致这个错了一眼看不出来但训练出来的模型会完全无法收敛。训练集和验证集的比例按9:1或8:2都行但要注意同一个场景的多张连续帧不要同时出现在训练集和验证集里否则验证集的mAP会虚高——这是新手最容易犯的错误之一模型其实记住了场景不是学会了找车牌。3.3 训练命令与三个必调参数yolov8的训练入口是ultralytics命令行一条命令能跑完整流程yolo detect train \ dataplate.yaml \ modelyolov8n.pt \ epochs120 \ imgsz640 \ batch16 \ patience20 \ projectruns/plate_detect这里project指定输出目录训练结果会出现在runs/plate_detect/train/下面里面有weights目录存着模型权重、results.png存着训练曲线图。训练结束后取weights/best.pt它是在验证集上表现最好的那一轮权重last.pt是最后一轮的权重通常best比last好用。三个必调参数按重要程度排序参数建议值说明imgsz640输入分辨率。调成960能提高小目标检测能力但显存占用和推理时间同步上涨。车牌在画面里通常占比较大640足够patience20早停耐心值。连续20轮验证集mAP没有提升就自动停止既是省时间也是防过拟合的手段batch显卡显存决定6G显存yolov8n配16比较稳12G显存可以上32。batch太小梯度噪声大太大收敛不稳定剩下的参数用默认就行。优化器默认是autoyolov8会自己根据模型尺寸选SGD或AdamW不需要手动调。学习率lr0默认0.01对yolov8n是合理起点不建议乱动。训练过程中看results.png里的train_loss曲线正常情况是前20轮快速下降然后缓慢收敛如果loss反复震荡甚至上升优先检查数据标注有没有错。训练完成后跑一次验证集评估yolo detect val \ modelruns/plate_detect/train/weights/best.pt \ dataplate.yaml输出结果里的mAP50和mAP50-95两个指标mAP50是IoU阈值0.5下的平均精度做车牌检测这个指标是核心参考能到0.95以上说明检测模型基本没有大问题。mAP50-95更严格但车牌目标单一、形状规整不必过于追求。3.4 用训练好的权重做推理Python推理脚本比命令行更灵活方便后续和识别模块串联from ultralytics import YOLO model YOLO(runs/plate_detect/train/weights/best.pt) results model(test.jpg, conf0.4, verboseFalse) for r in results: for box in r.boxes: x1, y1, x2, y2 box.xyxy[0].tolist() conf box.conf[0].item() print(f车牌位置: ({int(x1)}, {int(y1)}, {int(x2)}, {int(y2)}), 置信度: {conf:.2f})这里的conf0.4是置信度阈值低于这个值的检测框会被过滤掉。阈值设太低了会混进大量误检框比如车灯、车标设太高了会把置信度低但真实存在的车牌丢掉。实际场景里0.4到0.5之间是比较常用的区间如果画面里车牌多且遮挡严重可以降低到0.3再配合NMS后处理。4. CNN字符识别从垂直投影分割到字符分类的PyTorch实现4.1 为什么字符识别用CNN做分类车牌字符识别本质上是一个65类的图像分类问题31个省级行政区汉字简称 24个英文字母去掉I和O因为和数字1、0太像 10个数字。把这个问题拆成“分割出单个字符然后逐个分类”是历史最悠久也最稳的方案因为每个字符都是独立的小图CNN对这类小图像的分类能力已经非常成熟。字符级CNN分类器的结构不需要复杂甚至可以说越简单越好。我见过不少毕设把识别网络换成ResNet、EfficientNet效果提升很有限训练时间却翻了好几倍。一个三层卷积加两层全连接的小网络已经能跑到99%以上的单字符准确率更复杂的结构收益极小。如果你跟着《动手深度学习》或鱼书练过卷积网络会发现这个分类器就是经典LeNet的“车牌版”本质上没有区别。4.2 车牌预处理与垂直投影分割分割是整个识别环节里最脆弱的步骤它直接决定后续分类器的输入质量。常见做法是先对裁剪出来的车牌做灰度化和二值化再按列统计像素分布用垂直投影找到字符之间的空隙从而把每个字符切出来。import cv2 import numpy as np def vertical_projection_segment(plate_img): gray cv2.cvtColor(plate_img, cv2.COLOR_BGR2GRAY) _, binary cv2.threshold(gray, 0, 255, cv2.THRESH_BINARY cv2.THRESH_OTSU) h, w binary.shape col_sum np.sum(binary 255, axis0) in_char False start 0 segments [] for x in range(w): if not in_char and col_sum[x] 0: in_char True start x elif in_char and col_sum[x] 0: in_char False segments.append((start, x)) if in_char: segments.append((start, w - 1)) # 用宽度先验过滤掉非字符区域螺丝、边框残留 char_widths [end - start for start, end in segments] if len(char_widths) 6: median_w np.median(char_widths) segments [seg for seg in segments if seg[1] - seg[0] median_w * 0.5] return gray, binary, segments这段代码的逻辑是二值化后统计每一列上白色像素的个数col_sum[x]大于0说明这一列有字符内容从0跳变到非0就是字符起点从非0跳变到0就是字符终点这样就能把连续的字符区域切出来。最后的宽度过滤很关键车牌上铆钉、边框残留也会形成投影区间根据“车牌字符宽度应该相近”的先验把它们过滤掉。参数上有两点需要注意二值化方式选了OTSU自适应阈值而不是固定阈值因为不同光照下车牌底色和字符的灰度差异会变化median_w * 0.5这个比例是我调试下来的经验值太保守会留下干扰项太激进会把汉字切成两半。如果你发现汉字总是被切碎优先提高这个比例而不是改二值化方式。4.3 字符归一化与数据集构建分割出的每个字符区域大小不一致必须统一缩放到固定尺寸才能喂给CNN。常见做法是缩放到48x48这个尺寸对汉字笔画保留得比较好换到32x32时汉字准确率会明显下滑——汉字笔画多缩小后细节丢失严重这在“京”和“冀”这类结构相近的汉字上尤其致命。每个字符归一化后需要打上对应的类别标签。构建字符级数据集的常见做法是从检测模型输出的所有车牌裁剪图中用分割算法自动切出字符然后人工对照车牌号整理标签。这个过程前期比较费时间但做完一次就能复用。如果公开数据集里带字符级标注部分CCPD扩展版本提供可以直接用没有就自己跑一遍分割再写个小工具快速校对。注意每个类别的样本数量要均衡尤其是生僻省简称和较少出现的字母样本太少分类器会偷懒直接学类别先验。4.4 CNN网络结构与训练参数字符分类的网络结构用经典的卷积加全连接就行PyTorch实现如下import torch.nn as nn class PlateCharCNN(nn.Module): def __init__(self, num_classes65): super().__init__() self.features nn.Sequential( nn.Conv2d(1, 32, 3, padding1), nn.ReLU(inplaceTrue), nn.MaxPool2d(2), nn.Conv2d(32, 64, 3, padding1), nn.ReLU(inplaceTrue), nn.MaxPool2d(2), nn.Conv2d(64, 128, 3, padding1), nn.ReLU(inplaceTrue), nn.MaxPool2d(2), ) self.classifier nn.Sequential( nn.AdaptiveAvgPool2d((1, 1)), nn.Flatten(), nn.Linear(128, 256), nn.ReLU(inplaceTrue), nn.Dropout(0.2), nn.Linear(256, num_classes), ) def forward(self, x): return self.classifier(self.features(x))输入是单通道48x48的灰度图经过三层卷积池化后特征图缩到6x6自适应平均池化压成1x1再经过两层全连接输出65类得分。这个结构参数量很小一张显卡几分钟就能训练完。训练循环标准但有两个容易被忽视的参数optimizer torch.optim.AdamW(model.parameters(), lr1e-3, weight_decay1e-4) criterion nn.CrossEntropyLoss() for epoch in range(30): model.train() for imgs, labels in train_loader: imgs, labels imgs.to(device), labels.to(device) out model(imgs) loss criterion(out, labels) optimizer.zero_grad() loss.backward() optimizer.step()第一weight_decay1e-4就是L2正则化它对字符分类这种样本量不大、类别数多的任务很有用能有效抑制过拟合不加的话训练集准确率99%而验证集只有94%的情况很常见。第二优化器用AdamW而不是SGDAdamW对学习率的敏感性低省去调参的麻烦如果用SGD学习率需要降到1e-2量级并且配合动量新手容易在这里踩坑。数据增强方面做随机旋转±5度、平移、亮度扰动就够用。车牌字符本身是印刷体变形幅度不会大增强太激进反而会让模型学到不存在的形态。5. 车牌识别常见问题与排查五个值得记录的翻车现场5.1 新能源绿牌频繁漏检现象蓝牌检测得很好但绿色新能源车牌经常检测不到或置信度极低被过滤掉。原因训练数据里绿牌占比太少模型学到的是“蓝色矩形”先验而不是“车牌”语义。CCPD以蓝牌为主直接拿来做检测训练绿牌在特征空间里处于决策边界边缘。解决收集几百张绿牌图片补充训练不需要单独设一个类统一归为license_plate重新训练。数据增强里加色调扰动HSV的H通道偏移也能提升对颜色变化的鲁棒性因为绿牌和蓝牌本质上是颜色特征差异模型需要见过足够多样的颜色变化才不会被颜色绑架。5.2 字符分割粘连导致识别乱码现象分割脚本输出少于7个区域或者某个区域包含两个字符识别结果错位。原因车牌上的铆钉、边框残留和字符连通垂直投影无法把它们分开另一个常见情况是汉字结构复杂左右偏旁之间投影不连续被切成了两块。解决先按车牌宽高比裁剪掉上下边框再在投影前做一次形态学腐蚀操作把细小的噪声连通域断开。字符宽度按中位数过滤这是最稳定的手段但根本解法是给分割模块加约束车牌字符数固定蓝牌7个字符、新能源8个宽度在均值附近浮动超出范围的区域要么合并要么丢弃。先验知识在这里比任何算法都管用。5.3 汉字“京”和“冀”互相混淆现象其他字符准确率都很高只有汉字省份简称之间经常错。原因汉字类别多31类且部分汉字结构高度相似48x48分辨率下笔画细节不足省份简称在数据集中出现频率差异大样本少的“冀”“赣”等分类器见得少自然容易错。解决对每个省份简称均衡采样缺样本就单独收集把汉字输入分辨率提升到64x64只有汉字用这个尺寸其他字符保持48x48。损失函数层面可以对汉字类别加权重把CrossEntropyLoss的class weights设成与样本数成反比也能缓解样本不平衡问题。5.4 倾斜车牌裁出大面积背景现象检测框是水平的但车牌在画面里有明显倾斜角比如车辆斜停裁剪出来的区域有一半是车身背景分割和识别全乱。原因yolov8默认输出水平矩形框对带旋转角度的目标只能框出外接矩形角度越大外接矩形里混入的背景越多。解决如果倾斜角度不大小于15度先用车牌区域内的边缘特征做最小外接矩形拟合再仿射变换矫正到水平。倾斜角度普遍较大的场景更彻底的方案是改用旋转目标检测yolov8系列有支持旋转框的检测模型角度回归用CSLCircular Smooth Label这类编码方式会比直接回归角度稳定只是标注时要额外标旋转角度工作量上去不少。5.5 夜间和强反光场景下检测框飘现象白天效果很好晚上车灯一照车牌就检测不到或者框的位置偏移严重。原因夜间车牌反光导致局部过曝字符和底色的对比度在灰度图上消失检测模型训练时没见过足够多的高光样本特征提取被高光区域干扰。解决训练阶段做亮度/对比度增强模拟过曝效果推理阶段对低于亮度阈值的图像先做CLAHE自适应直方图均衡提升局部对比度。这个方法对反光场景的提升立竿见影但要注意CLAHE参数不能过强否则会在字符边缘产生伪影。6. 部署与验证进阶从端到端准确率再到yolov8部署到RK35886.1 用端到端整牌准确率做最终验收分模块指标再好看最终都要回到一个数字端到端整牌准确率。定义是输入一张图检测到车牌且识别出的字符串与真实车牌完全一致才算一次正确识别。检测mAP再高、字符准确率再高中间分割错一位整牌就错了。我在实践中发现字符准确率99%和端到端准确率95%以上需要分割环节的典型错误率控制在1%以内才算达到交付标准。每次改完代码固定跑同一批测试集记录整牌准确率的变化这是最直接的验收方式。6.2 导出ONNX并转换RKNN落到嵌入式平台如果毕设答辩你想现场演示嵌入式部署yolov8部署到RK3588是性价比很高的路径。RK3588自带NPU常用的转换链路是先把训练好的best.pt导出为ONNX再用RKNN-Toolkit2转换成RKNN格式并做INT8量化以提升NPU利用率。yolo export modelweights/best.pt formatonnx opset12导出后验证ONNX的推理输出和PyTorch一致再进入RKNN转换流程。这里有个关键注意点yolov8n的检测头里有TTA相关的后处理逻辑转RKNN时需要在配置文件里关闭否则NPU上输出的张量结构和预期不一致。字符识别CNN模型更轻同样转成RKNN格式后检测和识别可以整体跑在NPU上CPU只负责图像读取和逻辑调度。如果没有RK3588实物至少导出ONNX并用onnxruntime验证一遍也算完成了“模型可移植”这一环节。6.3 一个值得养成的验证习惯我的习惯是把所有识别错误图片按错误原因分类归档检测漏检、分割错误、汉字混淆、夜间过曝、绿牌误检每类单独放一个目录。每轮迭代后优先处理数量最多的那类错误直到该类占比明显下降再换下一类。这个习惯帮我少走了很多弯路——最开始我盲目调网络结构效果毫无提升后来老老实实按错误分类去看才发现分割错误占了60%根本不关网络的事。毕设项目里调试的顺序永远应该是数据、后处理、模型结构这个顺序反了就是事倍功半。希望这些记录能帮你在车牌识别这条路上少折腾几个通宵。本文还有配套的精品资源点击获取