简介这是一份面向游戏自动化与计算机视觉学习者的YOLOv5实战项目包聚焦DNF场景下的目标识别与自动操作适合具备Python基础、希望深入理解YOLOv5工程落地与游戏辅助脚本开发的开发者参考。资源共94个文件以32个py源码、34个pyc编译文件、8个yaml模型配置、2个pt权重文件为主另含少量xml、png、jpg及npy模板数据压缩包约27.28MB目录结构完整涵盖模型推理、图像抓取、按键模拟、技能识别与方向移动等模块。项目内置YOLOv5系列网络配置与训练权重可直接用于检测流程复现与二次开发同时提供截图、模板匹配与键鼠控制等辅助脚本便于读者理解从画面采集到决策执行的完整链路。目前已有179人学习下载适合作为YOLOv5应用实践与自动化脚本设计的参考案例。1. 从「识别准」到「点得中」DNF 自动脚本为什么卡在 YOLOv5 这一环做游戏自动化的同行大多有过类似经历脚本能跑但一进图就翻车——技能放空、走位撞墙、捡物漏捡最后发现根子不在逻辑而在「看不见」。传统方案靠固定坐标和颜色匹配分辨率一变、UI 一换、技能特效一糊整套规则就废了。基于 YOLOv5 识别算法实现的 DNF 自动脚本本质是把「屏幕理解」这件事从硬编码坐标换成目标检测让模型在每一帧里框出怪物、掉落物、门、NPC、血条再由决策层决定点哪里、放什么技能。它解决的是复杂场景下的鲁棒感知问题适合有 Python 基础、想从「写死坐标」升级到「模型驱动」的自动化开发者。这一章先把整条链路讲清楚后面几章再落到数据、训练、推理和避坑。2. 拆解 DNF 自动脚本的感知-决策-执行三层链路2.1 为什么不能只靠模板匹配和颜色阈值DNF 的画面有几个特点让传统 CV 很难受。第一是技能特效遮挡严重一个觉醒技能下去半屏都是光效模板匹配的相似度直接掉到 0.3 以下。第二是怪物有大量换皮和缩放同一个哥布林在不同地图里颜色、大小、朝向都不同颜色阈值要写几十套。第三是 UI 元素半透明叠加血条、buff 图标、伤害数字互相压盖固定坐标取色经常取到伤害数字上。YOLOv5 的价值在于它学的是「形状纹理上下文」的联合特征而不是单一颜色或像素块。怪物被特效遮一半模型仍能靠露出的轮廓和位置先验框出来。这也是为什么这类脚本普遍选 YOLOv5 而不是更重的两阶段检测器单阶段、推理快、工程化成熟在 1080p 截图上用 yolov5s 能跑到 30 FPS 以上够实时决策用。2.2 三层链路的职责划分与数据流整条链路我一般拆成三层边界清晰才好排查问题。感知层截屏 → 预处理 → YOLOv5 推理 → 输出检测框列表类别、置信度、xyxy。这一层只负责「看到什么」不做任何业务判断。决策层拿到检测框后做业务映射。比如「最近的可攻击怪物」 在攻击范围内、类别为 monster、置信度 0.5、距离角色中心最近的那个框。再根据血量、技能 CD、怪物数量决定放哪个技能。执行层把决策结果转成鼠标移动、点击、键盘按键。这一层要处理坐标缩放截图分辨率和实际游戏窗口可能不一致和操作节流避免一帧点十次。三层之间用统一的数据结构传递我习惯用 dict 列表每个元素形如{cls: monster, conf: 0.87, xyxy: [x1,y1,x2,y2]}。这样任何一层出问题打印中间结果就能定位。2.3 最小可跑通的推理骨架先不接游戏用一张静态截图把 YOLOv5 推理跑通确认模型和环境没问题。import cv2 import torch import numpy as np # 加载本地训练好的权重不要用官方 coco 权重类别对不上 model torch.hub.load(./yolov5, custom, path./weights/best.pt, sourcelocal) model.conf 0.5 # 置信度阈值低于此值的框直接丢弃 model.iou 0.45 # NMS 的 IoU 阈值重叠框合并 model.max_det 50 # 单帧最多保留 50 个框防止特效误检刷屏 img cv2.imread(frame_001.png) # YOLOv5 内部用 RGBOpenCV 读进来是 BGR必须转 img_rgb cv2.cvtColor(img, cv2.COLOR_BGR2RGB) results model(img_rgb, size640) # size 是推理输入边长需与训练一致 dets results.xyxy[0].cpu().numpy() # 形状 [N, 6]: x1,y1,x2,y2,conf,cls for x1, y1, x2, y2, conf, cls in dets: name model.names[int(cls)] print(f{name} {conf:.2f} box({x1:.0f},{y1:.0f},{x2:.0f},{y2:.0f}))逻辑说明torch.hub.load的sourcelocal表示从本地克隆的 yolov5 目录加载避免联网拉取。size640必须和训练时的imgsz一致否则小目标召回会明显下降。conf和iou是推理期最常调的两个参数后面避坑章会细说。results.xyxy[0]取的是第一张图也是唯一一张的检测结果批量推理时索引要对应。参数说明conf调低能召回更多目标但误检增加DNF 场景建议 0.4~0.55iou对密集怪物场景可降到 0.4避免相邻怪物被 NMS 误合并max_det在特效多的图里设 30~50防止把光效误检成目标后挤掉真实目标。3. 数据集怎么造从游戏截图到 YOLO 标注的完整流程3.1 采集策略别只截干净画面新手最容易犯的错是只截「画面干净、怪物居中」的图训出来的模型一遇特效就瞎。我的采集原则是覆盖战斗全状态。具体分四类场景各采 300~500 张——站街无怪、普通刷图、技能特效满屏、Boss 战多目标。分辨率固定成实际游戏窗口大小不要混用不同分辨率否则模型要额外学分辩尺度。采集工具用 mss 或 win32api 定时截屏间隔 200~500ms避免连续帧高度重复。截 2000 张左右人工筛掉纯黑屏、加载页、过场动画留 1500 张左右够训一个 yolov5s。import mss import time import os os.makedirs(raw_frames, exist_okTrue) with mss.mss() as sct: # monitor[1] 是主显示器多屏时按需改索引 monitor sct.monitors[1] for i in range(2000): shot sct.grab(monitor) mss.tools.to_png(shot.rgb, shot.size, outputfraw_frames/{i:05d}.png) time.sleep(0.3) # 300ms 间隔降低重复帧比例逻辑说明sct.grab抓的是屏幕原始像素shot.rgb转成 RGB 再存 PNG。间隔 0.3 秒是经验值太快会得到大量几乎相同的帧浪费标注成本。3.2 标注规范类别定义要克制类别不是越多越好。我一般只定义 5~7 类monster可攻击怪物、drop掉落物、door传送门/下一图入口、npc、player角色自身用于定位中心。血条、buff 图标这类不建议单独标因为它们在决策层用固定区域取色更稳交给模型反而增加标注量和误检。标注用 labelImg 或 roboflow输出 YOLO 格式的 txt每行cls x_center y_center w h全部归一化到 0~1。标注时框要贴紧目标边缘但特效遮挡超过 70% 的目标直接跳过不标标了也是噪声。3.3 划分数据集与 data.yaml 配置按 8:1:1 划分 train/val/test注意同一段连续截屏的帧要分到同一集合否则相邻帧高度相似会造成验证集泄漏指标虚高。# data.yaml path: ./dataset train: images/train val: images/val test: images/test nc: 5 names: [monster, drop, door, npc, player]逻辑说明path是数据集根目录train/val/test是相对路径下的图片目录YOLOv5 会自动找同名 txt 标签。nc必须等于names长度改类别时两处同步改否则训练直接报维度错误。4. 训练与调参yolov5s 在 DNF 场景的落地参数4.1 为什么选 yolov5s 而不是 m 或 lDNF 自动脚本对延迟敏感决策周期要压在 50ms 内。yolov5s 在 1080p 输入、640 推理尺寸下单张 RTX 3060 约 8~12ms留足余量给截屏和决策。yolov5m 精度提升有限但耗时翻倍除非你的场景怪物极小极密否则 s 够用。这是工程取舍不是精度越高越好。4.2 训练命令与关键参数python train.py \ --img 640 \ --batch 16 \ --epochs 150 \ --data data.yaml \ --weights yolov5s.pt \ --cfg models/yolov5s.yaml \ --hyp data/hyps/hyp.scratch-low.yaml \ --name dnf_v1 \ --cache逻辑说明--weights yolov5s.pt用官方预训练权重做迁移学习比从头训收敛快得多150 epoch 足够。--img 640要和推理时一致。--batch 16按显存调8G 显存跑 640 大概能到 16。--cache把图片缓存到内存加速训练数据集大时慎用。参数说明--hyp用 low 增强配置因为游戏截图不像自然图像那样需要强色彩抖动过强增强反而让模型学偏。如果小目标掉落物召回差把--img提到 768 或 896但推理耗时同步上升要重新评估实时性。4.3 看什么指标判断训练好坏别只盯 mAP0.5。DNF 场景更该看两类一是monster类在特效帧上的召回二是drop类的精确率。前者低说明模型被特效干扰后者低说明把光效误检成掉落物。训练日志里val/recall和val/precision分类别看混淆矩阵能直接看出哪两类在互相误判。如果monster召回上不去先查标注里被遮挡目标是不是标得太松如果drop精确率低多半是标注时把技能光点也标成了 drop回去清洗标签比调参有用。5. 避坑与排查那些让脚本「看着能跑实际翻车」的细节5.1 推理尺寸和训练尺寸不一致导致小目标全丢现象训练时 mAP 正常部署后掉落物几乎检不到。原因训练用 640推理时图省事直接喂 1080p 原图YOLOv5 内部会缩放小目标缩完只剩几个像素。解决推理前显式 resize 到 640或训练时就用接近实际推理的尺寸。我一般写死一个INFER_SIZE640常量训练推理共用。5.2 截屏色彩通道搞反模型精度莫名下降现象模型在验证集上好好的接实时截屏后置信度普遍偏低。原因训练图片是 RGB而某些截屏库返回 BGRA 或 BGR通道顺序不一致模型看到的颜色是错的。解决统一在推理前cv2.cvtColor转 RGB并在代码里加一句断言打印首帧的通道均值和训练集对比。5.3 置信度阈值一刀切Boss 战和站街表现两极现象站街时误检一堆Boss 战时真目标又被滤掉。原因固定conf0.5不适应不同场景的目标密度。解决按场景动态调阈值检测框数量少时降到 0.35 提召回框数量超过 20 时升到 0.6 压误检。这个逻辑放在决策层不动模型。5.4 坐标没做缩放点击总是偏现象检测框位置对但鼠标点下去偏了几十像素。原因截图分辨率和游戏窗口客户区分辨率不一致检测框坐标是截图坐标系点击用的是屏幕坐标系。解决记录截图区域左上角偏移和缩放比点击前统一换算screen_x offset_x box_x * scale。这个换算只做一次封装成函数别在每个调用点手写。5.5 决策频率过高把游戏点卡现象脚本一开游戏帧率暴跌操作还乱。原因每帧都推理点击鼠标事件堆积。解决推理和决策分频推理跑 10~15 FPS 足够点击加最小间隔比如同一技能 200ms 内不重复触发。用时间戳做节流比 sleep 更稳。6. 让识别真正变成操作从检测框到技能释放的映射技巧把检测框变成有效操作核心是「选谁打、打哪里、什么时候打」三个判断。选谁打优先选距离角色中心最近且在攻击范围内的monster距离用框中心欧氏距离算攻击范围按技能类型设不同半径。打哪里点击框中心偏下 1/4 处因为怪物脚部才是实际受击点点框正中有时候会点到头顶空气。什么时候打结合技能 CD 和怪物数量单怪用单体技能三怪以上切 AOE。验证映射对不对别一上来就接游戏。我习惯先做「离线回放」把录好的战斗帧序列喂给完整链路输出每一步的决策日志人工核对「这一帧该点哪个怪、实际点了哪个」。日志里带上帧号、检测框、决策结果、换算后坐标对不上就能定位是感知错还是决策错。这个习惯帮我省了大量在游戏里反复试错的时间。一个具体技巧给每个类别设「最小可信框面积」。掉落物在 1080p 下通常不小于 20×20 像素小于这个面积的框直接丢能滤掉大量特效误检。这个阈值从标注数据里统计得到别拍脑袋。最后说个血泪经验模型精度到 90% 以后继续堆数据收益递减真正卡脖子的是决策层的边界处理——怪物在屏幕边缘、被 UI 遮挡、多个目标重叠时怎么选。这些用规则补比重新训模型快得多。我现在的习惯是每加一个场景先写规则兜底规则兜不住的样本再回流去标数据形成闭环。希望帮到你。本文还有配套的精品资源点击获取