简介铁路轨道缺陷数据集是一套面向目标检测与缺陷识别任务的实用资源专注于铁路巡检场景适合从事轨道病害检测、计算机视觉算法研究的工程师与学者。数据集中包含4278张原始图片已按COCO JSON格式完成标注能清晰区分轨道表面的裂缝与间隙缺陷并可直接用于训练和评估YOLO、MMDetection等主流检测模型。压缩包共2000个文件其中1997张jpg图片覆盖不同拍摄角度、光照条件和复杂背景另有3个json标注文件保存目标类别与边界框信息整体大小约271.95MB。目前已有1375人学习下载目录层级简单图片与标注一一对应便于快速开展数据拆分与模型迭代。对需要真实工业场景缺陷样本的读者而言这份数据集能显著降低数据采集和人工标注成本为裂缝、间隙识别算法的验证与落地提供可靠基础。1. 铁路轨道缺陷数据集4278张图能练出一个可用的裂缝与间隙检测模型吗这份数据集的标题信息量很直接4278张原始图片、COCO JSON格式标注、裂缝与间隙两类缺陷目标。做工业视觉的工程师拿到标注好的数据最容易犯的错是直接把JSON丢给训练框架跑通就完事。其实裂缝和间隙在轨道表面图像上属于典型的小目标加长条形目标常规的检测配置很容易漏检。这篇文章按我的实操流程来写先解析COCO标注并做三类统计再完成格式转换与样本划分接着配置训练并拆分评估指标最后是几个常踩的坑和排查记录。2. 看懂COCO JSON从三张关联表到4278张图片的统计2.1 images、annotations、categories三张关联表怎么串起来COCO JSON格式的核心是把图片、标注、类别拆成三个数组用ID互相引用。images数组里是原始图片的元信息包括id、file_name、width、heightannotations数组里是每个目标实例的标注信息包括image_id、category_id、bbox、area、segmentationcategories数组则定义类别ID和类别名的映射。解析这套铁路轨道缺陷数据集的annotations.json我第一个动作不是看标注数量而是确认三张表的关系能闭环。如果annotations里的image_id在images里找不到对应项说明标注文件是半成品后面的格式转换会带着脏数据一路错下去。import json with open(annotations.json, r, encodingutf-8) as f: data json.load(f) img_ids set(img[id] for img in data[images]) ann_img_ids set(ann[image_id] for ann in data[annotations]) print(images:, len(img_ids)) print(annotations:, len(data[annotations])) print(categories:, len(data[categories])) print(孤悬的image_id:, ann_img_ids - img_ids)这里images和annotations的数量级不一样是正常的一张轨道图片上可能同时有多个裂缝和间隙实例所以annotations的数量通常大于images。重点看最后一行如果孤悬的image_id非空先决定是丢弃还是重新关联不要带着悬挂引用往下走。2.2 segmentation、bbox与area字段决定你能做的分析深度一个典型的目标检测标注实例长这样{ id: 1, image_id: 1, category_id: 1, bbox: [320.5, 180.2, 45.1, 12.3], area: 542.1, segmentation: [[320.5, 180.2, 331.0, 181.0, 342.2, 184.5, 355.0, 187.1, 359.0, 192.0]], iscrowd: 0 }bbox是目标的最小外接矩形area是面积segmentation是多边形轮廓。这里有一个重要的边界意识bbox和segmentation可能来自不同的标注操作或自动计算逻辑两者不一定严格对应。如果你只是想训练目标检测模型读取bbox就够了如果你打算做缺陷面积统计分析就必须先抽查segmentation数据的质量。检查bbox是否越界也是我必做的一项invalid_bbox [] for ann in data[annotations]: img_id ann[image_id] if img_id not in img_ids: continue img [im for im in data[images] if im[id] img_id][0] W, H img[width], img[height] x, y, w, h ann[bbox] if x 0 or y 0 or x w W or y h H: invalid_bbox.append(ann[id]) print(疑似越界标注数量:, len(invalid_bbox))越界的bbox在部分训练框架里会报错在另一部分框架里会被静默裁剪结果就是训练时模型看到的框和JSON里记录的不一致。遇到越界简单的处理是裁剪坐标到图片边界但更好的做法是把对应图片和标注抽出来人工复查因为越界往往意味着标注员对目标边界的判断有偏差。2.3 拿到4278张图先做的三类统计类别、面积、尺寸在训练开始之前我几乎不做任何参数调整先做三类统计类别分布、标注面积分布、图片尺寸分布。这三组数字能直接告诉你后面训练方式要不要调整。from collections import defaultdict cat_id2name {cat[id]: cat[name] for cat in data[categories]} ann_per_cat defaultdict(int) area_stats [] size_stats defaultdict(int) for ann in data[annotations]: cat cat_id2name.get(ann[category_id], unknown) ann_per_cat[cat] 1 area_stats.append(ann.get(area, 0)) for img in data[images]: size_stats[(img[width], img[height])] 1 print(标注类别分布:, dict(ann_per_cat)) print(面积最小值:, min(area_stats), 最大值:, max(area_stats), 中位数:, sorted(area_stats)[len(area_stats) // 2]) print(图片尺寸分布Top5:, sorted(size_stats.items(), keylambda x: -x[1])[:5])如果两类标注的计数差距很大比如裂缝标注数量是间隙的五六倍以上就要提前考虑类不平衡的应对方案。面积中位数则反映了目标尺度中位数如果只有两三百像素说明轨道表面缺陷普遍偏小输入分辨率不能设太低。图片尺寸分布决定了预处理链路的写法全部统一规格和混有多分辨率预处理逻辑完全不同。2.4 三类统计怎么映射到训练策略统计做完之后的决策逻辑我一般按三条来推导。类别不平衡时先做两件事在loss里给少数类更高的权重或者在数据采样时保证每个batch都包含少数类样本。目标面积偏小时把输入尺寸从640提升到1280比调整任何anchor都直接显存不够就退而求其次做多尺度训练。图片尺寸混杂时不要用强制拉伸到统一尺寸的写法用等比例缩放加pad避免长条形裂缝被横向拉伸变形。这三件事看起来都很简单但优先级高于一切调参技巧。很多项目在数据上花了大力气采集却在训练前没有花十分钟跑一遍统计最后模型性能上不去还以为是网络结构的问题。我个人的习惯是任何标注数据到手先让统计结果说话。3. 从COCO JSON到训练管线格式转换、分层划分与目录整理3.1 为什么还要转格式COCO是标注标准但不一定是训练框架的加载标准COCO JSON在设计上是给目标检测评估用的标准标注格式很多检测框架确实原生支持COCO加载。但如果你身边同事乃至自己更常使用的是YOLO系的训练管线那COCO JSON往往不能直接作为训练数据喂进去。YOLO系框架要求的标注格式是每张图片对应一个txt文件每一行是class_id cx cy w h并且cx、cy、w、h全部是归一化到[0,1]的浮点数。所以我拿到这套轨道缺陷数据集后第一件偏实操的事是把它转成自身框架最顺手的中间格式。转换的核心其实只有两件事坐标表达方式的转换以及类别ID的重新映射。COCO的bbox是[x, y, w, h]YOLO需要的是[cx, cy, w, h]并且除以图片宽高做归一化。提示转换后的txt文件名必须与图片文件名保持完全一致包括大小写和后缀否则训练框架会当成文件缺失。3.2 COCO转YOLO的脚本坐标归一化与类别映射我常用的一段转换脚本如下import json import os from collections import defaultdict COCO_JSON annotations.json IMG_ROOT images OUT_ROOT yolo_labels os.makedirs(OUT_ROOT, exist_okTrue) with open(COCO_JSON, r, encodingutf-8) as f: coco json.load(f) img_info {img[id]: img for img in coco[images]} cat_info {cat[id]: idx for idx, cat in enumerate(coco[categories])} img_to_anns defaultdict(list) for ann in coco[annotations]: img_to_anns[ann[image_id]].append(ann) for img_id, anns in img_to_anns.items(): img img_info[img_id] W, H img[width], img[height] base_name os.path.splitext(os.path.basename(img[file_name]))[0] lines [] for ann in anns: if ann.get(iscrowd, 0): continue x, y, w, h ann[bbox] cx (x w / 2) / W cy (y h / 2) / H nw w / W nh h / H lines.append(f{cat_info[ann[category_id]]} {cx:.6f} {cy:.6f} {nw:.6f} {nh:.6f}) with open(os.path.join(OUT_ROOT, base_name .txt), w) as f: f.write(\n.join(lines))这段脚本的要点有三个。第一个要点是类别ID映射写在循环外换成从0开始的连续整数第二个要点是坐标计算用浮点除法避免整数运算丢精度第三个要点是输出文件用图片原始文件名做基准保证txt和jpg同名配对。脚本跑完后我一般会随机挑出十张图画框检查一遍再进训练。3.3 分层划分train/val/test别让间隙样本漏进一个集里4278张图片的规模常见做法是按8:1:1或7:2:1划分。但最怕的就是直接随机shuffle后划分把含间隙缺陷的图片几乎全分到训练集val集和test集里间隙样本过少导致评估指标虚高或方差极大。我的做法是按图片包含的类别组合做分层import random random.seed(42) images coco[images] strat_groups defaultdict(list) for img in images: cats tuple(sorted({ann[category_id] for ann in img_to_anns.get(img[id], [])})) strat_groups[cats].append(img[id]) train_ids, val_ids, test_ids [], [], [] for group_ids in strat_groups.values(): random.shuffle(group_ids) n len(group_ids) n_val max(1, int(n * 0.1)) n_test max(1, int(n * 0.1)) train_ids group_ids[: n - n_val - n_test] val_ids group_ids[n - n_val - n_test: n - n_test] test_ids group_ids[n - n_test:] print(train:, len(train_ids), val:, len(val_ids), test:, len(test_ids))分层逻辑的理解要点以图片为基本单位把含裂缝含间隙同时含两种缺陷的图片分成三个桶在每个桶内按比例划分。这样即使间隙缺陷只出现在一两百张图片里这些图片也会均匀散落在train、val、test三个集合中不会出现评估集完全缺失某一类的情况。3.4 目录整理与两个容易忽略的文件名坑转换脚本输出的txt只是第一步还要把图片与标签按训练框架的目录约定摆好。常见组织方式如下dataset/ images/ train/xxx.jpg val/xxx.jpg test/xxx.jpg labels/ train/xxx.txt val/xxx.txt test/xxx.txt第一个坑是文件名重复某些公开数据集的图片来自多个子目录不同子目录里可能存在同名文件。直接使用basename输出txt文件会发生覆盖。我的处理方式是给每张图片重新编号用图片在images里的id作为统一前缀彻底避免同名冲突。第二个坑是子目录信息丢失。如果file_name带有子目录路径比如July/IMG_001.jpg转换脚本在拼接路径时如果把目录信息丢掉后续图片复制就会对不上。我的习惯是在转换前先打印一遍所有file_name确认它到底是纯文件名还是含路径再决定IMG_ROOT与数据集目录的相对结构。目录整理完之后再额外保存一份JSON格式的划分记录把train/val/test对应的image_id列表落盘备份方便后续复现或重新生成。4. 训练裂缝与间隙检测模型验证画框、参数取舍与类别级评估4.1 画框验证转换结果正确性的事前检查训练前用OpenCV随机抽样画框是个低成本高收益的检查。只看txt里的数字正确并不代表框的位置正确。import cv2 import random random.seed(0) sample_ids random.sample(train_ids, 8) for img_id in sample_ids: img img_info[img_id] img_path os.path.join(IMG_ROOT, img[file_name]) image cv2.imread(img_path) if image is None: print(图片读取失败:, img_path) continue for ann in img_to_anns[img_id]: if ann.get(iscrowd, 0): continue x, y, w, h ann[bbox] color (0, 0, 255) if ann[category_id] 1 else (0, 255, 0) cv2.rectangle(image, (int(x), int(y)), (int(x w), int(y h)), color, 2) out_name fcheck_{img_id}.jpg cv2.imwrite(out_name, image) print(已输出:, out_name)为什么要人工看一遍因为自动检查只能发现坐标越界这种明显异常而框住了无关区域裂缝只框了一半间隙框盖住了两段裂缝这类语义错误只有人眼一眼能看出来。我不建议跳过这一步即便标注看起来再规范标注工具的导出逻辑也可能引入系统性偏差。4.2 训练参数取舍输入尺寸、batch、学习率和epochs数据没有问题后进入训练配置。对轨道缺陷这类细节型小目标场景我一般从一组保守参数开始path: ./dataset train: images/train val: images/val test: images/test nc: 2 names: 0: crack 1: gapyolo train datadataset.yaml modelyolov8s.pt imgsz1280 batch16 epochs100 lr00.001 warmup_epochs3参数说明imgsz设为1280而不是默认640原因是轨道表面裂缝的宽度经常只有几个像素640的输入尺寸经过多次下采样后小裂缝在特征图上只剩一两个像素网格难以被检测头捕捉。batch设为16是普通单卡显存的折中如果显存不足用8加梯度累积。学习率0.001配合前三个epoch的warmup数据量小的时候太大学习率会直接导致loss震荡。epochs先给100配合保存最佳checkpoint的机制实际起作用的大概在60到80轮。一个重要的参数直觉轨道缺陷检测不需要刻意追求大模型。模型容量过大在几千张图片规模的数据上容易过拟合最终在测试集上的表现反而不如mid-size模型。我初期用大模型踩过不少教训后来固定用轻量级模型加高分辨率输入多数场景的收益反而更大。4.3 类别级AP只看整体mAP会掩盖间隙类漏检检测框架在验证阶段通常只打印一个整体mAP。问题在于如果间隙类只有一百来个标注实例整体mAP基本被裂缝类的表现主导间隙错了你也不知道。我一般在训练结束后单独跑一次COCO评估脚本把每类的AP单独输出。from pycocotools.coco import COCO from pycocotools.cocoeval import COCOeval import numpy as np coco_gt COCO(annotations.json) coco_dt coco_gt.loadRes(prediction_results.json) coco_eval COCOeval(coco_gt, coco_dt, bbox) coco_eval.evaluate() coco_eval.accumulate() coco_eval.summarize() precision coco_eval.eval[precision] # 维度: [T, R, K, A, M] cat_names [cat[name] for cat in coco_gt.dataset[categories]] for k, name in enumerate(cat_names): ap precision[:, :, k, :, :] valid ap[ap -1] print(f{name} AP: {valid.mean() * 100:.2f})这段代码的关键是precision数组里的K维度对应类别序号按类别切片后再把大于负一的元素取平均得到的值就是在所有IoU阈值和尺度上求平均的AP。如果裂缝AP在70%以上而间隙AP只有30%不要急着调网络结构先把间隙类样本的图拉出来看大概率是标注不一致或少数类样本太少的问题。5. 训练轨道缺陷模型的五个常见坑现象、原因与排查5.1 现象COCO标注加载报错category_id不是0和1加载JSON时报IndexError: index out of range或者类别映射错乱。我最早接触一套类似轨道裂缝数据时代码里写死了labels {0: crack, 1: gap}结果发现JSON里的category_id是[1, 2]而不是[0, 1]训练脚本直接把类别1当成crack、类别2当成gap刚好整体位移一位更麻烦的是某些数据集的类别ID还不连续比如只有[1, 3]中间跳号。原因很简单标注工具导出的category_id是从1开始的而训练脚本里我假设从0开始两边的语义没对齐。排查路径先打印categories数组用它的实际id建立映射而不是假设从0开始。转换脚本里用enumerate(coco[categories])重新编号问题就解决了。这也是我在2.1里强调先检查categories的原因。5.2 现象转换后的txt出现大于1的坐标训练loss居高不下训练一开始loss就异常高甚至完全不下降。检查转换后的txt发现某些行的cx、cy接近1.5或者出现负数。原因是bbox坐标本身越界或者图片尺寸与bbox使用的坐标系不一致。比如某张图实际尺寸是1280×720但标注的坐标是在1920×1080的原始大图上画的没有按图缩放回去转换时就出现了超界值。解决方式是在转换脚本里加坐标clipcx min(0.999, max(0.001, (x w / 2) / W)) cy min(0.999, max(0.001, (y h / 2) / H)) nw min(0.999, max(0.001, w / W)) nh min(0.999, max(0.001, h / H))同时把clip前越界的记录输出到一个日志文件里方便回溯相关图片。clip不是万能药它只是让训练能继续真正的问题还是要回到原始标注上复查。5.3 现象模型整体mAP不错但细裂缝大量漏检验证集上的mAP看着不错实际跑一批现场轨检图时细裂缝大量漏检。原因大概率是训练时的输入尺寸或数据增强把小目标毁掉了。Resize到640的图上一条宽4像素的裂缝对应的目标框宽度不到4个像素经过下采样和特征提取这些线索基本消失。另外mosaic增强虽然能增加场景多样性但多次缩放后的裂缝边缘信息会丢失。解决路径把imgsz提到1280优先尝试不带随机旋转的训练配置。如果显存不够切换到切片训练把大图切成四块分别训练和推理再在预测阶段合并目标框。这是处理轨道细长缺陷最直接有效的方案比调anchor玄学得多。5.4 现象间隙被误判成裂缝两类在混淆矩阵里打架间隙的AP不高而且很大一部分错误是把间隙预测成裂缝。看混淆矩阵间隙的误判集中在crack类。原因之一是两类缺陷在局部外观上本来就有相似性——轨道表面的间隙在几百像素范围内看起来就是一段裂纹原因之二是标注边界不统一标注员对多深的裂纹算间隙的判断不一致导致模型学到的是标注噪声而不是缺陷语义。解决思路分两步走。第一步是检查训练集标注的一致性把两类样本放在一起看确认视觉边界必要时统一标注规范并重新修正边界模糊的样本。第二步是在模型侧增加上下文感受野比如使用大kernel的检测头或者在backbone末端加一层特征融合让模型能看到目标周边的钢轨纹理而不是只看局部。5.5 现象验证集AP高但现场数据完全不适应在已知数据验证集上AP很高一拿到现场用不同相机角度或光照采集的图片性能断崖式下降。原因数据划分没有按图片来源或采集时段分层导致val集与train集的分布过于接近。这种看似严谨、实则自欺的划分方式在实际项目里比标注错误更危险因为它会让你在实验阶段误以为模型已经收敛得很好。解决回头按文件名前缀或采集时间戳做分组划分保证同一来源的图片不会同时出现在train和val里。如果数据集中缺少这种分组信息那就把现场实测人工复核纳入验收流程别只看验证集数字。模型性能的下限不是由验证集决定的而是由数据分布差异决定的。6. 进阶用置信度阈值和人工复检把模型输出变成可信巡检结果整体用一个置信度阈值处理所有缺陷类别在缺陷检测里并不科学。裂缝漏检的代价是轨道安全误报的代价是复检人力你很难用一个阈值同时平衡两类缺陷的收益。我的习惯是训练完后在验证集上分别绘制两类缺陷的precision-recall曲线根据现场可接受的误报率选择不同的置信度阈值。裂缝阈值可以放低一些让模型偏向多报间隙阈值相对较高减少现场的重复排查。两个阈值放到配置中心后续调整只改配置不动模型。具体操作跑一轮验证集的置信度分布统计按类过滤查看预测分数。代码大致是import json import numpy as np # 假设预测结果已保存到 predictions.json with open(predictions.json, r) as f: preds json.load(f) crack_scores [p[score] for p in preds if p[category_id] 1] gap_scores [p[score] for p in preds if p[category_id] 2] print(crack score 分位数:, np.percentile(crack_scores, [50, 80, 90])) print(gap score 分位数:, np.percentile(gap_scores, [50, 80, 90]))看分位数只是为了找初始参考点具体阈值要结合现场人员复核成本来定。我最后还会把所有低于低阈值的检测结果单独输出到一个待人工复核文件夹避免漏检被机械阈值挡住。在部署侧我的习惯是保留每个检测框的原始裁剪图连同轨道的里程位置信息一起回传。一个框的数据格式不只是两个坐标数字还包括来源图片、缺陷类别、置信度、建议复核方向。这样人工复检时不是面对一张空白界面而是直接看到缺陷上下文。这些思路落实下来4278张图片的训练集虽然规模有限但配合分层划分、类别级评估和异步的人工复核机制完全能在轨检流程里承担预筛角色。数据量小的时候不要指望模型输出唯一答案把它当作把整张图缩小到几个可疑patch的工具再让人来做最终判断这就是我做过不少工业检测落地后的经验。希望这套做法对你有帮助。本文还有配套的精品资源点击获取