FiftyOne 数据集 Zoo 实战加载与使用 PASCAL VOC 2007voc-2007检测数据集【免费下载链接】fiftyoneRefine high-quality datasets and visual AI models项目地址: https://gitcode.com/GitHub_Trending/fi/fiftyonePASCAL Visual Object Classes Challenge 2007VOC2007是目标检测领域的经典基准数据集。本文围绕 docs/source/dataset_zoo/datasets/voc_2007.rst 文档系统讲解如何在 FiftyOne 中通过数据集 Zoo 一键加载voc-2007涵盖数据集元信息、Torch 与 TensorFlow 双后端差异、Python 与 CLI 两种加载方式并结合仓库源码剖析其底层下载与标注解析原理。读完本文你将能独立完成 VOC2007 的加载、可视化与后续模型训练前的数据准备。数据集概览VOC2007 是什么VOC2007 是 PASCAL Visual Object Classes Challenge 2007 为检测竞赛detection competition提供的数据集。整个数据集共包含9,963 张图像每张图像内含若干目标覆盖20 个不同类别合计24,640 个已标注目标对象。从源码中的类文档字符串可以确认同样的描述见 fiftyone/zoo/datasets/torch.py 与 fiftyone/zoo/datasets/tf.py。一个需要特别注意的事实是按照官方数据集的约定VOC2007 的 test 分割不包含标注annotations因此它无法直接用于有监督的检测评估官方一般推荐使用train与validation分割进行模型训练与验证。在 FiftyOne 中该数据集以voc-2007为注册名称收录于数据集 Zoo属于「图像 检测」类型的经典入门数据集也常被用作目标检测模型的基准评测数据。数据集详情一览依据原文档voc_2007.rst整理的核心元信息如下Dataset name数据集名称voc-2007Dataset source数据来源PASCAL VOC 官方发布的 VOC2007 数据对应检测竞赛Dataset size数据集大小868.85 MBTags标签image, detectionSupported splits支持的分割train, validation, testZooDataset 类双后端实现VOC2007DatasetTF 后端见 fiftyone/zoo/datasets/tf.pyVOC2007DatasetTorch 后端见 fiftyone/zoo/datasets/torch.py20 个目标类别VOC2007 的 20 个检测类别在 fiftyone/utils/voc.py 中以VOC_DETECTION_CLASSES常量集中定义aeroplane, bicycle, bird, boat, bottle, bus, car, cat, chair, cow, diningtable, dog, horse, motorbike, person, pottedplant, sheep, sofa, train, tvmonitorTorch 后端在准备数据时正是通过_parse_voc_detection_labels直接引用该常量列表作为类别清单fiftyone/zoo/datasets/torch.py从而保证加载后Detections标签的类别名与官方一致。双后端的分割支持差异后端支持的分割说明TensorFlow 后端train, validation, testtest分割仅能通过 TF 后端加载Torch 后端train, validationsupported_splits仅返回这两个分割fiftyone/zoo/datasets/torch.py原文档明确标注test分割只能通过 TensorFlow 后端加载同时无论使用哪个后端都必须预先安装对应的 Torch 或 TensorFlow 后端依赖否则无法加载该数据集。加载方式一Python API原文档给出了最简洁的 Python 加载示例直接通过fiftyone.zoo模块的load_zoo_dataset方法即可完成下载、格式化与导入import fiftyone as fo import fiftyone.zoo as foz dataset foz.load_zoo_dataset(voc-2007, splitvalidation) session fo.launch_app(dataset)load_zoo_dataset首次执行时会自动完成数据下载与 FiftyOne 格式转换fo.launch_app(dataset)则会在浏览器中打开 FiftyOne App供你可视化查看图像与检测框标注效果如上图所示。进阶用法加载多个分割并组合VOC2007 的官方标准做法是使用train与validation进行训练。可以分别加载后合并为一个视图便于统一管理与评估import fiftyone as fo import fiftyone.zoo as foz # 分别加载 train 与 validation train_ds foz.load_zoo_dataset(voc-2007, splittrain) val_ds foz.load_zoo_dataset(voc-2007, splitvalidation) # 合并为单个数据集trainval 组合 dataset train_ds.clone() dataset.merge_samples(val_ds) print(dataset) print(dataset.count(detections))加载完成后detections字段即为 FiftyOne 标准的Detections标签可直接用于后续的视图过滤、评估或模型训练数据导出。加载方式二CLI 命令行FiftyOne 的命令行工具同样支持数据集 Zoo 的加载与可视化等价于上面的 Python 示例fiftyone zoo datasets load voc-2007 --split validation fiftyone app launch voc-2007-validation其中第一条命令下载并导入validation分割第二条命令则以voc-2007-validation作为数据集名启动 FiftyOne App。若需要查看 Zoo 中已注册的全部数据集可运行fiftyone zoo datasets list需要删除本地数据时使用fiftyone zoo datasets remove voc-2007删除会同时移除本地下载的副本请谨慎操作。底层实现Torch 后端如何准备 VOC2007Torch 后端VOC2007Dataset的核心逻辑位于_download_and_prepare方法fiftyone/zoo/datasets/torch.py其工作流程如下分割名映射将 FiftyOne 的validation映射为 torchvision 使用的valimage_set调用 torchvision 下载通过torchvision.datasets.VOCDetection(download_dir, year2007, image_setimage_set, downloadTrue)下载官方数据解析类别通过_parse_voc_detection_labels取VOC_DETECTION_CLASSES20 类标注转换使用_VOCDetectionSampleParser将 torchvision 的标注目标转换为 FiftyOne 的Detections标签写盘经由通用的_download_and_prepare帮助函数fiftyone/zoo/datasets/torch.py通过FiftyOneImageDetectionDatasetExporter将格式化后的数据集写入本地。标注解析的关键在于_VOCDetectionSampleParser._parse_labelfiftyone/zoo/datasets/torch.py它利用 fiftyone/utils/voc.py 中的VOCAnnotation工具类将 VOC 的 XML 标注VOCAnnotation.from_xml或字典VOCAnnotation.from_dict统一转换为Detections对象。VOCAnnotation.to_detections会结合图像元数据中的宽高把绝对坐标归一化为 FiftyOne 标准格式。底层实现TF 后端如何准备 VOC2007TensorFlow 后端VOC2007Dataset的实现位于 fiftyone/zoo/datasets/tf.py它基于 TensorFlow DatasetsTFDS构建调用 TFDS 加载通过tfds.load(voc/2007, splitsplit, data_dirdownload_dir, downloadTrue, with_infoTrue)下载并读取 TFDS 格式数据类别来源类别名直接从 TFDS 的info.features[objects][label].names读取样本数来源通过info.splits[split].num_examples获取该分割的样本总数标注转换使用_TFDSImageDetectionSampleParser并将bounding_box_field指定为 TFDS 特征中的bbox字段。由于 TFDS 的voc/2007数据集本身包含 test 分割因此 TF 后端支持train, validation, test三种分割这也是原文档特别强调「test 分割仅可通过 TensorFlow 后端加载」的原因。加载前置条件与注意事项后端依赖必须预先安装 Torch 或 TensorFlow 后端二选一即可否则load_zoo_dataset(voc-2007, ...)会因找不到对应后端而失败test 分割限制如需test分割只能使用 TF 后端加载Torch 后端的supported_splits仅包含train与validationtest 无标注即使通过 TF 后端加载了test分割该分割也遵循官方约定不包含标注适合用作无标注推理或提交外部评测服务不适合直接做有监督评估磁盘空间数据集大小约 868.85 MB请确保本地有充足磁盘空间网络下载首次加载会从官方源下载原始数据并格式化为 FiftyOne 数据集耗时取决于网络状况后续再次加载会直接复用本地副本。相关文件导航数据集文档docs/source/dataset_zoo/datasets/voc_2007.rstTorch 后端实现fiftyone/zoo/datasets/torch.pyTF 后端实现fiftyone/zoo/datasets/tf.pyVOC 工具与类别定义fiftyone/utils/voc.py可视化示例图docs/source/images/dataset_zoo/voc-2007-validation.png【免费下载链接】fiftyoneRefine high-quality datasets and visual AI models项目地址: https://gitcode.com/GitHub_Trending/fi/fiftyone创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考