人工智能计算机视觉基础模型大模型微调【免费下载链接】sam3The repository provides code for running inference and finetuning with the Meta Segment Anything Model 3 (SAM 3), links for downloading the trained model checkpoints, and example notebooks that show how to use the model.项目地址https://gitcode.com/gh_mirrors/sam/sam3点击查看免费下载SA-Co/Silver 是 SAM3 仓库中用于图像可提示概念分割Promptable Concept SegmentationPCS评测的基准集合覆盖食品、艺术、机器人、驾驶等 10 个领域子集。本指南以 scripts/eval/silver/README.md 为核心完整讲解从标注下载、图像/视频帧预处理、SAM3 推理评估到 cgF1 离线评测的端到端流程并结合仓库源码说明每个脚本的内部实现细节。读完本文你将能独立复现 SA-Co/Silver 全流程评测并能读懂其 COCO 衍生标注格式与正负样本判定规则。SA-Co/Silver 基准概览SA-Co/Silver 是一个面向图像可提示概念分割的基准每一张图片都配有文本标签即名词短语 Noun Phrase简称 NP并且所有匹配该标签的对象实例都被逐像素掩码穷尽标注。它由 10 个子集构成覆盖多种领域子集领域BDD100k自动驾驶DROID机器人操作Ego4D第一人称视频MyFoodRepo-273食品识别GeoDE地理多样化日常物体iNaturalist-2017自然物种National Gallery of Art艺术画作SA-V视频分割YT-Temporal-1BYouTube 视频Fathomnet海底生物与 SA-Co/Gold 的关键区别在于Silver 的每个数据点只有单份 ground-truth。由于不同标注者对同一查询query可能存在多种合理解读而评测只对齐其中一种因此 Silver 的结果会带有一定方差且倾向于低估模型性能——模型可能因为选择了与人工标注者不同的同样有效的解读而被错误扣分。这一点在解读任何 Silver 分数时都需要牢记。数据准备下载标注与图像/视频帧1. 下载标注文件GT annotationsSA-Co/Silver 的 ground-truth 标注可以从 Hugging Face 的SACo-Silver数据集或 Roboflow 的sa-co-silver组织下载。标注按域拆分每个子集对应一个silver_domain_merged_test.json文件具体文件名可见 utils.py 中的annotation_files映射。2. 图像类数据集准备以下 6 个图像子集既可以从 Roboflow 直接下载处理好的图片也可以按照官方脚本自行预处理。GeoDE从 GeoDE 官网下载原始图片数据集解压到RAW_GEODE_IMAGES_FOLDER运行预处理脚本将处理后的图片保存到PROCESSED_GEODE_IMAGES_FOLDERpython preprocess_silver_geode_bdd100k_food_rec.py --annotation_file FOLDER_WITH_SILVER_ANNOTATIONS/silver_geode_merged_test.json --raw_images_folder RAW_GEODE_IMAGES_FOLDER --processed_images_folder PROCESSED_GEODE_IMAGES_FOLDER --dataset_name geode源码视角该脚本preprocess_silver_geode_bdd100k_food_rec.py会读取index.csv元数据通过utils.get_image_ids()从标注 JSON 中提取所需的图片 stem把file_path中的/替换为_以拍平目录结构再用 20 进程Pool并行拷贝到目标目录。National Gallery of ArtNGA一条命令完成下载原图 预处理python download_preprocess_nga.py --annotation_file FOLDER_WITH_SILVER_ANNOTATIONS/silver_nga_art_merged_test.json --raw_images_folder RAW_NGA_IMAGES_FOLDER --processed_images_folder PROCESSED_NGA_IMAGES_FOLDER源码视角download_preprocess_nga.py 先从 NGA 开放数据仓库拉取published_images.csv元数据再按 IIIF APIhttps://api.nga.gov/iiif/uuid/full/...下载图片随后执行两步质量校验删除超出maxpixels尺寸限制的图片remove_non_compliant_image并将图片 reshape 到标注中记录的(width, height)。BDD100k从 BDD100k 官网下载100K Images数据集解压到RAW_BDD_IMAGES_FOLDER运行预处理python preprocess_silver_geode_bdd100k_food_rec.py --annotation_file FOLDER_WITH_SILVER_ANNOTATIONS/silver_bdd100k_merged_test.json --raw_images_folder RAW_BDD_IMAGES_FOLDER --processed_images_folder PROCESSED_BDD_IMAGES_FOLDER --dataset_name bdd100k源码视角BDD100k 分支固定从100k/train子目录读取原图该子集评测帧均取自训练集视频并按标注中的相对file_name结构拷贝。Food Recognition Challenge 2022MyFoodRepo-273从 AIcrowd 官网下载[Round 2] public_validation_set_2.0.tar.gz文件解压到RAW_FOOD_IMAGES_FOLDER运行预处理python preprocess_silver_geode_bdd100k_food_rec.py --annotation_file FOLDER_WITH_SILVER_ANNOTATIONS/silver_food_rec_merged_test.json --raw_images_folder RAW_FOOD_IMAGES_FOLDER --processed_images_folder PROCESSED_FOOD_IMAGES_FOLDER --dataset_name food_rec源码视角food_rec分支从public_validation_set_2.0/images读取原图并通过Path(each).stem.split(_)[-1]提取标注文件名中的真实图片 ID 与原始文件对应再拷贝为标注所需的扁平化文件名。iNaturalist-2017一步完成下载、解压与子集拷贝python download_inaturalist.py --raw_images_folder RAW_INATURALIST_IMAGES_FOLDER --processed_images_folder PROCESSED_INATURALIST_IMAGES_FOLDER源码视角download_inaturalist.py 默认从 S3 下载train_val_images.tar.gz训练/验证归档可分别用--archive-url与--subset-json覆盖解压后依据 inaturalist_image_subset.json 中维护的目标文件名 → 归档内相对路径映射仅拷贝评测所需的子集图片避免全量搬运百万级数据。Fathomnet安装 FathomNet APIpip install fathomnet下载图片并准备评测数据python download_fathomnet.py --processed_images_folder PROCESSED_FATHOMNET_IMAGES_FOLDER源码视角download_fathomnet.py 读取 fathomnet_image_uuids.json 中的 UUID 列表通过fathomnet.api.images.find_by_uuid查询图片元数据并流式下载默认以 16 个并行进程--num-procs可调分摊 UUID 列表。3. 视频帧类数据集准备这四个子集DROID、SA-V、Ego4D、YT1B的标注对应视频中的单帧。仓库通过 CONFIG_FRAMES.yaml 统一管理所有下载与抽帧配置使用前必须先将path_annotations更新为标注文件所在目录即saco_frames_test_sets/annotations/。整个流程遵循download_videos.py 数据集下载视频 →extract_frames.py 数据集抽取帧的两步模式。配置文件核心字段说明字段作用path_annotations四个帧数据集标注 JSON 所在目录droid_path/sav_path/ego4d_path/yt1b_path各数据集下载与抽帧产物的保存根目录cookies_pathyt-dlp 的 YouTube cookies 文件路径YT1B 必需update_annotation_yt1b/update_annotation_ego4d是否将已不可用的视频从标注中剔除sav_videos_fps_6_download_pathSA-V 官网提供的videos_fps_6.tar动态下载链接remove_downloaded_videos_*抽帧完成后是否删除已下载视频以节省磁盘DROID安装 gsutilpip install gsutil在CONFIG_FRAMES.yaml中修改droid_path为下载目标路径可选调整remove_downloaded_videos_droid控制抽帧后是否删除视频下载视频python download_videos.py droid抽取帧python extract_frames.py droid。源码视角download_videos.py 的construct_gcs_path()会把标注中的original_video文件名如AUTOLab_failure_2023-07-07_..._22008760.mp4解析为 GCS 对象路径gs://gresearch/robotics/droid_raw/1.0.1/lab/failure/date/time/recordings/MP4/file_id.mp4再由gsutil cp以最多 16 线程并行下载。SA-V按 Segment Anything 官网指引申请动态下载链接videos_fps_6.tar更新CONFIG_FRAMES.yaml设置sav_path并把sav_videos_fps_6_download_path填入官网列表中videos_fps_6.tar对应的链接可选调整remove_downloaded_videos_sav下载视频python download_videos.py sav抽取帧python extract_frames.py sav。源码视角download_sav()内部用wget拉取 tar 包并解压到downloaded_videos/目录抽帧时从videos_fps_6子目录读取原始视频。Ego4D在 Ego4D 官网审阅并接受许可协议配置 AWS 凭证pip install awscli aws configure填入邮件中的凭证值region/output format 可留空可用cat ~/.aws/credentials验证安装 Ego4D 库pip install ego4d更新CONFIG_FRAMES.yaml设置aws_access_key_id、aws_secret_access_key、ego4d_path可选调整remove_downloaded_videos_ego4d下载clips子集python download_videos.py ego4d抽取帧python extract_frames.py ego4d。源码视角download_ego4d()调用 Ego4D 官方 CLIego4d --output_directory ... --datasets clips --version v1 --video_uids ... --yes。若返回video UIDs could not be found错误脚本会用ast.literal_eval解析不可用列表并自动重试最终若有视频缺失且update_annotation_ego4d为true会从标注中剔除这些视频同时提示结果将不可与其他公开结果直接对比。YT1B安装 yt-dlppython3 -m pip install -U yt-dlp[default]按 yt-dlp 的导出 YouTube cookies指引创建cookies.txtYouTube 下载必需并在CONFIG_FRAMES.yaml的cookies_path中填入其路径更新CONFIG_FRAMES.yaml设置yt1b_path可选将update_annotation_yt1b设为true以剔除已下架的 YouTube 视频注意会导致评测结果与其他公开结果不可直接对比可选调整remove_downloaded_videos_yt1b下载视频python download_videos.py yt1b抽取帧python extract_frames.py yt1b。源码视角download_youtube_video()使用 yt-dlp 以best[height720][fps30]格式下载最高 720p、30fps并注入cookiefile与 60 秒 socket 超时。整个下载最多重试 3 轮unavailable/members-only视频会被归入不可用集合其余错误继续重试。抽帧脚本的通用实现extract_frames.py 对所有数据集共用同一套逻辑先从标注 JSON 中读取(original_video, global_frame_idx, file_name, image_size)四元组再用multiprocessing.Pool(os.cpu_count())并行抽帧。单帧抽取通过 OpenCV 定位global_frame_idx帧并转 RGB若 OpenCV 打不开视频则回退到 PyAVav解码。抽取出的帧若尺寸与标注的image_size不一致会按Image.NEAREST重采样随后保存到数据集_path/frames/file_name。抽帧失败的条目会被update_annotations()从标注中移除该函数会先把原始标注备份为*_original.json。若配置了remove_downloaded_videos_数据集: true抽帧完成后会删除downloaded_videos/目录。可视化 GT 标注仓库提供了 Jupyter 示例用于可视化 SA-Co Gold/Silver 的 ground-truth 标注见 saco_gold_silver_vis_example.ipynb。CONFIG_FRAMES.yaml末尾也保留了可视化参数num_images_show、saco_subset_show、directory_save可供帧数据集抽样展示使用。运行评测评测指标cgF1SA-Co/Silver 的官方指标是cgF1其细节参见 SAM3 论文。与 Gold 不同Silver 每个图像只有一份标注因此模型可能因选择了与标注者不同但同样合理的解读而被误扣分导致分数偏低——这是单标注基准的固有特性。评估 SAM3仓库为 10 个子集各提供了一份推理配置位于 sam3/train/configs/silver_image_evals/。运行前先编辑基础配置 eval_base.yaml填入上一步下载好的图片与标注路径。需要重点关注并修改的字段paths.checkpoint_path置为null时从 Hugging Face 自动下载模型权重也可指向本地 checkpointpaths.base_experiment_log_dir评测输出含预测 dumps的根目录paths.base_annotation_path_silverSilver 标注 JSON 所在目录paths.silver_img_path处理好的 Silver 图片目录paths.bpe_pathBPE 词表路径应指向仓库内的 sam3/assets/bpe_simple_vocab_16e6.txt.gzscratch.num_val_workers数据加载线程数约等于 CPU 核数 ÷ GPU 数scratch.gather_pred_via_filesysGPU 显存/内存紧张时设为true改为经文件系统聚合预测scratch.resolution推理分辨率默认 1008launcher/submititSLURM 集群相关的节点数、分区、QoS 等。以 BDD100k 子集为例单机推理命令GPU 数量可按需调整python sam3/train/train.py -c configs/silver_image_evals/sam3_silver_image_bdd100k.yaml --use-cluster 0 --num-gpus 1预测结果会被 dump 到eval_base.yaml中experiment_log_dir指定的目录下。注意原 README 中给出的命令写作sam3_gold_image_bdd100k.yaml而仓库中该文件的实际名称为 sam3_silver_image_bdd100k.yaml请以实际文件名为准。仓库同时支持 SLURM 集群推理。先按集群配置修改eval_base.yaml中的submitit段account、partition、qos 等然后运行python sam3/train/train.py -c configs/silver_image_evals/sam3_silver_image_bdd100k.yaml --use-cluster 1评测链路源码解读以 sam3_silver_image_bdd100k.yaml 为例其trainer.data.val通过Sam3ImageDatasetSAM3_EVAL_API_FROM_JSON_NP加载 COCO 格式标注与图片推理输出经 coco_writer.py 的PredictionDumperiou_type: segm写盘随后由 cgf1_eval.py 的CGF1Evaluator分别以bbox和segm两种 IoU 类型计算 cgF1。其余 9 个子集的配置结构完全相同只需替换对应的路径与dict_key。离线评测如果已有 COCO 结果格式COCO result format的预测文件可以使用独立评测脚本针对单个子集计算指标python scripts/eval/standalone_cgf1.py --pred_file /path/to/coco_predictions_segm.json --gt_files /path/to/annotations/silver_bdd100k_merged_test.json源码视角standalone_cgf1.py 对--pred_file与一个或多个--gt_files做参数解析内部直接调用CGF1Evaluator(gt_path..., iou_typesegm)如需要检测性能可改为bbox并输出聚合指标。它还会根据 GT 文件名判断是否为 goldgold 子集通常需要 3 份标注 a/b/c。若需要在所有子集上批量评测并聚合结果可参考 saco_gold_silver_eval_example.ipynb。评测结果下表整理自原 README三张表分别对应 cgF1、IL_MCC、pmF1 三项指标Average 为 10 个子集的均值其中 OWLv2* 表示使用外部数据训练的变体。cgF1官方指标越高越好子集gDino-TOWLv2*OWLv2LLMDet-LGemini 2.5SAM3Average3.0911.238.186.739.6749.57BDD100k3.3314.978.51.695.8346.61DROID4.2610.847.212.565.6145.58Ego4D2.877.365.642.390.3838.64Food Rec0.6919.3514.180.9810.9252.96GeoDE9.6127.0413.0420.8218.2870.07iNaturalist03.923.6227.3726.5765.8NGA Art1.318.057.222.178.1838.06SA-V5.1810.5910.865.379.4844.36YT1B3.610.1511.73.738.6642.07Fathomnet00.04-0.140.242.851.53IL_MCC实例级匹配相关指标越高越好子集gDino-TOWLv2*OWLv2LLMDet-LGemini 2.5SAM3Average0.120.320.230.170.190.76BDD100k0.170.460.310.080.190.78DROID0.150.360.250.10.140.76Ego4D0.10.230.180.080.010.62Food Rec0.050.440.320.060.240.79GeoDE0.240.50.280.370.260.89iNaturalist00.140.10.460.360.82NGA Art0.090.310.250.130.20.66SA-V0.190.320.320.190.220.67YT1B0.160.380.350.160.230.72Fathomnet00.01-0.010.040.080.86pmF1掩码级 F1越高越好子集gDino-TOWLv2*OWLv2LLMDet-LGemini 2.5SAM3Average19.7531.1832.5528.1945.5165.17BDD100k19.5432.3427.7919.9730.6660.13DROID28.3830.128.8425.5940.0760.35Ego4D28.7231.9931.3529.9238.1462.56Food Rec13.8843.9844.3216.2645.5267.21GeoDE40.0354.0746.5856.2670.2978.73iNaturalist1.9727.9836.2359.573.8180.67NGA Art14.5725.9828.8816.6840.9157.62SA-V27.2533.133.9328.2643.166.05YT1B22.526.733.4323.3237.6558.36Fathomnet0.645.5714.156.134.9959.98标注格式详解SA-Co/Silver 的标注格式派生自COCO 格式images/annotations/categories三段结构。关键字段如下。images一个dict列表每个条目对应一个图片-名词短语image-NP对idintimage-NP 对的唯一标识符text_inputstring该 image-NP 对的名词短语即提示文本file_namestring对应数据目录中的相对图片路径height/width图片尺寸is_instance_exhaustive布尔值0/1。为 1 表示所有实例都被正确标注实例分割评测只使用这类数据点否则可能缺少实例或存在 crowd 段一个段覆盖多个实例is_pixel_exhaustive布尔值0/1。为 1 表示所有掩码的并集覆盖了提示对应的全部像素比 instance_exhaustive 弱允许 crowd 段可用于语义分割评测。annotations一个dict列表包含包围框、分割掩码、面积等所有标注信息image_idint映射到images中 image-NP 对的标识符bboxfloat列表[x, y, w, h] 格式按图片尺寸归一化segmentationdictRLE 格式的分割掩码含counts与sizecategory_id与 COCO 兼容的占位字段恒为 1实际不使用is_crowd布尔值0/1。为 1 表示该段覆盖多个实例用于实例无法分离的情况如画质较差时。categories一个dict列表。此处仅为了兼容 COCO 格式而提供 category 键开放词汇检测中并不使用它——文本提示直接存储在每条images记录的text_input中。注意这里的一张图images中的id实际对应一个图片, 文本提示组合。正负 NP 的判定若某个images中的id在annotations中作为image_id出现即存在对应标注则称其为positive NP若某个id在annotations中没有任何对应条目则称其为negative NP。negative NP 的存在是评测模型不应在图上任意分割能力的关键——模型必须学会对不匹配提示保持克制。DROID 域标注示例images段示例[ { id: 10000000, file_name: AUTOLab_failure_2023-07-07_Fri_Jul__7_18:50:36_2023_recordings_MP4_22008760/00002.jpg, text_input: the large wooden table, width: 1280, height: 720, queried_category: 3, is_instance_exhaustive: 1, is_pixel_exhaustive: 1 } ]annotations段示例segmentation.counts为 COCO RLE 压缩字符串实际数据中为完整编码[ { area: 0.17324327256944444, id: 1, image_id: 10000000, source: created by SAM3, bbox: [ 0.03750000149011612, 0.5083333253860474, 0.8382812738418579, 0.49166667461395264 ], segmentation: { counts: [^R11]f03O0O100O2N100...RLE 编码省略, size: [720, 1280] }, category_id: 1, iscrowd: 0 } ]数据统计10 个标注域的统计如下# Image-NPs表示包含 positive 与 negative NP 在内的全部图片-NP对总数# Image-NP-Masks为对应的掩码总数域# Image-NPs# Image-NP-MasksBDD100k554613210DROID944511098Ego4D1260824049MyFoodRepo-2732098528347GeoDE148507570iNaturalist-2017143905148899National Gallery of Art2229418991SA-V1833739683YT-Temporal-1B781612221Fathomnet28719314174值得注意的是# Image-NPs远大于# Image-NP-Masks的子集如 iNaturalist 与 Fathomnet意味着其中含有大量 negative NP——这正是衡量模型对提示区分能力的重要测试面。小结围绕 SA-Co/Silver 基准完整流程可以概括为四条主线标注下载Hugging Face / Roboflow、图像预处理6 个图像子集各自的预处理脚本、视频帧准备CONFIG_FRAMES.yamldownload_videos.pyextract_frames.py、评测执行eval_base.yaml 10 份 silver 推理配置 离线standalone_cgf1.py。配合 utils.py 中统一的标注备份/更新机制、COCO 格式的标注定义与 cgF1 指标你可以据此复现 SAM3 在 Silver 上的评测并进一步对照 Gold 基准评估模型的开放词汇概念分割能力。赞分享人工智能计算机视觉基础模型大模型微调【免费下载链接】sam3The repository provides code for running inference and finetuning with the Meta Segment Anything Model 3 (SAM 3), links for downloading the trained model checkpoints, and example notebooks that show how to use the model.项目地址https://gitcode.com/gh_mirrors/sam/sam3点击查看免费下载相关推荐BiomedVLP-CXR-BERT-specialized突破医学影像与文本融合的终极解决方案BiomedVLP CXR BERT specialized突破医学影像与文本融合的终极解决方案 在医学影像诊断领域放射科医生每天需要处理数百张X光片并撰写Xiaomusic让小爱音箱播放本地音乐免费解锁自定义音源Xiaomusic让小爱音箱播放本地音乐免费解锁自定义音源 「小爱同学播放我收藏的轻音乐」音箱回答抱歉没找到。部署好 Xiaomusic 之后局面变后端智能硬件音视频如何快速上手Frank英雄联盟助手的完整安装与配置指南如何快速上手Frank英雄联盟助手的完整安装与配置指南 想要提升《英雄联盟》游戏体验Frank英雄联盟助手是你的绝佳选择作为一款全新的轻量级游戏辅助工具创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考