【笔记】DINOv3 模型各规格统计

1. ViT 系列自然图像预训练ModelScope 模型名规格参数量预训练数据dinov3-vits16-pretrain-lvd1689mViT-S/1621M约 0.21 亿LVD-1689Mdinov3-vits16plus-pretrain-lvd1689mViT-S/1629M约 0.29 亿LVD-1689Mdinov3-vitb16-pretrain-lvd1689mViT-B/1686M约 0.86 亿LVD-1689Mdinov3-vitl16-pretrain-lvd1689mViT-L/16300M约 3 亿LVD-1689Mdinov3-vith16plus-pretrain-lvd1689mViT-H/16840M约 8.4 亿LVD-1689Mdinov3-vit7b16-pretrain-lvd1689mViT-7B/166,716M约 67.16 亿LVD-1689M其中前五个小模型是由 ViT-7B 蒸馏得到的ViT-7B 是旗舰教师模型。2. ConvNeXt 系列自然图像预训练ModelScope 模型名规格参数量预训练数据dinov3-convnext-tiny-pretrain-lvd1689mConvNeXt Tiny29M约 0.29 亿LVD-1689Mdinov3-convnext-small-pretrain-lvd1689mConvNeXt Small50M约 0.50 亿LVD-1689Mdinov3-convnext-base-pretrain-lvd1689mConvNeXt Base89M约 0.89 亿LVD-1689Mdinov3-convnext-large-pretrain-lvd1689mConvNeXt Large198M约 1.98 亿LVD-1689M这四个更接近传统卷积网络在现有检测、分割框架中通常比较容易接入。3. 遥感卫星图像版本ModelScope 模型名规格参数量预训练数据dinov3-vitl16-pretrain-sat493mViT-L/16300M约 3 亿SAT-493Mdinov3-vit7b16-pretrain-sat493mViT-7B/166,716M约 67.16 亿SAT-493M这两个版本主要面向卫星图、航空影像和遥感任务而不是普通摄影图片。名称怎么理解S / B / L / H / 7BSmall、Base、Large、Huge 和约 70 亿级模型。S / HMeta 定义的增强尺寸不完全等同于标准 ViT-S、ViT-H。/16图像被划分为16×16 像素的 patch不是说输入图像必须是 16×16。LVD-1689M约 16.89 亿张自然网络图片的预训练集。SAT-493M约 4.93 亿张卫星图像数据。模型本身是视觉特征骨干网络不是直接对话或直接输出类别名称的多模态大模型。分类、检测、分割、深度估计等任务通常还需要接相应的任务头。DINOv3 的重点是产生高质量的全局和密集视觉特征。附-搭建DINOv3环境python-m pip install torch torchvision--index-url https://download.pytorch.org/whl/cu128 git clone https://github.com/facebookresearch/dinov3.git.python-m pip install modelscope transformers safetensors python-cfrom modelscope import snapshot_download; pathsnapshot_download(facebook/dinov3-vits16-pretrain-lvd1689m, local_dir./weights/dinov3-vits16); print(模型目录:, path)验证环境 python-cimport torch; from transformers import AutoModel; pr.\weights\dinov3-vits16; modelAutoModel.from_pretrained(p, local_files_onlyTrue).to(cuda).eval(); print(模型类型:, type(model).__name__); print(设备:, next(model.parameters()).device); print(参数量:, sum(x.numel() for x in model.parameters())); print(特征维度:, model.config.hidden_size); print(Patch大小:, model.config.patch_size); print(Register tokens:, model.config.num_register_tokens)