DINOv3 零样本语义分割完全指南:从逐类标注到像素级类别图
DINOv3 零样本语义分割完全指南从逐类标注到像素级类别图【免费下载链接】dinov3Reference PyTorch implementation and models for DINOv3项目地址: https://gitcode.com/GitHub_Trending/di/dinov3DINOv3 是 Meta 的自监督视觉基础模型家族其中 dino.txt 分支把视觉与文本对齐到同一特征空间让你不标注、不训练就能做 DINOv3 零样本分割。读完本文你可以写出可运行的像素级类别图推理脚本。一、为什么需要它问题与方案对比 传统语义分割流程从像素级标注开始而这一步恰恰最贵换一个新任务就要重新标一轮类别一变又要重标。部分团队尝试 CLIP 类开放词汇方案但它的视觉侧特征主要依赖单个 CLS token遇到细线结构和小目标时密集的空间细节明显掉档。DINOv3 换了路线骨干先用自监督学出 patch 级密集特征再由 dino.txt 通过对比学习把文本编码器对齐到同一空间于是任意像素的特征都能直接与任意文本匹配。密集特征在 patch 粒度空间细节更强零样本换类别不训练即可用文本对齐靠 dino.txt 直接给出多头复用分类检测深度分割共用二、5 分钟跑通准备环境并运行首个推理代码 ⚡先确认你有 Linux 环境、PyTorch ≥ 2.7.1 和可用的 micromamba。克隆仓库并创建环境git clone https://gitcode.com/GitHub_Trending/di/dinov3 cd dinov3 micromamba env create -f conda.yaml micromamba activate dinov3运行最小脚本验证双塔能输出同空间特征import torch from PIL import Image from torchvision import transforms from dinov3.hub.dinotxt import dinov3_vitl16_dinotxt_tet1280d20h24l model, tokenizer dinov3_vitl16_dinotxt_tet1280d20h24l() # 权重拉不下来时用 weights 与 backbone_weights 指到本地 .pth model.to(cuda).eval() text_feats model.encode_text(tokenizer.tokenize([a photo of a cat.]).to(cuda), normalizeTrue) t transforms.Compose([ transforms.Resize(512, antialiasTrue), # 短边对齐保持原图纵横比 transforms.ToTensor(), transforms.Normalize((0.485, 0.456, 0.406), (0.229, 0.224, 0.225)), ]) img_feats model.encode_image(t(Image.open(cat.jpg)).unsqueeze(0).to(cuda), normalizeTrue) print((img_feats * text_feats).sum(-1)) # 该相似度越高图像被判为 cat 的把握越大如果你看到下载失败或哈希校验报错通常是权重 URL 不对或本地文件不完整核对dinov3/hub/backbones.py中的默认下载地址并指向正确的本地路径。三、拆解零样本分割工作流三步代码走读 把整条流程拆成三个操作编码文本 → 提取密集特征 → 映射相似度每一步的输出都是下一步的输入。3.1 批量编码类名生成 dino.txt 文本特征这一步把类名变成归一化的文本向量多个提示模板取平均以抵消措辞差异。import torch.nn.functional as F PROMPT_TEMPLATES [a photo of a {0}., a close-up photo of a {0}.] text_feats [] for name in class_names: # class_names 是目标类名字符组 tokens tokenizer.tokenize([t.format(name) for t in PROMPT_TEMPLATES]).to(cuda) feats model.encode_text(tokens) feats feats[:, feats.shape[1] // 2:] # 前半段对应 CLS token密集任务用不到 feats F.normalize(feats, dim-1).mean(0) # 对模板取平均抹平措辞随机性 text_feats.append(F.normalize(feats, dim-1)) text_feats torch.stack(text_feats) # [num_classes, 1024]关键要点文本特征只需算一次循环外缓存之后所有图像复用。→ 拿到类的向量后还需要给图像上每个 patch 一个同维向量。3.2 从图像提取 DINOv3 密集特征这一步把图像送进骨干和 2 个头部块输出每个 16×16 patch 一条向量。import math import torch.nn.functional as F def encode_image(img): # img: [B, 3, H, W] B, _, H, W img.shape P model.visual_model.backbone.patch_size new_H, new_W math.ceil(H / P) * P, math.ceil(W / P) * P if (H, W) ! (new_H, new_W): # 先补齐到 patch 整数倍网格才不会越界 img F.interpolate(img, size(new_H, new_W), modebicubic) B, _, h_i, w_i img.shape _, _, patch_tokens model.visual_model.get_class_and_patch_tokens(img) return patch_tokens.reshape(B, h_i // P, w_i // P, -1) # [B, h, w, D]关键要点特征网格尺寸为“图像尺寸除以 16”这就是 DINOv3 密集特征的像素级基础。→ 两侧都是向量之后剩下的事就是一次点积。3.3 计算相似度图输出 DINOv3 零样本分割结果这一步用 einsum 一次对齐所有类向量和所有 patch 向量相似度最高的类即为该位置类别。def predict_whole(img, text_feats): blocks encode_image(img.unsqueeze(0))[0] # [h, w, D] blocks F.normalize(blocks, dim-1) cos torch.einsum(cd,hwd-chw, text_feats, blocks) # [num_classes, h, w] return cos # 低分辨率相似度图放大回原图尺寸后 argmax 即类别图高分辨率图像改用滑动窗口参考实现中side384、stride192每个窗口内做 softmax 后放大重叠区域取平均。关键要点cosine 相似度要求两侧都先做 L2 归一化顺序不能反。四、速览底层机制从双塔到相似度图 两个塔最终都投影进同一个 2048 维空间分割本质上是“patch 特征”与“文本向量”之间的矩阵乘法。输入 → 变换 → 输出image → ViT-L/1624 层patch16→ patch tokens [h, w, 1024] → 2 个自注意力头部块 线性投影 → [h, w, 1024] text → 24 层因果 Transformer77 tokens→ 文本 tokens → argmax 池化 线性投影 → [1024] align: cos(patch, text) × logit_scale → [num_classes, h, w] 相似度图视觉侧骨干在 dino.txt 训练时冻结只学 2 个头部块和投影层因此骨干的密集特征不会被对齐任务带偏。对齐损失是双向 InfoNCE图像-文本正对拉近负对推远logit_scale是可学习的温度系数等价于把原始点积换算成 softmax 前的 logit。关键实现分别位于dinov3/models/vision_transformer.py骨干、dinov3/eval/text/vision_tower.py视觉塔、dinov3/eval/text/dinotxt_model.py双塔与 logits。五、实战场景与调优两套可直接改的领域配置 把class_names换成你的领域词表再调“输入分辨率”和“推理模式”两个参数即可迁移。5.1 对城市街景做 DINOv3 零样本分割Cityscapes 共 19 类且图像尺寸大必须用滑动窗口推理。class_names (road, sidewalk, building, wall, fence, pole, traffic light, traffic sign, vegetation, terrain, sky, person, rider, car, truck, bus, train, motorcycle, bicycle) pred predict_slide(img, text_feats, side384, stride192) # 大图走窗口推理 pred pred.argmax(0) # [H, W] 的类别索引图参数典型值影响resize短边512越大细节越好显存约按平方增长side/stride384 / 192side 越大边界越细stride 小于 side 产生重叠平均提示模板数2~4 条细粒度类别下越多越稳⚠️ 滑动窗口模式累加的是各窗口 softmax 的局部平均不是全局真实概率不要直接拿去做置信度阈值过滤。5.2 医学器官分割医学图像通常不超过 2048 像素整图模式就够用重点是控制类别数和模板措辞。medical (lung, liver, kidney, bone, tumor) tf encode_text_feats(medical) # 流程同 3.1 pred F.interpolate( predict_whole(img, tf)[None], sizeimg.shape[1:], modebilinear )[0].argmax(0) # 低分辨率相似度图放大回原图再取类别参数典型值影响类别数5~10类别过多会拉低 top-1 分布的信噪比输入分辨率512~768小病灶靠更高分辨率先放大图像而非指望模型内插提示模板2~3 条器官词歧义少模板不必多六、速查表与下一步五处文件先记住 先记住这张表再决定往哪个方向深入。关键文件/目录用途何时需要修改dinov3/hub/dinotxt.pydino.txt 加载入口返回模型与分词器需要指定本地权重时dinov3/eval/text/dinotxt_model.py定义双塔结构与对齐 logits想改池化方式或特征维度时notebooks/dinotxt_segmentation_inference.ipynb零样本分割参考实现换数据集或评估指标时dinov3/configs/train/预训练与蒸馏配置自训模型时dinov3/data/datasets/ImageNet、COCO 等数据集类接入自定义数据时下一步可以做的事跑通notebooks/里其余四个 notebookPCA 可视化、前景分割、稠密/稀疏匹配、分割跟踪换用 SAT-493M 卫星权重在遥感数据上评估零样本效果通过 Hugging Face Transformers 或 timm 直接复用骨干省掉本地加载有自己的图文对时参照dinov3/eval/text/configs/dinov3_vitl_text.yaml训练自己的对齐模型现在你已经拥有一套可运行的 DINOv3 零样本分割流程下一步就是把你的类别和数据换进去。【免费下载链接】dinov3Reference PyTorch implementation and models for DINOv3项目地址: https://gitcode.com/GitHub_Trending/di/dinov3创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

相关新闻

AI与传统投资尽调工具对比与转型指南

AI与传统投资尽调工具对比与转型指南

1. 项目概述:投资尽调工具的变革时代2026年的投资尽调领域正在经历一场前所未有的技术革命。作为一名在金融科技领域深耕多年的从业者,我亲眼见证了尽调工具从Excel表格到云端协作,再到如今AI驱动的完整进化历程。这场变革的核心争议点在于&a…

2026/11/16 22:06:24 阅读更多 →
SmartDNS:3 个场景搞定家庭 DNS 分流

SmartDNS:3 个场景搞定家庭 DNS 分流

SmartDNS:3 个场景搞定家庭 DNS 分流 【免费下载链接】smartdns A local DNS server to obtain the fastest website IP for the best Internet experience, support DoT, DoH, DoQ. 一个本地DNS服务器,获取最快的网站IP,获得最佳上网体验&am…

2026/11/16 22:06:24 阅读更多 →
MV3浏览器插件工程化:从Service Worker到端侧AI落地的完整指南

MV3浏览器插件工程化:从Service Worker到端侧AI落地的完整指南

不夸张地说,很多人对浏览器插件的认知还停留在“往网页里塞一段 JS 改改样式”的阶段。早些年确实是这样,一个 content script 加一个 manifest.json,两百行代码就能搞定一个“小脚本”。但你在 MV3 时代再做插件,会发现完全不是那…

2026/11/11 16:17:45 阅读更多 →

最新新闻

Electron桌面应用开发实战:从环境搭建到打包发布全流程

Electron桌面应用开发实战:从环境搭建到打包发布全流程

做前端这些年,我大部分时间都在跟浏览器标签页打交道,直到第一次把桌面应用跑起来,才发现原来自己一直被限制在地址栏和刷新按钮围起来的框框里。Electron这个词,最开始是在某段时间频繁出现在同事的讨论里,一个用HTML…

2026/11/16 8:22:12 阅读更多 →
滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

简介:亚太天能T109滑盖智能锁产品说明书是一份PDF格式的官方技术文档,主要面向智能锁安装人员、终端用户及售后维护者,帮助快速掌握产品安装、配置与常见故障处理。全包仅1个PDF文件,大小4.37MB,内容结构清晰&#xff…

2026/11/16 6:41:34 阅读更多 →
PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

上个月我在调试一台高速AGV的驱动系统,整车要求空载跑到8m/s,电机转速已经拉到额定点,驱动器的输出电压也顶到了母线电压极限附近。再往上踩速度指令,转速纹丝不动,三相电流反而开始震荡。那会儿我的第一反应就是&…

2026/11/16 8:22:12 阅读更多 →
C++核心知识点:从内存管理到STL的实战指南

C++核心知识点:从内存管理到STL的实战指南

C 这门语言我前前后后折腾了十几年,用它写过嵌入式驱动、做过游戏服务端,也搭过基础组件库。每次看到新人一头扎进"C 核心知识点"这个搜索词,我其实挺感慨的——这门语言的难点从来不是语法多,而是知识点之间的耦合太深…

2026/11/16 8:22:12 阅读更多 →
T109滑盖智能锁怎么装?安装调试与故障排查全攻略

T109滑盖智能锁怎么装?安装调试与故障排查全攻略

简介:亚太天能T109滑盖智能锁产品说明书以PDF格式发布,适合智能锁用户、安装人员与售后维修人员阅读。内容围绕T109系列指纹密码刷卡锁展开,先介绍前面板、后面板、锁体、机械钥匙、电池盒盖等部件名称与功能,再给出完整安装步骤&…

2026/11/16 7:30:18 阅读更多 →
LLM知识降熵:从信息垄断到理解权下放

LLM知识降熵:从信息垄断到理解权下放

你有没有过这种经历:翻开源码注释、论文摘要或者一份专业报告,每个字都认识,连在一起却像天书。想找人聊聊,身边要么没人懂,要么懂的懒得跟你解释。后来我试着把同一段内容丢给一个大语言模型,几秒钟之后&a…

2026/11/16 8:22:12 阅读更多 →

日新闻

周新闻

月新闻