如何用 DINOv3 实现零训练零样本语义分割:dino.txt 完整实战
如何用 DINOv3 实现零训练零样本语义分割dino.txt 完整实战【免费下载链接】dinov3Reference PyTorch implementation and models for DINOv3项目地址: https://gitcode.com/GitHub_Trending/di/dinov3你手上有几张 4K 街景图要分出道路、车辆、天空、行人却一个标注像素都没有。DINOv3 的 dino.txtDINOTxt模型可以做到只给它一份类别名列表就能输出像素级分割图不训练、不标注。从类别名到分割图3 分钟看懂对齐原理dino.txt 本质上是一个双塔对比模型。左塔是 DINOv3 的 ViT-L/16 骨干外加两个注意力块右塔是一个 24 层因果 Transformer 文本编码器。两者联合训练真实匹配过的图文对在特征空间里被拉近不匹配的推远。训练结束后图像特征和文本特征共享同一个 2048 维空间距离近就意味着语义相近。图像侧的设计与常见 CLIP 不同。它不把整张图压成一个向量而是为每个 16×16 的图像块patch各输出一个特征向量。一张 512×512 的图会生成 32×32 的特征网格这个网格的分辨率就是分割输出的原生分辨率。文本侧则把每个类别名套进若干提示模板里编码成单个向量。于是推理只剩一步内积把 patch 特征和文本向量各自 L2 归一化后做余弦相似度Cosine Similarity计算每个位置得到 C 个分数C 为类别数取 argmax 即得类别。整个过程没有需要训练的参数输入只有类别名列表和图像本身。从环境到首次推理最短路径项目自带 conda 环境文件模型权重会在首次加载时自动下载git clone https://gitcode.com/GitHub_Trending/di/dinov3 cd dinov3 micromamba env create -f conda.yaml micromamba activate dinov3Python 里一行调用即可拿到模型和分词器import torch import torch.nn.functional as F from dinov3.hub.dinotxt import dinov3_vitl16_dinotxt_tet1280d20h24l # 自动下载 DINOv3 骨干与 dinotxt 视觉头/文本编码器返回 (model, tokenizer) model, tok dinov3_vitl16_dinotxt_tet1280d20h24l() model.to(cuda, non_blockingTrue).eval() tokenize tok.tokenize # 接收字符串列表返回 [N, 77] 的 token id文本侧的编码函数值得单独拎出来。类别名需要套进提示模板参考 notebook 里有近 80 条调试时先用 3 条就够TEMPLATES (a photo of a {0}., a photo of many {0}., a close-up photo of a {0}.) def encode_text(class_name: str) - torch.Tensor: 类别名 模板 - 单个类别的文本向量 tokens tokenize([t.format(class_name) for t in TEMPLATES]).to(cuda) feats model.encode_text(tokens) # [模板数, 2048] feats feats[:, feats.shape[1] // 2:] # 丢弃 CLS 槽位保留与 patch 对齐的半边 feats F.normalize(feats, dim-1).mean(dim0) # 对所有模板取平均 return F.normalize(feats, dim-1) # 再次归一化便于余弦计算这里有个第一处容易踩的坑encode_text输出 2048 维但做像素级对齐只用后 1024 维。原因是视觉塔的输出是类别向量 patch 向量两段拼接文本向量按同构设计输出了对应结构而像素级任务只需要与 patch 对齐的那一半。核心机制拆解图像侧补齐到 16 的倍数取 patch 特征图骨干按 16×16 切块所以输入分辨率必须是 16 的整数倍否则最后一行列无处安放。参考实现先用双三次插值把图拉伸到 patch 尺寸的倍数再提特征import math def encode_image(img: torch.Tensor) - torch.Tensor: img: [3, H, W] 归一化张量返回 [h, w, D] 的 patch 特征图 img img.unsqueeze(0) _, _, H, W img.shape P model.visual_model.backbone.patch_size # DINOv3 的 patch 尺寸 16 new_H, new_W math.ceil(H / P) * P, math.ceil(W / P) * P if (H, W) ! (new_H, new_W): # 拉伸到 16 的倍数保证图像能被完整切成整数个 patch img F.interpolate(img, size(new_H, new_W), modebicubic, align_cornersFalse) _, _, h_i, w_i img.shape # 返回 (cls 特征, patch 特征, 骨干原始 patch token)分割只用中间那个 _, patch_tokens, _ model.visual_model.get_class_and_patch_tokens(img) # 把序列维还原成二维网格[1, h, w, D] return patch_tokens.reshape(1, h_i // P, w_i // P, -1).contiguous()[0]注意get_class_and_patch_tokens返回的第二项不是骨干原始输出而是穿过两个额外头块head blocks后的 patch 特征。这两个头块正是 dinotxt 真正训练过的参数骨干全程冻结承载了与文本对齐的语义直接决定相似度算得准不准。这一段把图像变成按网格排列的语义向量矩阵是后续所有相似度计算的坐标系。相似度计算一条 einsum 出类别热图两侧特征就绪后推理的核心只有一行。text_feats形状 [C, D]特征图 [h, w, D]def predict_whole(img: torch.Tensor, text_feats: torch.Tensor) - torch.Tensor: 返回 [C, h, w] 的余弦相似度每个类别一张低分辨率热图 patch_feats F.normalize(encode_image(img), dim-1) # [h, w, D] cos torch.einsum(cd,hwd-chw, text_feats, patch_feats) # [C, h, w] return cos两边都已 L2 归一化点积就是余弦值范围 [-1, 1]。每个网格点上的 C 维分数就是该位置对所有类别的投票。这个函数是全链路的原子单元全图模式直接用它滑窗模式也建立在它之上。滑动窗口4K 大图怎么处理Transformer 自注意力开销随 patch 数平方增长。一张 4096 宽的图patch 数量是 512 宽图的 64 倍整图一次前向既放不进显存也保不住细节——大分辨率会被压成粗网格小目标直接糊掉。滑动窗口Sliding Window策略把图切成重叠窗口逐块跑predict_whole再写回原分辨率取平均def predict_slide(img, text_feats, side384, stride192): side: 窗口边长stride: 步长。返回原图分辨率的 [C, H, W] 相似度 _, H, W img.shape C text_feats.shape[0] probs torch.zeros(C, H, W, deviceimg.device) counts torch.zeros(H, W, deviceimg.device) h_grids max(H - side stride - 1, 0) // stride 1 w_grids max(W - side stride - 1, 0) // stride 1 for i in range(h_grids): for j in range(w_grids): y1, x1 i * stride, j * stride y2, x2 min(y1 side, H), min(x1 side, W) y1, x1 max(y2 - side, 0), max(x2 - side, 0) # 靠近图边时把窗口拉回 cos predict_whole(img[:, y1:y2, x1:x2], text_feats) # 从 patch 网格上采样到窗口像素分辨率 cos F.interpolate(cos.unsqueeze(0), size(y2 - y1, x2 - x1), modebilinear, align_cornersFalse).squeeze(0) probs[:, y1:y2, x1:x2] cos.softmax(dim0) # 类间 softmax得到软概率 counts[y1:y2, x1:x2] 1 return probs / counts # 被多个窗口覆盖的像素取均值关键在于最后两行重叠区域会被多个窗口投票平均后相当于软投票窗口接缝被自然抹平。slide 本质是给 whole 装的变焦镜头用更多次前向换空间细节。whole 与 slide 两种推理策略怎么选两种模式覆盖绝大多数场景选择依据是图像分辨率和你对延迟的容忍度场景特征推荐策略优势注意事项短边 ≤ 1024单图快速预览whole单次前向延迟最低特征图低分辨率H/16 × W/16小目标易丢4K 街景 / 遥感 / 细节敏感slideside384, stride192保留局部细节显存不爆前向次数 ≈ (H/stride)×(W/stride)留意总耗时大批量同分辨率图像whole batchGPU 利用率高分辨率越高 batch_size 越要降受显存约束whole 模式的链路最短从相似度到 mask 只需两次变换下面示例中img为已做 ImageNet 归一化的 [3, H, W] 张量cos predict_whole(img, text_feats) # [C, h, w] 低分辨率相似度 mask F.interpolate(cos.unsqueeze(0), sizeimg.shape[1:], modebilinear, align_cornersFalse).squeeze(0).argmax(0) # mask: [H, W]每个值是类别 idslide 模式只是多传两个参数输出直接就是原图分辨率省掉最后的插值probs predict_slide(img, text_feats, side384, stride192) # [C, H, W] mask probs.argmax(0) # 像素级类别图实战Cityscapes 19 类零样本评估下面走通完整任务类别定义到 mIoUmean Intersection over Union平均交并比报表。Cityscapes 有 19 个前景类别其官方标签 0 号是有效背景类所以不做偏移ADE20K 的 0 号是无意义背景需要映射到 255 再整体减 1参考 notebook 里的IGNORE_ZERO_LABEL就是处理这件事的。CLASS_NAMES ( road, sidewalk, building, wall, fence, pole, traffic light, traffic sign, vegetation, terrain, sky, person, rider, car, truck, bus, train, motorcycle, bicycle, ) # 文本特征只算一次全部图像复用 text_feats torch.stack([encode_text(c) for c in CLASS_NAMES]) # [19, D/2]每张图的流水线是短边缩放到 512 并做 ImageNet 归一化推理插值回目标分辨率argmax更新指标。数据集按返回 (PIL 图像, mask) 的 torch Dataset 包成 dataloaderfrom torchmetrics.classification import MulticlassJaccardIndex miou MulticlassJaccardIndex(len(CLASS_NAMES), averagemacro, ignore_index255).to(cuda) for img, target in dataloader: # img: [3, H, W] 归一化张量target: [H, W] 标签 img, target img.cuda(), target.cuda() probs predict_slide(img, text_feats, side384, stride192) # 插值到标注分辨率再取 argmax probs F.interpolate(probs.unsqueeze(0), sizetarget.shape, modebilinear, align_cornersFalse).squeeze(0) miou.update(probs.argmax(0).unsqueeze(0), target.unsqueeze(0)) print(fmIoU: {100 * miou.compute().item():.2f})两个细节决定指标的可比性输入必须先按短边缩放并用 ImageNet 的均值方差归一化否则特征与训练时不在同一分布评测循环里文本特征绝不重复编码一次编码的开销摊到每张图上基本为零。调优与进阶技巧模板数量参考 notebook 用近 80 条 CLIP 风格模板越多文本向量越稳快速调试保留 3~5 条核心的即可。类别名措辞写成独立物体名词sky 优于 the sky in the image多词名称保留空格traffic light。resize 短边512 快速验证正式评测上 768 以上它直接决定特征网格的基础分辨率。side 与 stridestride 取 side 的一半50% 重叠是默认选择赶时间可提到 0.75 倍 side注意边界伪影。显存紧张先降 side 而不是砍类别数文本编码只跑一次压力全在图像前向。混合精度推理可整体套torch.autocast(cuda, dtypetorch.bfloat16)新一代 GPU 上提速明显。项目关键文件导航hub 加载入口dinov3_vitl16_dinotxt_tet1280d20h24l()一次调用下载骨干与 dinotxt 权重返回模型和分词器双塔模型定义DINOTxt 本体提供encode_image/encode_text与联合前向视觉塔ViT 骨干与两个额外头块的组装负责提取 cls/patch 特征文本塔文本编码器与线性投影把每条文本池化成 2048 维向量零样本分割 notebook完整参考实现含 Cityscapes/ADE20K 数据集类、全量提示模板与两种推理模式把一份类别名列表直接变成像素级分割图全程无需训练。先跑通 whole 模式验证环境再切到 slide 对自己的数据集出一版 mIoU。【免费下载链接】dinov3Reference PyTorch implementation and models for DINOv3项目地址: https://gitcode.com/GitHub_Trending/di/dinov3创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

相关新闻

React Native网络检测组件在OpenHarmony的适配实践

React Native网络检测组件在OpenHarmony的适配实践

1. 项目背景与核心价值在跨平台开发领域,React Native 与 OpenHarmony 的结合正在开辟新的技术路径。react-native-netinfo 作为 React Native 生态中网络状态检测的核心组件,其鸿蒙化改造对开发者社区具有重大意义。这个项目本质上解决的是混合开发框架…

2026/11/19 13:45:37 阅读更多 →
memU 本地模式如何配置不同的 embedding 提供方(OpenAI、Jina、Voyage、Doubao、OpenRouter)

memU 本地模式如何配置不同的 embedding 提供方(OpenAI、Jina、Voyage、Doubao、OpenRouter)

memU 本地模式如何配置不同的 embedding 提供方(OpenAI、Jina、Voyage、Doubao、OpenRouter) 【免费下载链接】memU Personal memory across agents 项目地址: https://gitcode.com/GitHub_Trending/mem/memU memU 提供本地模式(local…

2026/11/18 10:24:44 阅读更多 →
枫叶小说CMS部署指南:PHP环境配置与cms error:332排错

枫叶小说CMS部署指南:PHP环境配置与cms error:332排错

简介:这是一套基于PHPMySQL开发的轻量级小说CMS源码,专为中小型小说网站快速建站设计,适合Web开发初学者与PHP后端实践者学习二次开发。系统仿照起点中文网架构,完整实现网站设置、分卷管理、文章发布、导航与友情链接配置、书籍信…

2026/11/17 11:41:00 阅读更多 →

最新新闻

Electron桌面应用开发实战:从环境搭建到打包发布全流程

Electron桌面应用开发实战:从环境搭建到打包发布全流程

做前端这些年,我大部分时间都在跟浏览器标签页打交道,直到第一次把桌面应用跑起来,才发现原来自己一直被限制在地址栏和刷新按钮围起来的框框里。Electron这个词,最开始是在某段时间频繁出现在同事的讨论里,一个用HTML…

2026/11/18 13:59:04 阅读更多 →
滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

简介:亚太天能T109滑盖智能锁产品说明书是一份PDF格式的官方技术文档,主要面向智能锁安装人员、终端用户及售后维护者,帮助快速掌握产品安装、配置与常见故障处理。全包仅1个PDF文件,大小4.37MB,内容结构清晰&#xff…

2026/11/18 15:33:23 阅读更多 →
PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

上个月我在调试一台高速AGV的驱动系统,整车要求空载跑到8m/s,电机转速已经拉到额定点,驱动器的输出电压也顶到了母线电压极限附近。再往上踩速度指令,转速纹丝不动,三相电流反而开始震荡。那会儿我的第一反应就是&…

2026/11/18 17:05:28 阅读更多 →
C++核心知识点:从内存管理到STL的实战指南

C++核心知识点:从内存管理到STL的实战指南

C 这门语言我前前后后折腾了十几年,用它写过嵌入式驱动、做过游戏服务端,也搭过基础组件库。每次看到新人一头扎进"C 核心知识点"这个搜索词,我其实挺感慨的——这门语言的难点从来不是语法多,而是知识点之间的耦合太深…

2026/11/18 14:33:19 阅读更多 →
T109滑盖智能锁怎么装?安装调试与故障排查全攻略

T109滑盖智能锁怎么装?安装调试与故障排查全攻略

简介:亚太天能T109滑盖智能锁产品说明书以PDF格式发布,适合智能锁用户、安装人员与售后维修人员阅读。内容围绕T109系列指纹密码刷卡锁展开,先介绍前面板、后面板、锁体、机械钥匙、电池盒盖等部件名称与功能,再给出完整安装步骤&…

2026/11/18 17:05:28 阅读更多 →
LLM知识降熵:从信息垄断到理解权下放

LLM知识降熵:从信息垄断到理解权下放

你有没有过这种经历:翻开源码注释、论文摘要或者一份专业报告,每个字都认识,连在一起却像天书。想找人聊聊,身边要么没人懂,要么懂的懒得跟你解释。后来我试着把同一段内容丢给一个大语言模型,几秒钟之后&a…

2026/11/18 14:13:08 阅读更多 →

日新闻

周新闻

月新闻