【免费下载链接】map-anything-fp16项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/map-anything-fp16点击查看免费下载map-anything-fp16 是 Meta MapAnything 度量 3D 重建模型的 MLX float16 移植版一次前向推理即可输出点云 pts3d、度量深度、相机位姿、内参、置信度、有效掩码共 6 大预测输出。本文逐个拆解每个输出的含义、典型用法和常见坑帮你在 Apple 设备上快速拿到干净的 3D 重建结果。map-anything-fp16 是什么30 秒了解背景MapAnythingMeta 与 CMU3DV 2026是一个前馈式度量 3D 重建模型输入一张或多张照片可任选附加内参、深度图、相机位姿一次前向就能为每个视角同时算出完整的 3D 几何无需传统多视图立体的迭代优化。map-anything-fp16 是它的 MLX 社区移植版专为 Apple SiliconM 系列芯片优化⚖️ 权重仅 2.65 GBfloat16约为 float32 原版的一半见 model.safetensors内部由 1.13B float16 参数DINOv2 ViT-g/14 编码器 16 层多视图 Transformer和 95M float32 参数几何预测头组成仓库只含权重与元数据推理代码在 mlx-vlm 中许可证 CC BY-NC 4.0仅限非商用商用请选 Apache 2.0 版本mlx-community/map-anything-apache-fp166 大预测输出总览形状与含义一张表看懂每次推理对每个视角返回一个字典共 6 个输出用法示例见 README.md输出键形状含义pts3d(1, H, W, 3)度量世界坐标点云第一视角坐标系depth_z(1, H, W, 1)度量深度单位米camera_poses(1, 4, 4)OpenCV cam2world 位姿矩阵intrinsics(1, 3, 3)相机内参矩阵conf(1, H, W)每像素置信度越大越可靠mask(1, H, W, 1)有效像素掩码非歧义掩码它们由raydirsdepthposeconfidencemaskscale这套预测头统一生成见 config.json上表就是最终暴露给你的 6 个结果。pts3d 点云怎么用3D 重建的最终答案pts3d是每个像素在世界坐标系第一视角坐标系下的三维坐标单位是米——这就是度量重建的含义不需要再猜比例尺。典型用法直接可视化命令行模式会自动把点云导出成彩色points.ply文件用 CloudCompare 等工具打开即可参考 README.md与深度互相印证pts3d 本质是 depth_z 沿相机光线反投影的结果多视角融合多个视角的 pts3d 天然在同一坐标系下直接拼接就是完整场景depth_z 度量深度米制距离的三种典型用法depth_z是每个像素到相机的距离米由 exp 模式回归保证恒为正见 config.json。AR 应用把虚拟物体贴在正确距离处机器人/无人机实时判断障碍距离️3D 建模作为高斯泼溅等方法的深度先验注意单张图远端区域的深度误差会变大这时就要请出conf和mask来把关。conf 置信度怎么用筛掉不可靠像素的过滤器conf给每个像素打一个可靠性分数数值越高模型对该像素越有信心exp 激活见 config.json。设阈值过滤低 conf 像素直接丢弃显著减少鬼影和边缘抖动做融合权重多视角点云融合时按 conf 加权平均比简单叠加更稳诊断照片质量整体 conf 偏低说明照片模糊、过曝或缺乏纹理先换照片再谈算法mask 有效掩码第一步就该做的过滤mask是非歧义掩码标记哪些像素的预测有效1 为有效。反射面、天空、强遮挡区域容易被标记为无效。✅ 推荐处理顺序先看 mask 排除无效区域 → 再用 conf 在有效区域内挑可信像素。两步走完剩下的就是干净的几何结果。camera_poses 与 intrinsics相机位姿和内参的作用camera_poses1,4,4OpenCV 约定的 cam2world 矩阵即相机在世界坐标系中的位置与朝向。多视角时用它对齐各视角、回放拍照轨迹intrinsics1,3,3相机内参焦距、主点。手动把深度图反投影成点云或做透视变换时用得到 妙处在于不依赖外部标定拍照时没有任何相机参数模型也会把它们一并预测出来。快速上手两条命令拿到全部 6 个预测输出方式一Python API需安装支持 mapanything 的 mlx-vlmimport mlx.core as mx from mlx_vlm import load model, processor load(mlx-community/map-anything-fp16) views processor.load_images(path/to/images) predictions model.infer(views) # 每个视角一个 dict mx.eval(predictions) pred predictions[0] pred[pts3d] # (1, H, W, 3) 度量世界点 pred[depth_z] # (1, H, W, 1) 度量深度 pred[conf] # (1, H, W) 置信度方式二命令行自动写出全部输出的predictions.npz 彩色points.plyMLX_ENABLE_TF320 python -m mlx_vlm.models.mapanything.generate \ --model mlx-community/map-anything-fp16 --images path/to/images --output out两个小贴士每个视角都可以任选附加内参、深度图、相机位姿任意组合都行参考 README.md图片会被缩放到固定 518 分辨率如 518×294见 preprocessor_config.json实用技巧清单精度、速度与注意事项事项建议精度fp16 版深度中位相对误差 5e-5 ~ 2e-4度量尺度误差 1.2e-3与参考混合精度相当速度M5 Max 上 1 视角 0.06s、32 视角 2.89s约为 PyTorch MPS 的 4 倍速M5 及以上芯片务必设MLX_ENABLE_TF320否则 float32 预测头会引入最大误差源视角数量视角越多场景越完整16 视角约 1.1s成本很低许可证CC BY-NC 4.0 仅非商用商用请换 Apache 2.0 版本常见问题速答pts3d 和 depth_z 什么关系Qpts3d 和 depth_z 到底什么关系同一几何信息的两种表达depth_z 是每个像素离相机多远pts3d 是把深度沿光线放回世界坐标后的点云。要米制距离用 depth_z要 3D 场景用 pts3d。Q输出的坐标系是哪里以第一视角的相机坐标系为原点多视角结果天然在同一坐标系下无需手动对齐。Q怎么判断预测可不可信三步走mask 排除无效 → conf 阈值过滤 → 观察深度连续性是否平滑。总结map-anything-fp16 的 6 大预测输出各有分工pts3d给最终点云depth_z给度量深度camera_poses与intrinsics补齐相机参数conf和mask负责质量把关。记住mask 先过滤、conf 再筛选、pts3d/depth_z 取结果这条主线一次前向推理即可在 Apple 设备上快速拿到干净的度量 3D 重建结果。赞分享【免费下载链接】map-anything-fp16项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/map-anything-fp16点击查看免费下载相关推荐oxwm六大布局深度解析tiling、dwindle、scrolling怎么选一篇讲明白oxwm六大布局深度解析tiling、dwindle、scrolling怎么选一篇讲明白 如果你刚接触 oxwm 窗口管理器 最容易被绕晕的就是它的六大布T2V、I2V还是Ref2VMinimax-h3_Singularity四大生成工作流详解一篇讲透怎么选T2V、I2V还是Ref2VMinimax h3_Singularity四大生成工作流详解一篇讲透怎么选 Minimax h3_Singularity 是基大模型多模态媒体生成视频大模型到底是怎么训练出来的LLM Master一篇讲明白预训练、SFT微调与RLHF对齐大模型到底是怎么训练出来的LLM Master一篇讲明白预训练、SFT微调与RLHF对齐 很多人每天都在用 ChatGPT、Claude、DeepSeek却上一篇BSCCompiler编译示例从HelloWorld到复杂Java应用的全流程下一篇Ceph存储池管理开发openeuler/ceph_dev中存储池配置与优化完整指南创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考