7.89GB 文件不等于 8GB 显存能跑Saluki 27B 部署前没人告诉你的内存真相【免费下载链接】Underdog-Saluki-27B-1.0项目地址: https://ai.gitcode.com/hf_mirrors/ConwayResearch/Underdog-Saluki-27B-1.0Underdog-Saluki-27B-1.0 发布后7.89 GB 跑 27B 这个数字被反复传播2-bit IQ2-mix 量化、工具调用 88/120 反超 54 GB 全尺寸原模型、官方自称Runs on 16 GB laptop。于是不少人的第一反应是——文件 7.89 GB那我 8 GB 显存的显卡是不是也能塞下答案是否定的。7.89 GB 是权重文件的大小不是运行时内存的账单。一个 GGUF 文件落地到推理进程里要额外承担上下文 KV cache、计算缓冲区、可选视觉模块和并发请求的叠加开销。本文不吹不黑只算账先拆清楚 7.89 GB 这个数字到底由什么构成再把文件大小与显存/内存需求之间的每一笔差额摊开最后给出不同硬件配置下的真实可运行窗口。7.89 GB 是怎么算出来的GGUF 只含权重先纠正一个更隐蔽的坑仓库里那个 Underdog-Saluki-27B-1.0-IQ2-mix.gguf 的 LFS 指针文件里写得很清楚实际字节数是7898369152。按厂商习惯的十进制换算除以 1000³是 7.898 GB所以对外宣传 7.89 GB但按操作系统和文件管理器的二进制换算除以 1024³它只有7.36 GiB。如果你用du或资源监视器看到的7.4 GB去对官方宣传数字会产生第一层困惑——这不是模型有问题而是两套计数体系。其次这个文件里装的是纯权重。Saluki 是基于 Qwen3.8-27B 的 2-bit 量化调优版由 NOTICE 可知它构建在 ISTA-DASLab 的Qwen3.8-27B-GSQ-RCO-IQ2_XS.gguf之上原模型是约 54 GB 的 BF16 全尺寸版本。GGUF 的职责就是压缩权重本身把大部分参数压到平均 2 bitIQ2-mix 是混合量化不同张量用不同精度的 2-bit 变体换来 1/7 的体积。而推理引擎要运行除了权重还需要其他几样东西它们不在文件里却在进程的地址空间里占着实打实的字节。上下文、并行工具调用和 mmproj 的额外内存账KV cache随上下文与并发数膨胀llama.cpp 推理时每个 token 的注意力键值K/V都要缓存在内存里这就是 KV cache。它的理论大小是KV cache 2 × 层数 × KV 头数 × 头维度 × 上下文长度 × 每个元素字节数官方推荐的启动命令直接拉满 32K 上下文README.md 的 Quickstartllama-server -m Underdog-Saluki-27B-1.0-IQ2-mix.gguf --jinja -ngl 99 -fa on -c 32768以 27B 级模型、GQA 架构的常见配置粗略估算F16 精度的 KV cache 在 32K 上下文下会达到数个 GiB 的量级如果把 KV cache 也量化如 Q8_0可以再省约一半。更要命的是它是按上下文长度 × 并发请求数线性扩张的llama-server每多一个并发请求就多一份独立的 KV cache。你看到的 7.89 GB 权重是固定项KV cache 才是随负载浮动的大头。thinking 模式生成变长峰值内存更高Saluki 默认开启 thinking与 Qwen3.8 一致可逐请求切换。README.md 的 Limitations 明确承认thinking 开启时模型often reasons at length before answering。推理 token 越长KV cache 峰值越高、总生成时间越长——这对内存账是双重打击。所以官方给工具调用场景的黄金组合是 thinking 关闭 temperature 0# 通过 OpenAI 兼容 API 下发 { chat_template_kwargs: { enable_thinking: false } }工具调用基准120 题得 88 分、并行调用 42 分正是在thinking 关闭 temperature 0条件下测得的。而并行工具调用意味着单次回复要一次性输出多个 tool call输出序列显著加长——这也是为什么普通对话勉强能跑的机器一上并行 agent 场景就 OOM。mmproj视觉能力是外挂不是默认主文件是纯文本模型。要看图得再挂一个视觉投影模块文件大小十进制定位mmproj-Underdog-Saluki-27B-1.0-F16.gguf928 MB高精度视觉插件mmproj-Underdog-Saluki-27B-1.0-Q8_0.gguf629 MB省内存视觉插件启动时用--mmproj挂载llama-server -m Underdog-Saluki-27B-1.0-IQ2-mix.gguf --mmproj mmproj-Underdog-Saluki-27B-1.0-Q8_0.gguf --jinja -ngl 99 -fa on -c 32768也就是说带视觉的 7.89 GB实际是7.89 GB 0.63~0.93 GB而且 mmproj 加载后同样常驻显存/内存。除此之外还有一层容易被忽略的计算缓冲区compute bufferFFN、attention 的前向计算临时张量虽小但 2-bit 反量化到中间精度时也会瞬时占掉几百 MB 到 1 GB-b和-ub参数可以限制它代价是性能。不同硬件配置下的真实可运行窗口把账算全结论就清晰了。8 GB 显存的独显如 RTX 4070 Laptop / 4060 8GB装不下完整运行态仅权重就有 7.36 GiB再加上 KV cache 和缓冲区必然超限。这并不意外——官方主站对硬件门槛的表述从来不是8 GB 显存而是Runs on 16 GB laptop即 16 GB 统一内存/内存的整机。分场景给出真实窗口场景一16 GB 统一内存的 Mac / 核显本官方宣称的目标机器权重 7.36 GiB 32K F16 KV cache数个 GiB 系统开销整机 16 GB 可以跑但属于贴着天花板建议-fa on开启 Flash Attention、-c按需下调到 8K~16K视觉模块选 Q8_0 版本。这也是它面向本地 agent 跑在已有设备上定位的底气——不需要买 54 GB 版才能用的企业级显存。场景二8 GB 显存独显最容易被 7.89 GB 误导的配置权重全量进显存就占掉 7.36 GiBKV cache 没有容身之地。唯一可行路径是部分卸载把-ngl降到 20~30让一部分层驻留在系统 RAM注意这时系统内存至少要 16 GB显存只做计算主力。换来的是每次跨层都要走 PCIe延迟明显上升——能跑但别期待8 GB 显存跑满血 Saluki。场景三纯 CPU / 大内存服务器32 GB RAM无独显-ngl 0全 CPU 推理可行llama.cpp 对 2-bit 权重的 CPU 支持完整32 GB 内存可以同时开 32K 上下文和并发请求。此时瓶颈从内存变成速度建议--mlock锁页防换出配合-t调满核心。官方 SWE-bench 30/50、IFEval 93.5 的成绩正是在标准 llama.cpp 上跑出来的说明它不挑运行时但物理内存的账要先算清。一句话总结这份内存真相文件体积是购买价格运行内存是持有成本。7.89 GB 的 GGUF 只代表你省下了 46 GB 的下载和存储开销真要跑起来16 GB 整机是官方认证的及格线8 GB 显存独显需要显存内存混合接力而带视觉、开 thinking、拉 32K 上下文、上并行 agent 时——每一笔都要在预算表里提前画好。部署前先按权重 KV cache mmproj 缓冲区 并发系数算一遍比盯着 7.89 GB 这个营销数字靠谱得多。【免费下载链接】Underdog-Saluki-27B-1.0项目地址: https://ai.gitcode.com/hf_mirrors/ConwayResearch/Underdog-Saluki-27B-1.0创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考