【免费下载链接】Underdog-Saluki-27B-1.0项目地址https://ai.gitcode.com/hf_mirrors/ConwayResearch/Underdog-Saluki-27B-1.0点击查看免费下载Underdog-Saluki-27B-1.0 是一款基于 Qwen3.8-27B 的 2-bit 量化 GGUF 模型体积仅 7.89 GB却通过 9 大基准测试证明在工具调用场景下甚至超过了 54 GB 的全尺寸原模型。本文带你逐项拆解这份以小博大的基准测试成绩单看看这个量化模型到底强在哪、弱在哪以及如何在自己的电脑上快速跑起来。 模型档案把 27B 塞进 8GB 以内在深入数据之前先了解这个模型是什么。Underdog-Saluki-27B-1.0 由 UnderdogConwayResearch团队制作基于 Qwen3.8-27B 和 ISTA-DASLab 的 GSQ-RCO 量化版本深度调优核心目标是在极限压缩体积的同时保住 tool calling函数调用能力。仓库中的三个模型文件各司其职文件体积作用Underdog-Saluki-27B-1.0-IQ2-mix.gguf7.89 GB主模型2-bit 混合量化纯文本生成mmproj-Underdog-Saluki-27B-1.0-F16.gguf928 MB视觉扩展包F16 精度可选mmproj-Underdog-Saluki-27B-1.0-Q8_0.gguf629 MB视觉扩展包Q8_0 精度更省显存几个关键特性值得新手留意标准 llama.cpp 即可运行无需任何魔改运行时默认开启思考模式可按请求随时切换与 Qwen3.8 行为一致视觉能力是插件式的主文件不含图像能力需要时挂载 mmproj 文件即可 核心对比7.89 GB vs 54 GB 总览官方给出的四组核心指标一眼看懂这款量化模型的定位指标Saluki2-bit 量化Qwen3.8-27B 全尺寸Underdog Bench 工具调用8884并行工具调用42359 大基准平均保留率96%—模型体积7.89 GB54 GB 一句话总结体积只有原模型的约 1/7整体能力保留了 96%而在工具调用这个 Agent 时代的核心能力上量化版反而更强。️ 工具调用基准量化版反超全尺寸的意外结果工具调用是本次测试的最大亮点。Underdog Bench 取自Berkeley Function Calling LeaderboardBFCL v4的 120 道任务且在测试任何模型之前就已冻结避免应试作弊。测试条件关闭思考模式temperature 0。模型体积通过任务数/120Underdog Saluki 27B 1.07.89 GB88Qwen3.8-27B 全尺寸54 GB84Bonsai 25.95 GB70更有意思的是并行工具调用100 道 BFCL v4 并行任务官方 checkerSaluki42 分全尺寸 Qwen3.8-27B35 分一个 8 GB 的量化模型在两项工具调用基准上都超越了 54 GB 的本体这正是官方强调 tuned to keep tool calling intact 的实证。 9 大基准逐项拆解哪里强、哪里弱除了工具调用官方还跑了 7 项覆盖 Agent、指令遵循、编码与推理的基准与全尺寸模型的对比如下基准测试测试内容Saluki2-bit全尺寸 Qwen3.8-27BSWE-bench Verified真实工程问题修复3050 题33IFEval指令遵循93.591.5IFBench指令遵循72.771.0MBPP代码生成78.083.9MuSR数学推理67.579.6AIME 2025竞赛数学avg479.296.7AIME 2026竞赛数学avg480.094.6三项值得注意的反超IFEval / IFBench指令遵循双双领先93.5 vs 91.5、72.7 vs 71.0。量化调优并没有伤害模型听话的能力反而略有提升。SWE-bench 差距仅 3 题在真实软件工程任务上2-bit 量化损失被压到了极低水平。并行工具调用领先 7 分对多 Agent 编排场景意义重大。明显的短板竞赛数学必须诚实地说竞赛数学是 2-bit 量化的重灾区AIME 2025 从 96.7 掉到 79.2AIME 2026 从 94.6 掉到 80.0官方表述为保留全模型竞赛数学分数的82%~85%。如果你需要数学竞赛级别的推理能力请考虑更高量化档位或全尺寸模型。⚠️ 官方坦诚的五大局限这款模型并非万能官方在 README.md 中明确列出了局限性新手选型前务必了解竞赛数学只保留全模型 82%~85% 的水平字符级指令谜题回文、元音规则、字母排序是最薄弱环节约1/5 的并行调用回复存在小格式瑕疵思考模式开启时回答前会进行较长篇幅的推理响应更慢视觉是附加包主文件纯文本需要看图时才挂载 0.6~0.9 GB 的 mmproj 文件官方还提醒120 题是中等规模的测试集个别任务的差距可能只是运行波动run-to-run variation看趋势比抠个位数更重要。 快速上手两条命令跑起来下载主模型文件Git LFS 存储实际 7.89 GBhuggingface-cli download ConwayResearch/Underdog-Saluki-27B-1.0 Underdog-Saluki-27B-1.0-IQ2-mix.gguf --local-dir .用标准 llama.cpp 启动服务开启 Qwen3.8 的 chat 模板与工具调用支持llama-server -m Underdog-Saluki-27B-1.0-IQ2-mix.gguf --jinja -ngl 99 -fa on -c 32768服务启动后在8080 端口提供 OpenAI 兼容的 chat API可直接接入各类前端应用。按需挂载视觉能力如果需要图片理解额外下载视觉扩展包并加上--mmproj参数llama-server -m Underdog-Saluki-27B-1.0-IQ2-mix.gguf --mmproj mmproj-Underdog-Saluki-27B-1.0-F16.gguf --jinja -ngl 99 -fa on -c 32768推荐的采样参数使用场景推荐设置通用 / 推理 / 指令遵循思考模式开启默认temperature 0.6top_p 0.95top_k 20快速直接的工具调用思考模式关闭chat_template_kwargs: {enable_thinking: false}temperature 0 总结谁适合用 Underdog-Saluki-27B-1.0你的需求推荐度理由本地 Agent / 工具调用 / 函数编排⭐⭐⭐⭐⭐工具调用反超全尺寸8GB 即可上显存通用对话与指令遵循⭐⭐⭐⭐⭐IFEval/IFBench 领先能力保留 96%轻量代码辅助⭐⭐⭐⭐MBPP 78 分SWE-bench 差距很小竞赛数学 / 高难度推理⭐⭐保留率仅 82%~85%是最大短板图片理解⭐⭐⭐⭐附加 mmproj 包即可获得成本 0.6~0.9 GB核心结论Underdog-Saluki-27B-1.0 证明了 2-bit 量化不再是能力打折的代名词。它以 1/7 的体积实现了 96% 的整体能力保留并在 Agent 时代最关键的工具调用与并行调用上完成反超——如果你的场景以函数调用和多 Agent 编排为主这款模型目前是同体积段里值得优先尝试的选择。 相关资源完整说明文档README.md许可声明Apache 2.0LICENSE上游模型与版权信息NOTICE模型文件Underdog-Saluki-27B-1.0-IQ2-mix.gguf、mmproj-Underdog-Saluki-27B-1.0-F16.gguf、mmproj-Underdog-Saluki-27B-1.0-Q8_0.gguf赞分享【免费下载链接】Underdog-Saluki-27B-1.0项目地址https://ai.gitcode.com/hf_mirrors/ConwayResearch/Underdog-Saluki-27B-1.0点击查看免费下载相关推荐为什么Underdog-Saluki-27B-1.0能反超原模型揭秘2-bit IQ2-mix量化保工具体制的原理为什么Underdog Saluki 27B 1.0能反超原模型揭秘2 bit IQ2 mix量化保工具体制的原理 Underdog Saluki 27B 1Underdog-Saluki-27B-1.0 快速上手教程3条命令在 llama.cpp 上跑起7.89GB量化大模型Underdog Saluki 27B 1.0 快速上手教程3条命令在 llama.cpp 上跑起7.89GB量化大模型 Underdog Saluki 27如何给Underdog-Saluki-27B-1.0开启视觉能力mmproj视觉附加模块图文完全指南如何给Underdog Saluki 27B 1.0开启视觉能力mmproj视觉附加模块图文完全指南 Underdog Saluki 27B 1.0 是一款基创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考