【免费下载链接】splashA local inference engine for Apple silicon, built around the model.项目地址https://gitcode.com/gh_mirrors/splash20/splash点击查看免费下载Splash 是一款专为 Apple silicon 打造的本地推理引擎让你在一台 Mac 上直接运行编程智能体coding agent和 OpenAI / Anthropic 兼容应用。对新手来说最大的困惑往往不是怎么装而是splash serve --model后面到底该填哪个模型。这篇文章围绕Splash 模型选择这条主线讲清 GGUF、MLX 4-bit 与 NVFP4 三种量化格式的差异并给出 24GB 内存 Mac 的具体选型建议。一分钟看懂三种量化格式的区别量化就是给模型权重做压缩bit 数越低文件越小、越省内存但精度可能略有损失。Splash 目前支持两个模型家族——Qwen3.8-27B稠密模型和Qwen3.6-35B-A3BMoE 模型激活参数仅约 3B解码更快并会自动挑选并下载配套的 DFlash2 草稿模型投机解码的核心无需手动指定。量化格式代表模型 ID有效位宽推荐内存一句话点评MLX 4-bitmlx-community/Qwen3.8-27B-4bit4-bit36GB48GB 更稳官方默认推荐兼容性与速度最均衡 ✅GGUFunsloth/Qwen3.8-27B-GGUF:UD-Q4_K_M1–8-bit 任选混合精度最低可到 24GB变体最多低比特档位是 24GB 机型的救星NVFP4nvidia/Qwen3.8-27B-NVFP4约 4.625-bit36GB4-bit 浮点质量高于普通 4-bit体积略大三点需要知道的细节GGUF 的 Unsloth UD 系列覆盖 1–8 bit但UD-Q8_K_XL和 BF16 两种目标目前不支持NVFP4每权重实际占 4.625 bit多出的 0.625 bit 存 E4M3 缩放因子所以比纯 4-bit 稍大长上下文下内存更紧模型 ID 采用OWNER/REPO:VARIANT语法冒号后面的:UD-Q4_K_M就是量化变体同一仓库换个变体即可换精度档位。选型规则与家族定义可以参见 install/families.py 和 install/gguf.py。按 Mac 内存选模型分界线就在 36GB36GB 及以上统一内存首选 MLX 4-bit这是最省心的路线官方 Quick start 示例就是它brew install incoai/tap/splash splash serve --model unsloth/Qwen3.8-27B-GGUF:UD-Q4_K_M # 或 MLX 4-bit splash serve --model mlx-community/Qwen3.8-27B-4bit参考官方在 M5 Pro16 核 GPU / 48GB上的数据README.md指标Qwen3.6-35B-A3BQwen3.8-27B短提示词解码速度210 tok/s74 tok/s32K 提示词 Prefill2,011 tok/s363 tok/s缓存命中的首 token 延迟32K 回放123 ms282 ms 同一台机器上35B-A3B 因为激活参数少日常问答明显更快27B 稠密模型在需要更强逐字推理的场景更稳可按口味二选一。24GB 内存 Mac 必读走低比特 GGUF官方明确说明4-bit 示例需要至少 36GB 统一内存推荐 48GB24GB 的 Mac 请使用更小的 GGUF 变体。官方在 24GB M612 核 GPU上实测的两个组合docs/performance.md#smaller-ggufs-on-24-gb-macs模型 ID变体代码解码速度可用上下文容量unsloth/Qwen3.8-27B-GGUF:UD-IQ3_XXS43.5 tok/s约 73.7K tokens加--language-only后约 102.4Kunsloth/Qwen3.6-35B-A3B-GGUF:UD-Q2_K_XL145 tok/s256K tokens另有更极端的选项Prism ML 的 Ternary-Bonsai-2-27BPQ2_0 格式仅 7.2 GB还支持视觉输入是 24GB 机器跑 27B 的轻量方案。给 24GB 用户的三条实操建议跑编程智能体如 Claude Code大约需要 100K token 上下文用 27B 时建议加--language-only跳过视觉权重把内存让给上下文内存吃紧时开启--max-cache-disk 16G把被挤出的缓存写到 SSD避免长请求因resource_timeout失败启动时若内存放不下Splash 会打印内存预算明细并停止——这是保护性设计换低比特变体即可。NVFP4 适合谁如果你的 Mac 有 36GB 内存、且想要比 4-bit 更高的输出质量可以考虑 NVFP4 检查点nvidia/Qwen3.8-27B-NVFP4、unsloth/Qwen3.8-27B-NVFP4、unsloth/Qwen3.6-35B-A3B-NVFP4以及 NVFP4 版的 GGUF 文件也都能直接加载。它的加载原理与格式细节见 DEVELOPMENT.md 的 Model Optimizer targets 一节内核按统一格式表解码runtime/metal/abi/QuantFormat.h。简单说36GB 内存选它不会错24GB 内存则优先低比特 GGUF。三步启动本地推理服务安装要求 Apple M3 或更新、macOS 26.4 或更高、已装 Homebrewbrew install incoai/tap/splash启动服务首次会自动下载目标模型 配套草稿27B 4-bit 约 21 GB、35B 约 24 GB 磁盘占用留好空间splash serve --model mlx-community/Qwen3.8-27B-4bit开始使用终端出现Ready后保持窗口开着浏览器打开127.0.0.1:8000使用内置聊天页或另开终端运行splash opencode # 或 splash claude / splash codex值得一提的是Splash 在下载任何权重之前就会用引擎自己的规则校验模型配置model-check预检不匹配的模型会提前告诉你原因不会白下载几十 GB。常用启动参数速查表参数作用什么时候用--max-memory 28G给 Metal 内存设上限需要同时开其他大内存应用--max-context 100K手动限制上下文长度默认自动填满预算想省内存时--kv-format bf16KV 缓存用 BF16默认 INT8追求更高精度代价是 KV 内存约翻倍--language-only跳过视觉权重24GB 机器跑编码代理时强烈建议--idle-release off空闲时不释放模型默认 10 分钟后释放频繁重启对话想省冷启动--max-cache-disk 16GSSD 缓存前缀内存不够时兜底24GB 机器跑长上下文完整参数见splash serve --help与 DEVELOPMENT.md#server-options。选型速查表收藏这一张就够了你的情况推荐选择48GB 内存、想要最佳综合体验mlx-community/Qwen3.6-35B-A3B-4bit快或...Qwen3.8-27B-4bit稳36GB 内存、追求输出质量nvidia/Qwen3.8-27B-NVFP4或unsloth/Qwen3.8-27B-NVFP424GB 内存、日常对话unsloth/Qwen3.6-35B-A3B-GGUF:UD-Q2_K_XL145 tok/s256K 上下文24GB 内存、跑编程代理unsloth/Qwen3.8-27B-GGUF:UD-IQ3_XXS --language-only再配--max-cache-disk24GB 内存、想跑视觉prism-ml/Ternary-Bonsai-2-27B-gguf:PQ2_07.2 GB常见问题新手最容易踩的坑为什么我的模型加载失败优先检查变体是否是UD-Q8_K_XL或 BF16——这两类暂不支持其余 Unsloth UD 系列从UD-IQ1_S起均可加载详见 GGUF targets 说明。请求中途报resource_timeout说明服务中的请求拿不到内存关闭吃内存的 App或改用--language-only降低基线占用。想固定模型版本加--revision commit否则每次启动都会跟随仓库默认分支更新。下载放不到默认磁盘用HF_HUB_CACHE/Volumes/Models/huggingface splash serve ...指定缓存位置。最后总结内存 36GB 以上闭眼选 MLX 4-bit追求质量上限选 NVFP424GB 内存则是低比特 GGUF 的主场——按上面的速查表对号入座三条命令就能让 Splash 在你的 Mac 上跑起来。更多细节可参考 docs/performance.md 与 DEVELOPMENT.md。赞分享【免费下载链接】splashA local inference engine for Apple silicon, built around the model.项目地址https://gitcode.com/gh_mirrors/splash20/splash点击查看免费下载相关推荐llama.cpp GGUF 量化完全指南格式选型、模型转换与质量调优llama.cpp GGUF 量化完全指南格式选型、模型转换与质量调优 本指南以 llama.cpp 量化参考文档 https://link.gitcode.AI 技能人工智能大模型深度学习OpenGUI执行模型怎么选豆包、千问、OpenAI与Claude完整选型指南OpenGUI执行模型怎么选豆包、千问、OpenAI与Claude完整选型指南 OpenGUI 是一个 Android GUI Agent 框架AI 能看见OpenProject 自托管完整指南3 条路径从 0 跑通开源项目管理实例OpenProject 自托管完整指南3 条路径从 0 跑通开源项目管理实例 SaaS 账单翻倍之后把项目管理搬回自己服务器 当项目管理 SaaS 的续约报后端前端项目管理企业应用协同办公创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考