如何在两台AMD设备上跑DeepSeek V4 FlashLucebox异构部署完整指南【免费下载链接】luceboxLLM speculative inference server for heterogeneous hardware consumer GPUs项目地址: https://gitcode.com/gh_mirrors/lu/luceboxLucebox 是一个专为异构硬件与消费级 GPU 打造的 LLM 投机推理服务器CUDA/HIP 混合后端。本指南手把手教你用两台 AMD 设备如 RX 7900 XT Strix Halo部署 DeepSeek V4 Flash 大模型并附上 CUDA 3090 Strix Halo 混合后端的完整配置方法让你在家用显卡上跑出接近 48 tok/s 的解码速度。为什么选 Lucebox 做 DeepSeek V4 Flash 异构部署DeepSeek V4 Flash 是一个 43 层的 MoE 模型每层含 256 个路由专家top-6 激活 1 个共享专家并内置 KV 压缩器与多层级残差控制器HC。这么大的模型想塞进两张非顶级 AMD 卡靠的不是把模型切碎轮流跑而是路由级专家并行route-level expert parallelism主卡如 RX 7900 XT负责注意力、KV 缓存、采样器和热点专家副卡如 Strix Halo 集成显卡承载其余的冷门专家 DSpark 推测解码草稿器每一步 MoE 层两块 GPU 各自提交专家计算再在片上合并结果全程在同一个进程内完成无需起第二个服务进程。实测成绩RX 7900 XT Ryzen AI Max 395 双 AMD 配置指标实测解码吞吐45.0 – 47.7 tok/s128K 长文本 prefill111.2 tok/s 想深入了解模型结构与执行路径可阅读 server/docs/DS4.md那里有逐层的 forward pass 说明。硬件选型哪两台 AMD 设备最合适项目已验证的双卡组合完整清单见 server/docs/RECOMMENDED_SETUPS.md组合说明RX 7900 XTgfx1100 Strix Halogfx115120 GiB 独显 128 GiB 统一内存本指南的主角R9700gfx1201 Strix Halogfx115132 GB 独显 Strix Halo实测 86 tok/s 解码RTX 3090CUDA Strix HaloHIP跨厂商混合后端下文单独介绍选型心法Strix Halo 的 128 GiB 统一内存负责装得下独显负责算得快。主卡必须能放下 dense 权重 KV 缓存 热点专家预算默认约 10.2 GiB。一键部署RX 7900 XT Strix Halo 双 ROCm 完整步骤第一步交叉编译双架构 HIP 二进制两块卡架构不同gfx1100 与 gfx1151需要一个二进制同时覆盖两种指令集并开启仿射 ROCmFP2 支持cmake -S server -B server/build-hip-dual \ -DLUCE_GPU_BACKENDhip \ -DLUCE_HIP_ARCHITECTURESgfx1100;gfx1151 \ -DLUCE_ROCMFP2_AFFINEON \ -DCMAKE_BUILD_TYPERelease cmake --build server/build-hip-dual -j第二步校准专家路由分布关键专家放在哪块卡取决于你的真实流量会路由到哪些专家。官方做法是先用代表性请求跑一遍把路由统计导出为 CSV再喂给线上服务# 1) 收集阶段跑代表性请求 LUCE_DS4_ROUTING_STATS_OUT/tmp/ds4-routing.csv \ server/scripts/serve_ds4_dual_rocm_128k.sh \ /path/to/target.gguf /path/to/dspark.gguf # 2) 服务阶段用同一份 CSV 校准放置 LUCE_DS4_HOTNESS_CSV/tmp/ds4-routing.csv \ server/scripts/serve_ds4_dual_rocm_128k.sh \ /path/to/target.gguf /path/to/dspark.gguf启动前先确认设备编号luce_server --list-devices会打印每张卡的backend:N索引。脚本默认独显为hip:0、Strix Halo 为hip:1反过来的话用DS4_MAIN_DEVICE/DS4_PEER_DEVICE环境变量覆盖。第三步理解脚本替你做了什么serve_ds4_dual_rocm_128k.sh 已内置一整套经过验证的默认值无需手工调 30 多个环境变量135,168 token 上下文128 KiB 提示 4 KiB 生成余量10,200 MiB 独显专家预算DS4_EXPERT_BUDGET_MB可调--ds4-prefill sparse批量稀疏 prefill top-k 6 全专家保真度优先DSpark 推测解码宽度 4、fused verify服务端口 8016--peer-access打开卡间直连所有设备、预算、上下文、端口等设置都可以通过脚本顶部的环境变量覆盖。如果不想本地编译官方也提供 Docker 镜像AMD 用:rocm标签模型放进server/models/即可直接docker run适合快速体验。进阶CUDA/HIP 混合后端3090 Strix Halo 同进程部署如果你手上是一张 NVIDIA 3090 加一台 Strix Halo 主机Lucebox 的混合厂商构建可以两者放进同一个进程CUDA 与 HIP 的设备索引各自独立命名空间cuda:0和hip:0是合法组合跨厂商激活值经主机内存中转。编译注意-DLUCE_ENABLE_MIXED_CUDA_HIPONcmake -S server -B server/build-cuda-hip \ -DLUCE_GPU_BACKENDhip \ -DLUCE_ENABLE_MIXED_CUDA_HIPON \ -DLUCE_CUDA_ARCHITECTURES86 \ -DLUCE_HIP_ARCHITECTURESgfx1151 \ -DCMAKE_BUILD_TYPERelease cmake --build server/build-cuda-hip -j启动时把 dense 工作放在 HIP 侧、专家并行放在 CUDA 侧草稿器通过环境变量定位到 CUDA 卡export LUCE_EXPERT_BUDGET_MB85000 # 从启动日志的显存报告调优 export LUCE_DS4_DRAFT_BACKENDcuda export LUCE_DS4_DRAFT_GPU0 ./server/build-cuda-hip/luce_server /path/to/deepseek4-target.gguf \ --target-device hip:0 \ --expert-device cuda:0 \ --draft /path/to/dspark-draft.gguf \ --ds4-prefill sparse验证该路径的回归测试是ctest -R mixed_cuda_hip更多边界说明见 server/docs/MIXED_BACKEND.md。5 个最常见的坑与排查清单解码慢得像自回归DSpark 验证器是贪心专用的temperature 0、重复惩罚等都会静默回退到普通 AR 解码。请求里显式带上temperature: 0.0。日志出现DSpark spec loaded but this request decodes AR就是在点名原因详见 DS4.md 的 Silent AR fallback 一节。设备编号对不上永远用luce_server --list-devices确认别猜。输出要逐字节精确--ds4-prefill sparse是显式近似策略对精确性有硬要求的场景改用--ds4-prefill exact并重新测速。别乱降--ds4-expert-top-k自适应qtype-105/106专家工件在 top-4 下精确复制保真度会从 95% 掉到 60%保持模型默认的 6。测速前先安静下来Strix Halo 是统一内存带宽瓶颈同机器上跑编译会把 tok/s 从 18 打到 3.8容易被误判为模型回归。最终自检清单--list-devices确认独显为主设备启动日志出现DSpark spec-decode ENABLED请求带temperature: 0且日志出现[ds4-spec]而非decode tokensN stepsN-1用 server/scripts/bench_ds4_decode.py 跑官方确定性基准确认输出字节一致延伸阅读资料路径DeepSeek V4 完整技术文档环境变量的百科全书server/docs/DS4.mdCUDA/HIP 混合后端放置指南server/docs/MIXED_BACKEND.md推荐硬件配置矩阵server/docs/RECOMMENDED_SETUPS.md双 ROCm 部署脚本server/scripts/serve_ds4_dual_rocm_128k.sh解码基准工具server/scripts/bench_ds4_decode.py两台 AMD 设备 一个进程 一条命令DeepSeek V4 Flash 就能以接近数据卡的效率在你桌上跑起来——这正是 Lucebox 异构部署的意义所在。【免费下载链接】luceboxLLM speculative inference server for heterogeneous hardware consumer GPUs项目地址: https://gitcode.com/gh_mirrors/lu/lucebox创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考