【免费下载链接】halogen-flash-serverThe fastest way to run Qwen3.8-Flash-Next on Strix Halo (gfx1151)项目地址https://gitcode.com/gh_mirrors/ha/halogen-flash-server点击查看免费下载halogen-flash-server 是一个为 AMD Strix Halogfx1151深度定制的 OpenAI 兼容推理服务端专门快速运行 Qwen3.8-Flash-Next。它最值得玩味的能力是让一台机器同时跑 4 路对话靠一块共享的KV 池管理所有会话的显存用 4 个并发槽位控制同时生成再配上1M 上下文的选填方案长会话、多 Agent 并行都不怕。本文把这三个核心配置一次讲透。 先懂概念KV 池是内存槽位是排队规则很多新手会以为每开一路对话就要多一块显存。halogen-flash-server 的设计恰恰相反见 docs/configuration.md 的Context and memory章节HALOGEN_KV_POOL_POSITIONSKV 池 内存旋钮。所有会话共享同一块池子每个注意力位置约 29.5 KiB默认 524,288 个位置可同时驻留 2 条全长262k对话约占 27.0 GiB。HALOGEN_KV_SLOTS并发槽位 延迟策略。默认 4即最多 4 路对话同时在生成每个槽位只多占约 115 MB 自身状态它不决定能不能装下池子才决定。请求被接纳时预占prompt max_tokens个位置池子装不下就按到达顺序排队不会报错。每一路流生成的 token 与单独跑该请求时逐字节一致并发不会稀释输出质量。一句话记忆调池子管装得下几路调槽位管同时跑几路、单路多快。 池子选多大4 档实测对照默认配置就是为4 路 131k 级对话准备的。文档给出的四档布局如下默认检查点、128 GB 主机KV 池大小可同时驻留设备显存适用场景262,1441 条全长对话或 4 路 65k19.8 GiB最小布局内存紧张时524,288默认2 条全长对话或 4 路 131k27.0 GiB✅ 4 路对话的标配786,4323 条全长对话或 4 路 196k34.2 GiB实测 3 条 250k 对话驻留、内存平稳1,048,5764 条全长对话或 8 路 131k36.9 GiB需HALOGEN_MAX_TOK163841M 上下文布局启动时服务端会按MemTotal − 驻留权重 − HALOGEN_HOST_RESERVE_GIB默认留 20 GiB自动降档并打印LOWERING THE POOL TO N——想要 3 条驻留就直接写 786,432别等它从 1,048,576 对半砍。每条请求日志行结尾都有pool N/positions一 grep 就知道真实池子。 4 路并发到底多快槽位的收益与代价在发布版 0.18.0 镜像上、把HALOGEN_KV_SLOTS提到 8 让所有流同时被接纳后的实测详见 docs/performance.md 与 docs/configuration.md并发流数v2 总吞吐代码贪心单流速度170–72 tok/s70–72281 tok/s40484–85 tok/s218107–108 tok/s13规律很直观流数越多总吞吐越高单流越慢超过 8 路后总吞吐不再增长。槽位的作用是闸门——5 个 worker 竞争 4 个槽时前 4 路仍按 4 流速度解码第 5 路排队而不是把所有人拖慢。社区 5-worker aider 实测4 槽单轮 42 s、8 槽单流 14.9 t/s所以重回复、重缓存的客户端用默认 4 槽就是最优。另外别担心长 prompt 拖住所有人默认分块接纳——131k 的新 prompt 会分 3 段读入段间穿插其他对话的生成步每段约 28 s而不是一次性卡 105 sHALOGEN_MAX_TOK16384还能把暂停再减半prefill 仅慢约 8%输出仍逐字节一致。多 Agent 扇出fan-out提醒父对话 50k 两个子对话各 80k起步就要82k112k112k306k个位置第五轮左右就会挤爆默认池。对策池子调到 786,432、让客户端发更小的max_tokens、或减少并行子 Agent 数量。 1M 上下文两行配置一份不同模型模型的 262,144 原生上下文可以靠静态 YaRNfactor 4扩展到 1M不设置则完全不改变行为见 docs/configuration.md-e HALOGEN_ROPE_YARN4 \ -e HALOGEN_CTX1048576 \ -e HALOGEN_KV_POOL_POSITIONS1048576 \ -e HALOGEN_MAX_TOK16384要认清它的代价它不是缓存开关而是另一种模型配置每个位置的 RoPE 都被重缩放短 prompt 也一样。1k–32k 区间困惑度 0.4–0.6%8k–30k 区间投机解码约慢 10%262k 与 1M 深度的检索测试均 9/9 通过。1M KV 缓存约 25 GB128 GB 机器上放不下默认 prefill 工作区服务端会自动把HALOGEN_MAX_TOK压到 16,384prefill 约慢 9%并打印出来。实测1,004,581 token 的 prompt 冷 prefill 17.9 分钟937 tok/sdecode 38 tok/s深度解码每步多花约 3.6 ms 读取全部 key。但开了 prompt cache 后续聊回归常速1,000,000 token 上下文的下一轮首 token 仅 0.55 s对比几十秒的冷 prefill因为注意力状态原地保留只保存很小的位置无关部分。⚠️ 提示恰好等于上下文长度的 prompt 会被拒绝——上下文必须给生成留位置。 配置速查 运维验证旋钮默认何时改HALOGEN_KV_POOL_POSITIONS524,2882×CTX想驻留更多/更长会话时调大起不来池子放不下时调小HALOGEN_KV_SLOTS4想让第 5、6 路立刻跑而不是排队时调大单流会变慢HALOGEN_CTX262,144单请求上限超过即硬报错绝不静默截断HALOGEN_MAX_TOK32,768内存不够时调 16,384 换回约 4.4 GiB 工作内存HALOGEN_ROPE_YARN/HALOGEN_HOST_RESERVE_GIB未设置 / 201M 布局时按需设置见上文启动后两条命令验证一切生效GET /health看version、池子与槽位能力、host memory leftGET /cache看pool里的positions、used、busy_regions、waiting_for_room排队和驻留一目了然。遇到启动后长 prompt 变慢先查启动行host memory left for everything else低于 10 GiB 时查表行会走磁盘prefill 会从秒级退化到分钟级——对策就是三个杠杆缩池子、降HALOGEN_MAX_TOK、停掉其他驻留大进程完整排查见 docs/troubleshooting.md。✅ 小结一台机器 4 路对话 默认 524,288 KV 池 4 个槽位零配置即得单路输出与独跑逐字节一致池子管内存、槽位管排队、HALOGEN_MAX_TOK管工作区三招解决 99% 的装不下/跑不快1M 上下文是另一种模型配置HALOGEN_ROPE_YARN4一行开启配合 1M 池 16,384 prefill 上限冷 prefill 很慢但续聊只要半秒。更多细节全部参数见 docs/FLAGS.mdContext and concurrency 一节、配置原理与数字见 docs/configuration.md、一键部署参考 docker-compose.yml 与 deploy/entrypoint.sh。赞分享【免费下载链接】halogen-flash-serverThe fastest way to run Qwen3.8-Flash-Next on Strix Halo (gfx1151)项目地址https://gitcode.com/gh_mirrors/ha/halogen-flash-server点击查看免费下载相关推荐AnimatedSvgView高级使用手册自定义动画时间与颜色配置AnimatedSvgView高级使用手册自定义动画时间与颜色配置 AnimatedSvgView是一款专为Android平台设计的SVG动画绘制库它能让开如何在一对DGX Spark上跑通DeepSeek-V4-Flash 1M上下文DSpark项目完全解读如何在一对DGX Spark上跑通DeepSeek V4 Flash 1M上下文DSpark项目完全解读 DeepSeek v4 Flash DSpark 2GLM-4-9B-Chat-1M一文解锁百万上下文对话能力GLM 4 9B Chat 1M一文解锁百万上下文对话能力 导语 智谱AI推出GLM 4 9B Chat 1M模型将上下文长度突破性扩展至100万Token大模型深度学习创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考