同一套 C/C++ 引擎,两个相反的数字:分布式推理的真相写在依赖结构里
两台 128 GB 的 MacBook,一根 Thunderbolt 5 直连,同一个 GGUF、同一次运行。六万多 token 的长 prompt,prefill 吞吐从单机 353.62 t/s 涨到 654.79 t/s,1.85 倍;紧接着的 generation,从单机 30.59 t/s 掉到 24.67 t/s,倒退 19.4%。同一个进程里的前后两个阶段,一个接近翻倍,一个亏掉两成。奇怪的不是有快有慢,而是它们走的是同一条链路、同一批权重。第一反应是查网络:带宽不够?TCP 参数没调?激活值该压一压?这三条路我都走过,走到底才发现方向反了——decode 慢下来的那部分,跟网络关系很小,per-token 遥测把这个账算得明明白白。真正决定一套跨节点推理系统能不能加速的,是一个跟机器数量、跟链路带宽都无关的量——它叫 M:同一时刻能填进流水线的、互不依赖的 micro-batch 数量。prefill 的 prompt 按 4096 切块,M 能到 16,流水线填得满,跨机并行才成立;decode 的每个 token 都得等上一个走完全部层,M 恒等于 1,流水线永远填不满,加机器只加空转。这条路我们一路走到 DwarfStar 引擎的ds4_distributed.c:从--layers怎么在加载期就把权重张量切开,到 coordinator 用一次回溯搜索拼出跨机路由,到 prefill 流水线那两个后台线程各自在等什么,再到 decode 路径上那个无论如何绕不开的同步往返。中间会崩三次:一次路由拼不全,一次 chunk 调小反而更慢,还有一次是一个被重启的 work

相关新闻

Claude Code工程化实践:Headless模式架构设计与落地指南

Claude Code工程化实践:Headless模式架构设计与落地指南

1. 从“玩具”到“工具”:为什么Claude Code需要工程化 最近和几个做AI应用开发的朋友聊天,发现一个挺普遍的现象:大家用Claude Code(或者类似的AI编程助手)写个Demo、修个Bug、生成点小脚本,都玩得挺溜。但…

2026/8/9 13:41:12 阅读更多 →
完美数、亲和数背后一气分合均衡量化规律

完美数、亲和数背后一气分合均衡量化规律

完美数、亲和数背后一气分合均衡量化规律摘要完全数(完美数)、亲和数是数论中极具人文色彩的古老命题。完美数等于自身全部真因子之和;亲和数则是两两成对,彼此的真因子和互相等于对方。自古希腊时代起便被不断研究,目…

2026/8/9 14:57:58 阅读更多 →
Chrome扩展MV3与服务工作者开发实战指南

Chrome扩展MV3与服务工作者开发实战指南

1. 服务工作者与Chrome扩展的进化史 2012年Chrome扩展平台首次引入后台页面(background pages)概念时,每个扩展都能拥有一个常驻内存的页面环境。这种设计虽然功能强大,但也带来了显著的内存占用问题。随着扩展生态的膨胀&#xf…

2026/8/9 14:46:28 阅读更多 →

最新新闻

欧姆龙PLC ST编程在工业自动化中的实践

欧姆龙PLC ST编程在工业自动化中的实践

1. 项目概述:工业自动化领域的ST编程实践在工业自动化领域,欧姆龙NJ/NX系列PLC凭借其卓越的性能和灵活的编程环境,已成为中高端设备控制的首选平台之一。作为从业15年的工业控制系统工程师,我亲历了从传统梯形图编程到结构化文本(…

2026/8/10 5:15:39 阅读更多 →
构建企业级AI成本控制台:统一计量、实时监控与预算预警实战

构建企业级AI成本控制台:统一计量、实时监控与预算预警实战

在企业数字化转型浪潮中,AI应用正以前所未有的速度渗透到研发、运营、营销等各个环节。然而,随着团队对各类AI模型(如OpenAI GPT、Anthropic Claude、Google Gemini等)的调用量激增,一个普遍且棘手的问题浮出水面&…

2026/8/10 5:15:39 阅读更多 →
uni-app Android离线打包多环境配置实战

uni-app Android离线打包多环境配置实战

1. 项目背景与核心需求在uni-app跨平台开发中,Android离线打包是许多中大型项目的刚需场景。当我们需要对接第三方SDK、深度定制原生功能或规避云端打包限制时,离线打包方案就成为了必选项。而实际开发中最让人头疼的,莫过于如何优雅地管理不…

2026/8/10 5:15:39 阅读更多 →
企业级AI运维中台构建:从核心能力到实战架构

企业级AI运维中台构建:从核心能力到实战架构

1. 从“玩具”到“工具”:AI Agent在运维领域的价值跃迁几年前,当我第一次接触那些号称能“自动修复故障”的AI运维工具时,感觉就像在看一场魔术表演。它们能在演示环境中流畅地执行几个预设好的命令,生成一份漂亮的报告&#xff…

2026/8/10 5:15:39 阅读更多 →
ElasticSearch核心原理与实战应用解析

ElasticSearch核心原理与实战应用解析

1. ElasticSearch 核心作用解析ElasticSearch 本质上是一个基于 Lucene 构建的分布式搜索和分析引擎。我用过最形象的比喻是:它就像图书馆里的智能索引系统,不仅能告诉你哪些书包含你要找的关键词,还能根据相关度自动排序结果。与传统数据库最…

2026/8/10 5:15:38 阅读更多 →
Python贪吃蛇游戏开发实战:从零掌握Pygame与游戏循环

Python贪吃蛇游戏开发实战:从零掌握Pygame与游戏循环

1. 项目概述:为什么用Python写贪吃蛇是绝佳的入门项目如果你刚开始学Python,或者已经学了一阵子语法,但总觉得那些变量、循环、函数离“做出一个东西”还很遥远,那么我强烈建议你动手写一个贪吃蛇游戏。这不是一个简单的练习&…

2026/8/10 5:14:38 阅读更多 →

日新闻

GraphQL-CSS API全解析:useGqlCSS、GqlCSS组件与getStyles实用指南

GraphQL-CSS API全解析:useGqlCSS、GqlCSS组件与getStyles实用指南

GraphQL-CSS API全解析:useGqlCSS、GqlCSS组件与getStyles实用指南 【免费下载链接】graphql-css A blazing fast CSS-in-GQL™ library. 项目地址: https://gitcode.com/gh_mirrors/gr/graphql-css GraphQL-CSS是一个基于GraphQL的CSS-in-GQL™库&#xff0…

2026/8/10 0:00:02 阅读更多 →
告别语言障碍:KISS Translator 双语翻译插件终极指南

告别语言障碍:KISS Translator 双语翻译插件终极指南

告别语言障碍:KISS Translator 双语翻译插件终极指南 【免费下载链接】kiss-translator A simple, open source bilingual translation extension & Greasemonkey script (一个简约、开源的 双语对照翻译扩展 & 油猴脚本) 项目地址: https://gitcode.com/…

2026/8/10 0:00:02 阅读更多 →
BepInEx配置管理器:游戏插件配置的终极可视化解决方案

BepInEx配置管理器:游戏插件配置的终极可视化解决方案

BepInEx配置管理器:游戏插件配置的终极可视化解决方案 【免费下载链接】BepInEx.ConfigurationManager Plugin configuration manager for BepInEx 项目地址: https://gitcode.com/gh_mirrors/be/BepInEx.ConfigurationManager 你是否曾经因为游戏插件的复杂…

2026/8/10 0:00:02 阅读更多 →

周新闻

5分钟告别提取码焦虑:baidupankey如何智能破解百度网盘资源锁

5分钟告别提取码焦虑:baidupankey如何智能破解百度网盘资源锁

5分钟告别提取码焦虑:baidupankey如何智能破解百度网盘资源锁 【免费下载链接】baidupankey 在线查询网盘提取码(维护中 rm repo) 项目地址: https://gitcode.com/gh_mirrors/ba/baidupankey 你是否曾经在深夜寻找一份重要资料&#x…

2026/8/10 1:05:29 阅读更多 →
如何快速生成中国车牌图片:Python开源工具完整指南

如何快速生成中国车牌图片:Python开源工具完整指南

如何快速生成中国车牌图片:Python开源工具完整指南 【免费下载链接】chinese_license_plate_generator 中国车牌生成器 项目地址: https://gitcode.com/gh_mirrors/ch/chinese_license_plate_generator 中国车牌生成器是一个基于Python的开源项目&#xff0c…

2026/8/10 1:05:29 阅读更多 →
收藏!小白程序员轻松入门大模型,从Harness工程开始实践

收藏!小白程序员轻松入门大模型,从Harness工程开始实践

文章强调学习大模型不应只关注模型本身,而应重视模型外的系统搭建,即Harness。提出AgentModelHarness的实用公式,详细介绍Harness的四个层次:持久化层、执行层、控制层和观察与验证层。文章还探讨了上下文工程、工具设计、AGENTS.…

2026/8/10 1:05:29 阅读更多 →

月新闻

免费解锁百度网盘SVIP加速:macOS用户必备的下载提速终极指南

免费解锁百度网盘SVIP加速:macOS用户必备的下载提速终极指南

免费解锁百度网盘SVIP加速:macOS用户必备的下载提速终极指南 【免费下载链接】BaiduNetdiskPlugin-macOS For macOS.百度网盘 破解SVIP、下载速度限制~ 项目地址: https://gitcode.com/gh_mirrors/ba/BaiduNetdiskPlugin-macOS 还在为百度网盘macOS版的龟速下…

2026/8/9 17:05:02 阅读更多 →
终极ncmdump指南:3分钟实现网易云NCM音乐解密与格式转换

终极ncmdump指南:3分钟实现网易云NCM音乐解密与格式转换

终极ncmdump指南:3分钟实现网易云NCM音乐解密与格式转换 【免费下载链接】ncmdump 项目地址: https://gitcode.com/gh_mirrors/ncmd/ncmdump 还在为网易云音乐下载的NCM格式文件无法在其他播放器播放而烦恼吗?ncmdump解密工具帮你轻松解决这个困…

2026/8/10 1:05:29 阅读更多 →
HarmonyOS 应用开发《掌上英语》第81篇: 智能体卡片:为英语学习 App 打造桌面级学习助手

HarmonyOS 应用开发《掌上英语》第81篇: 智能体卡片:为英语学习 App 打造桌面级学习助手

AgentCard 智能体卡片:为英语学习 App 打造桌面级学习助手适用平台:HarmonyOS 7.0 (API 26 Beta)一、引言 HarmonyOS 7.0(API 26 Beta)新增了 AgentCard 智能体卡片能力,这是继 HMAF(鸿蒙智能体框架&#x…

2026/8/9 17:05:02 阅读更多 →