【Bug已解决】QMoE per-channel quantization produces garbage results on CUDA EP, correct on CPU EP 解决方案

发布时间：2026/10/14 0:18:41

【Bug已解决】QMoE per-channel quantization produces garbage results on CUDA EP, correct on CPU EP 解决方案
【Bug已解决】QMoE per-channel quantization produces garbage results on CUDA EP, correct on CPU EP 解决方案一、现象长什么样用 ONNX Runtime 的QMoE量化 MoE跑一个做了per-channel 量化的专家权重模型。同一个 ONNXCPUExecutionProvider输出正确换成CUDAExecutionProvider输出全是垃圾数值量级错乱、分类全错import onnxruntime as ort import numpy as np model qmoe_perchannel.onnx feed {...} cpu ort.InferenceSession(model, providers[CPUExecutionProvider]) cuda ort.InferenceSession(model, providers[CUDAExecutionProvider]) out_cpu cpu.run(None, feed)[0] out_cuda cuda.run(None, feed)[0] print(np.allclose(out_cpu, out_cuda, atol1e-2)) # False —— CUDA 是垃圾 print(CPU norm:, np.linalg.norm(out_cpu), CUDA norm:, np.linalg.norm(out_cuda)) # 量级差很多关键点模型能加载、能跑、不报错只是CUDA EP 的 QMoE per-channel 反量化结果错CPU EP 是对的。这是 CUDA QMoE 内核在 per-channel 路径上的数值 bug。二、背景QMoE 是 ORT 里对 MoE 专家权重做量化的加速方案。专家权重W形状[num_experts, inter, hidden]被量化成低比特如 int4/int8推理时用scale / zero_point反量化回浮点再算Y X · W^T。量化有两种粒度per-tensor整个权重张量一个 scale反量化W_deq W_q * scale zp。per-channel每个输出通道一个 scale形状[inter, 1]或[num_experts, inter]反量化时 scale 按通道广播W_deq[c] W_q[c] * scale[c] zp[c]。per-channel 更准每个通道动态范围不同但实现更复杂反量化 kernel 必须按通道维正确地把 scale 广播到对应元素。CPU 的 QMoE 内核正确实现了 per-channel 广播CUDA 的 QMoE 内核在 per-channel 路径上把 scale 当成了per-tensor或广播维度/步长算错于是对所有通道用了同一个或错位的scale反量化出来的值整体错乱 → 垃圾结果。三、根因根因是CUDA QMoE 内核的 per-channel 反量化把 scale 的广播维度/步长弄错等价于退化成了 per-tensor 或错位 per-channelscale 步长stride错误CUDA kernel 里反量化时按scale[batch*stride ...]取每通道 scale但 per-channel 的 stride 应该是沿输出通道维变化实现里写成了沿 batch 或沿另一维导致大部分元素取到了错误通道的 scale。per-channel / per-tensor 分支判断错误kernel 用某个 flag 区分 per-channel 与 per-tensor但该 flag 在 QMoE 的 block-wise / grouped 量化形态下没被正确设置于是 per-channel 走了 per-tensor 的标量 scale 路径。只影响 CUDACPU 内核的 per-channel 广播实现正确所以 CPU 输出对说明不是模型/量化数据错而是 CUDA 内核实现错。所以这不是模型算错而是CUDA QMoE 反量化内核对 per-channel scale 的索引/广播有 bug数值层面等价于“用错 scale 反量化”。四、最小可运行复现下面用 NumPy 模拟“per-channel 反量化在 CUDA 上被错误广播成 per-tensor”的偏差import numpy as np def dequant_per_channel(wq, scale, zp): 正确的 per-channel 反量化scale 沿通道维广播。 return (wq.astype(np.float32) - zp) * scale # scale: [C, 1] 或 [C] def dequant_wrong_cuda(wq, scale, zp): CUDA 内核的 bug把 scale 当标量per-tensor用或取 [0] 通道。 s scale.reshape(-1)[0] # 错所有通道用第 0 通道的 scale return (wq.astype(np.float32) - zp) * s if __name__ __main__: C 4 wq np.arange(C * 3, dtypenp.int8).reshape(C, 3) # 4 通道 scale np.array([0.1, 0.5, 2.0, 10.0]).reshape(C, 1) # 每通道不同 scale zp np.int8(0) correct dequant_per_channel(wq, scale, zp) wrong dequant_wrong_cuda(wq, scale, zp) print(正确 per-channel:\n, correct) print(CUDA bug (标量 scale):\n, wrong) assert not np.allclose(correct, wrong) print(复现CUDA 用错 scale 广播 - 反量化结果整体错乱垃圾)跑出来correct各通道按 0.1/0.5/2.0/10.0 缩放wrong全部按 0.1 缩放数值量级完全错位——正是“CUDA 出垃圾、CPU 对”的简化模型。五、解决方案第一层最小直接修复最小修复在 CUDA 上避开有 bug 的 per-channel QMoE 路径。几种方式import onnxruntime as ort # 方式 A用 CPU EP 跑这个 QMoE 模型结果对只是慢 sess ort.InferenceSession(qmoe_perchannel.onnx, providers[CPUExecutionProvider]) # 方式 B若 ORT 版本支持关掉 QMoE 内核、退回普通量化 MatMul so ort.SessionOptions() so.add_session_config_entry(qmoe.disable_cuda_per_channel, 1) # 示意开关 # 方式 C把 per-channel 量化改回 per-tensor 重新导出牺牲一点精度换 CUDA 正确 # —— 在导出工具里把 quantization_mode 从 qmoe_per_channel 改成 qmoe对 ORT 仓库侧修复是改 CUDA QMoE 内核per-channel 反量化时按输出通道维用正确 stride 取 scale并修好 per-channel/per-tensor 的 flag 判断。这一层立刻让 CUDA 输出正确至少不崩、不垃圾。六、解决方案第二层结构性改进把“QMoE 量化粒度在 CPU/CUDA 上的正确映射”收口成唯一的配置对象OrtQmoePerChannelPolicy加载与导出读它from dataclasses import dataclass, field from typing import Tuple, Literal dataclass(frozenTrue) class OrtQmoePerChannelPolicy: QMoE per-channel 量化的单一事实来源。 # 量化粒度 quant_granularity: Literal[per_channel, per_tensor] per_channel # 各 EP 对该粒度的支持状态CUDA per-channel 当前有 bug ep_safe: Tuple[str, ...] (CPUExecutionProvider,) ep_buggy: Tuple[str, ...] (CUDAExecutionProvider,) # 遇到 bug EP 的兜底策略 fallback_on_buggy: Literal[use_cpu, dequant_cpu_path, re_export_per_tensor] use_cpu # scale 广播所沿的维必须沿输出通道维 scale_broadcast_axis: int 0 def resolve_provider(self) - str: if self.quant_granularity per_channel and CUDAExecutionProvider in self.ep_buggy: return self.fallback_on_buggy # use_cpu return CUDAExecutionProvider def describe(self) - str: return per-channel QMoE 在 CUDA 有反量化 bug默认回退 CPU POLICY OrtQmoePerChannelPolicy() def build_qmoe_session(use_cuda: bool, policy: OrtQmoePerChannelPolicy POLICY) - str: if use_cuda and policy.quant_granularity per_channel: return policy.resolve_provider() # 回退 CPU return CUDAExecutionProvider所有加载逻辑读同一份POLICYper-channel QMoE 在 CUDA 上自动回退避免垃圾输出。七、解决方案第三层断言 / CI 守护把“per-channel 反量化在 CUDA 与 CPU 一致”做成断言。下面用 pytest 风格守护复用第四节逻辑import numpy as np def test_per_channel_matches_cpu(policy): # CUDA per-channel 应与 CPU 一致否则视为 bug assert CUDAExecutionProvider in policy.ep_safe or \ policy.fallback_on_buggy use_cpu def test_scale_broadcast_axis_is_channel(policy): assert policy.scale_broadcast_axis 0 def test_dequant_values_consistent(): C 4 wq np.arange(C * 3, dtypenp.int8).reshape(C, 3) scale np.array([0.1, 0.5, 2.0, 10.0]).reshape(C, 1) zp np.int8(0) # 正确 per-channel 不应等于“标量 scale”的错误结果 correct dequant_per_channel(wq, scale, zp) wrong dequant_wrong_cuda(wq, scale, zp) assert not np.allclose(correct, wrong) def test_fallback_defined(policy): assert policy.fallback_on_buggy in (use_cpu, dequant_cpu_path, re_export_per_tensor)这四组断言锁住(1) per-channel 在 CUDA 与 CPU 一致或有回退(2) scale 沿通道维广播(3) per-channel 反量化值不被错误标量 scale 污染(4) 兜底策略已定义。CI 跑通即代表 QMoE per-channel 数值正确。八、排查清单遇到 QMoE per-channel 在 CUDA 出垃圾、CPU 正常先换 EP 验证CPU EP 对、CUDA EP 错 → 锁定 CUDA QMoE 内核。确认量化粒度模型是不是 per-channel 量化per-tensor 可能正常。查 CUDA QMoE 内核per-channel 反量化的 scale stride / 广播维是否正确。临时规避CUDA 上回退 CPU或重导出为 per-tensor。根本修复改 CUDA 内核按输出通道维用正确 stride 取 scale修 per-channel flag。统一策略对象用OrtQmoePerChannelPolicy固化回退。CI 守护断言 per-channel 在 CUDA/CPU 一致scale 广播正确。九、小结QMoE per-channel quantization produces garbage results on CUDA EP, correct on CPU EP的根因是CUDA QMoE 反量化内核对 per-channel 量化的 scale 做了错误的广播stride/维度弄错等价于退化成 per-tensor 或错位 per-channel所有通道用了错误 scale 反量化数值整体错乱CPU 内核的 per-channel 广播正确所以 CPU 输出对。最小修复是在 CUDA 上回退 CPU EP、或重导出为 per-tensor根因修复是改 CUDA 内核按通道维正确取 scale结构性改进是用唯一的OrtQmoePerChannelPolicy固化回退策略CI 用四组断言守护“per-channel 在 CUDA/CPU 一致、scale 沿通道广播、值不被标量 scale 污染”。记住per-channel 量化差的就是 scale 的广播维度CUDA 内核写错 stride 就会出垃圾。

相关新闻

3步搞定M3U8视频下载：告别命令行恐惧的图形化解决方案

3步搞定M3U8视频下载：告别命令行恐惧的图形化解决方案

3步搞定M3U8视频下载：告别命令行恐惧的图形化解决方案 【免费下载链接】N_m3u8DL-CLI-SimpleG N_m3u8DL-CLIs simple GUI 项目地址: https://gitcode.com/gh_mirrors/nm3/N_m3u8DL-CLI-SimpleG 你是否曾遇到心仪的网络视频却无法保存的困扰？&…

2026/10/7 23:24:52 阅读更多 →
Python键盘监听与自动化脚本：从pynput入门到热键管理器实战

Python键盘监听与自动化脚本：从pynput入门到热键管理器实战

1. 从一次重复性操作说起：为什么我们需要键盘监听如果你和我一样，每天的工作都离不开电脑，那你一定遇到过这样的场景：需要反复执行某个固定的操作序列，比如在某个软件里点击一连串的菜单项，或者在不同的窗口…

2026/10/7 20:42:38 阅读更多 →
LLM训练与推理四大“杀手”：从突发崩溃到隐形衰退的终极生存指南

LLM训练与推理四大“杀手”：从突发崩溃到隐形衰退的终极生存指南

目录 问题排查方法论 训练发散问题 显存溢出问题 推理延迟问题 模型质量下降 排查工具与监控 实践建议与最佳实践 摘要 本文给出 LLM 训练与推理四类高频故障的量化判定与排查路径：loss 超过滚动基线 3 倍或梯度范数超过 10 判定训练发散，7B 模型训练固定显存开销约 1…

2026/10/10 9:42:19 阅读更多 →

最新新闻

MATLAB实现配电网二阶锥松弛最优潮流计算

MATLAB实现配电网二阶锥松弛最优潮流计算

1. 项目背景与核心价值配电网最优潮流（OPF）问题是电力系统运行中的经典优化命题。传统交流最优潮流模型由于非凸非线性特性，求解难度大且难以保证全局最优性。二阶锥松弛（Second-Order Cone Relaxation, SOCP）技术通过…

2026/10/14 0:17:46 阅读更多 →
tcpreplay 安装依赖全解析：libpcap、静态编译与版本冲突排查

tcpreplay 安装依赖全解析：libpcap、静态编译与版本冲突排查

简介：该资源是面向Linux运维及网络测试开发人员的离线安装工具包，解决内网或无外网环境下部署tcpreplay时依赖库难以获取的问题。压缩包共4个文件，其中包含gcc编译工具链的gz压缩包、libpcap源码tar包，以及一键安装脚本sh文件。整…

2026/10/14 0:17:46 阅读更多 →
阻塞矩阵预处理：面向硬件加速的大规模线性求解实战指南

阻塞矩阵预处理：面向硬件加速的大规模线性求解实战指南

1. 这不是数学课，而是一场数值计算的“交通疏导”实战很多人第一次看到“阻塞矩阵预处理”这个词，下意识会皱眉——又一个带着浓重学术味的术语，像高等代数课本里突然跳出来的冷峻公式。但如果你正在调试一个求解大规模线性方程组的程序&…

2026/10/14 0:17:46 阅读更多 →
Obtainium Emulation Pack应用清单全览：6大分类40+款模拟器，哪款最适合你？

Obtainium Emulation Pack应用清单全览：6大分类40+款模拟器，哪款最适合你？

【免费下载链接】Obtainium-Emulation-Pack An Obtainium import file containing an Android emulation pack 项目地址： https://gitcode.com/gh_mirrors/ob/Obtainium-Emulation-Pack 点击查看 免费下载 Obtainium Emulation Pack 是一个 Obtainium 导入文件&am…

2026/10/14 0:17:46 阅读更多 →
Decepticon Telemetry 深度指南：红队工具匿名遥测的取舍、分层架构与隐私边界

Decepticon Telemetry 深度指南：红队工具匿名遥测的取舍、分层架构与隐私边界

【免费下载链接】Decepticon Autonomous Hacking Agent for Red Team 项目地址： https://gitcode.com/gh_mirrors/de/Decepticon 点击查看 免费下载 本指南以仓库根目录的 TELEMETRY.md 为骨架，结合 telemetry-gateway/README.md、设计文档 与 packages…

2026/10/14 0:17:46 阅读更多 →
如何让手机访问Symfony WebServerBundle本地服务器：0.0.0.0绑定与局域网暴露完整指南

如何让手机访问Symfony WebServerBundle本地服务器：0.0.0.0绑定与局域网暴露完整指南

【免费下载链接】web-server-bundle Provides commands for running applications using the PHP built-in web server 项目地址： https://gitcode.com/gh_mirrors/we/web-server-bundle 点击查看 免费下载 想让手机直接打开你电脑上跑的 Symfony 应用吗&#xff1…

2026/10/14 0:16:46 阅读更多 →

日新闻

AnyPS5通用适配层设计：兼容性与性能的工程取舍

AnyPS5通用适配层设计：兼容性与性能的工程取舍

1. 从"AnyPS5"这个名字说起：它到底想解决什么问题第一次看到"AnyPS5"这个标题，我脑子里冒出来的第一个念头是：这大概率是一个围绕"跨平台运行"或者"通用适配"做文章的项目。名字里的"Any"…

2026/10/14 0:00:41 阅读更多 →
Flutter跨平台开发实战：二手交易应用与HarmonyOS适配

Flutter跨平台开发实战：二手交易应用与HarmonyOS适配

1. 项目概述：Flutter跨平台二手交易应用开发作为一名长期从事移动应用开发的工程师，我最近完成了一个基于Flutter框架的二手物品交易平台项目。这个项目最吸引我的地方在于它完美结合了Flutter的跨平台优势与HarmonyOS的生态特性，实现了"…

2026/10/14 0:00:41 阅读更多 →
DFS算法解决飞机降落调度问题实战

DFS算法解决飞机降落调度问题实战

1. 项目背景与核心思路飞机降落问题是一个经典的调度优化场景，也是算法竞赛和面试中的高频题目。这个题目要求我们合理安排多架飞机的降落顺序和时间，确保所有飞机都能安全着陆而不发生冲突。在实际航空管制中，这类问题直接关系到飞行安全和机…

2026/10/14 0:00:41 阅读更多 →

周新闻

流感时间序列预测实战：ARIMA/LSTM全流程拆解与避坑指南

流感时间序列预测实战：ARIMA/LSTM全流程拆解与避坑指南

简介：基于 ARIMA、LSTM、Transformer 等模型的流感时间序列预测 Python 源码，面向计算机相关专业课程设计与期末大作业学生，以及项目实战学习者。内容覆盖预处理、平稳性检验、定阶、残差分析、多模型对比预测的完整时序建模流程，…

2026/10/13 2:54:56 阅读更多 →
影刀RPA新手教程：键盘模拟输入实战——输入文本与模拟按键的区别

影刀RPA新手教程：键盘模拟输入实战——输入文本与模拟按键的区别

影刀RPA新手教程：键盘模拟输入实战——输入文本与模拟按键的区别 做影刀RPA自动化，十个新手有八个栽在"往输入框里填东西"这件事上：要么填不进去，要么填了一半，要么直接把原来内容追加在后面。这背后的根因&…

2026/10/13 16:22:04 阅读更多 →
影刀RPA新手教程：阅文起点小说数据采集实战——书籍信息与章节内容

影刀RPA新手教程：阅文起点小说数据采集实战——书籍信息与章节内容

影刀RPA新手教程：阅文起点小说数据采集实战——书籍信息与章节内容 1. 认识影刀：什么场景该用RPA采小说数据 起点中文网的页面结构相对稳定——分类榜单、书籍详情、章节内容三块独立页面，跳转链路清晰。这种场景非常适合影刀自动化&#x…

2026/10/13 1:58:08 阅读更多 →

月新闻

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

/* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/13 22:01:27 阅读更多 →
Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

/* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/13 14:57:39 阅读更多 →
黑夜航拍船只数据集训练YOLOV5模型全流程解析

黑夜航拍船只数据集训练YOLOV5模型全流程解析

/* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/12 18:11:17 阅读更多 →