【Bug已解决】Analyze bfloat16 support status in cpu and cuda EP 解决方案一、现象长什么样用bfloat16bf16精度的模型在 ONNX Runtime 上跑时行为在不同 EP 之间不一致# CPU EP某些 op 没有 bf16 内核要么报错要么静默回退 fp32 E OrtCpu: op LayerNormalization has no bf16 kernel; falling back to fp32 # 或 ORT fail: bf16 not supported for op X on CPUExecutionProvider # CUDA EP有的 op 有 bf16走 tensor core有的没有混用导致设备间搬运 W OrtCuda: op Y bf16 fallback to fp32 on CUDA具体表现同一份 bf16 模型CPU EP 和 CUDA EP 支持的 op 集合不同——有的 op 在 CUDA 能跑 bf16在 CPU 却只能 fp32或干脆不支持。不一致导致要么报错“不支持 bf16”要么静默回退 fp32数值变了、性能也没拿到 bf16 的好处要么在 CPU/CUDA 混合图里频繁做 bf16↔fp32 转换反而更慢。用户无法提前知道“我的模型在 CPU EP 上哪些 op 能用 bf16”只能跑了才知道崩或慢。bf16 本是为“省一半带宽、tensor core 加速”设计的支持不一致让它形同鸡肋。关键特征bf16 在 CPU EP 与 CUDA EP 的支持度不透明、不一致导致错误、静默回退或性能反退化。二、背景bfloat16 是一种 16 位浮点和 fp16 不同它把指数位留得和 fp32 一样多8 位指数只把尾数位砍到 7 位。好处是动态范围与 fp32 相同做深度学习累加时不容易溢出且转换 fp32↔bf16 只是丢掉/补零尾数位非常便宜。所以它被 CPUIntel AVX512 BF16、ARM和 GPUNVIDIA tensor core广泛支持。ONNX Runtime 里一个 op 要在某个 EP 上跑 bf16需要该 EP为这个 op 实现 bf16 专用内核或用支持 bf16 的底层库。现实是CUDA EP很多 compute 密集 opMatMul、Conv、Attention有 bf16 内核尤其 Ampere 的 tensor core但一些“边角”op某些激活、归一化变体、reduce可能只有 fp32/partial bf16。CPU EPbf16 支持依赖指令集AVX512_BF16 等。没有对应指令的 CPU 上bf16 内核要么不存在要么要靠仿真于是很多 op 直接没有 bf16 路径。问题在于 ORT没有一份清晰、可用的“bf16 支持矩阵”也没有一致的“不支持时怎么办”的策略有的 op 静默回退 fp32数值漂移、性能损失有的直接报错体验割裂CPU 和 CUDA 还各自为政。于是用户面对 bf16 模型时完全没底。三、根因根因是bf16 在 CPU/CUDA EP 的支持缺乏统一盘点与一致的降级策略且对用户不透明支持度未系统盘点哪些 op 在哪个 EP 有 bf16 内核没有集中的清单/查询接口优化器和用户都只能“试错”。降级策略不一致有的 op 不支持 bf16 时静默回退 fp32看不到、数值变有的直接报错——两种行为都没给用户明确信号。CPU/CUDA 割裂两个 EP 各自实现 bf16 内核覆盖范围不同步导致同一模型跨 EP 行为差异大。缺少 bf16↔fp32 的自动插入/融合混合图里 bf16 段和 fp32 段交界需要自动插入类型转换节点并尽量融合否则频繁搬运反而慢。一句话bf16 支持在 CPU/CUDA EP 上既没盘点清楚、也没统一降级与转换策略于是出现报错、静默回退、跨 EP 不一致三类问题。四、最小可运行复现下面用 Python 模拟“按支持矩阵决策 bf16/fp32并做一致降级”的机理from dataclasses import dataclass from typing import Dict, Tuple dataclass class EpBf16Support: # 该 EP 支持 bf16 的 op 集合 supported: set CPU EpBf16Support(supported{MatMul, Conv, Add}) CUDA EpBf16Support(supported{MatMul, Conv, Add, LayerNorm, Relu}) def plan_dtype_buggy(op: str, ep: EpBf16Support) - str: 错误不支持就静默回退 fp32无信号或直接报错。 if op in ep.supported: return bf16 # 这里选“静默回退”用户不知道发生了什么 return fp32 def plan_dtype_fixed(op: str, ep: EpBf16Support, want_bf16: bool) - Tuple[str, bool]: 修复明确返回实际 dtype 与是否降级便于上层感知。 if not want_bf16: return fp32, False if op in ep.supported: return bf16, False # 不支持 - 降级 fp32但明确告知“降级发生” return fp32, True print(plan_dtype_buggy(LayerNorm, CPU)) # fp32静默用户无感 print(plan_dtype_fixed(LayerNorm, CPU, want_bf16True)) # (fp32, True) 明确降级 print(plan_dtype_fixed(LayerNorm, CUDA, want_bf16True)) # (bf16, False) 支持buggy静默回退用户完全不知道fixed明确返回“是否降级”上层可记录/告警行为一致且透明。五、解决方案第一层最小直接修复最小修复是建立一份集中的 bf16 支持矩阵并统一“不支持时显式降级 fp32 插入必要的类型转换”策略// bf16_support_matrix.cpp修复片段 bool CpuEpSupportsBf16(const std::string op_type) { static const std::setstd::string kCpuBf16 { MatMul, Conv, Add, Mul, Relu}; return kCpuBf16.count(op_type) 0; } bool CudaEpSupportsBf16(const std::string op_type) { static const std::setstd::string kCudaBf16 { MatMul, Conv, Add, LayerNorm, Relu, Softmax}; return kCudaBf16.count(op_type) 0; } // 决策想要 bf16 但 EP 不支持 - 显式降级 fp32并标记不静默 Status ResolveBf16(const Node n, bool want_bf16, bool* actually_bf16) { bool supported (n.Ep() kCpu) ? CpuEpSupportsBf16(n.OpType()) : CudaEpSupportsBf16(n.OpType()); *actually_bf16 want_bf16 supported; if (want_bf16 !supported) { LOG(WARNING) n.OpType() has no bf16 kernel on n.Ep() ; falling back to fp32 (explicit); } return Status::OK(); }这一层让 bf16/fp32 决策透明、跨 EP 一致不再静默回退或割裂报错。六、解决方案第二层结构性改进把“各 EP 的 bf16 支持矩阵、降级策略、类型转换插入”收口成唯一的配置对象OrtBf16SupportPolicy所有 EP 初始化与图优化读它from dataclasses import dataclass from typing import Tuple, Dict dataclass(frozenTrue) class OrtBf16SupportPolicy: bf16 支持矩阵的单一事实来源。 # 各 EP 支持 bf16 的 op 集合集中维护避免各 EP 割裂 cpu_supported: Tuple[str, ...] (MatMul, Conv, Add, Mul, Relu) cuda_supported: Tuple[str, ...] ( MatMul, Conv, Add, LayerNorm, Relu, Softmax) # 不支持时显式降级 fp32可观测禁止静默 explicit_fallback_to_fp32: bool True # 降级要打日志/计数让用户感知 surface_fallback: bool True # 混合 bf16/fp32 图自动插入并融合类型转换 auto_insert_cast: bool True # 代码评审卡点 forbidden_patterns: Tuple[str, ...] ( silent bf16-fp32 fallback, hard error on bf16 without fallback option, ) def resolve(self, op: str, ep: str, want_bf16: bool) - Tuple[str, bool]: supported set(self.cpu_supported if ep CPU else self.cuda_supported) if not want_bf16: return fp32, False if op in supported: return bf16, False return fp32, True # 明确降级 def describe(self) - str: return bf16 支持集中矩阵、不支持显式降级 fp32、混合图自动转换 POLICY OrtBf16SupportPolicy() def plan_bf16(op: str, ep: str, want_bf16: bool, policy: OrtBf16SupportPolicy POLICY) - Tuple[str, bool]: return policy.resolve(op, ep, want_bf16)所有 EP 都读POLICY支持矩阵统一、降级显式、转换自动CPU/CUDA 行为一致且可观测。七、解决方案第三层断言 / CI 守护把“支持矩阵集中、降级显式、不静默”做成断言。下面用 pytest 守护import pytest def test_cpu_bf16_matrix(policy): assert MatMul in policy.cpu_supported assert LayerNorm not in policy.cpu_supported # CPU 示例不支持 def test_cuda_bf16_matrix(policy): assert LayerNorm in policy.cuda_supported assert Softmax in policy.cuda_supported def test_explicit_fallback(policy): assert policy.explicit_fallback_to_fp32 is True dtype,降级 policy.resolve(LayerNorm, CPU, want_bf16True) assert dtype fp32 and 降级 is True def test_no_silent_fallback(policy): assert policy.surface_fallback is True assert silent bf16-fp32 fallback in policy.forbidden_patterns def test_supported_stays_bf16(policy): dtype,降级 policy.resolve(LayerNorm, CUDA, want_bf16True) assert dtype bf16 and 降级 is False这五组断言锁住(1) CPU 矩阵正确(2) CUDA 矩阵正确(3) 显式降级(4) 不静默(5) 支持的保持 bf16。CI 跑通即代表 bf16 支持状态可观测、跨 EP 一致。八、排查清单遇到 bf16 在 CPU/CUDA EP 行为不一致确认是 bf16 支持问题报错“bf16 not supported”或静默变慢 → 锁定本题。盘点支持矩阵哪些 op 在哪个 EP 有 bf16 内核做成集中清单。查降级策略不支持时是静默回退应改成显式日志还是硬报错应改成可降级。查混合图转换bf16/fp32 交界有没有自动插入并融合 cast 节点。统一到OrtBf16SupportPolicyCI 断言禁止静默降级。给用户透明信号降级打日志/计数便于评估是否值得补 bf16 内核。端到端同模型在 CPU/CUDA 都按矩阵决策行为可预测。九、小结Analyze bfloat16 support status in cpu and cuda EP的根因是bf16 在 ONNX Runtime 的 CPU EP 与 CUDA EP 上支持的 op 集合不同步、且缺乏集中盘点与一致的降级策略——有的 op 不支持 bf16 时静默回退 fp32数值漂移、性能损失且无信号有的直接报错CPU/CUDA 各自为政导致用户面对 bf16 模型时要么崩、要么慢、要么跨 EP 行为不可预测。最小修复是建立集中的 bf16 支持矩阵并实现“不支持时显式降级 fp32 打日志/计数 自动插入并融合类型转换”结构性改进是用唯一的OrtBf16SupportPolicy固化矩阵与降级CI 用五组断言守护“矩阵集中、降级显式、不静默”。记住低精度支持必须“可盘点、可降级、可观测”否则 bf16 这种本应加速的格式会变成错误与性能陷阱。