1. 项目概述乘积为什么值得单独聊在机器学习里泡久了你会发现一个很有意思的现象新入行的同学看公式最头疼的往往不是那些看着吓人的矩阵记号而是同一个乘法符号在不同地方表达的意思完全不一样。同样一个*在 NumPy 里是逐元素乘在 PyTorch 里也是逐元素乘可一旦换成或者torch.mm立刻变成矩阵乘法再看到论文里那些写得很轻巧的 ⊙、〈·,·〉、⊗很多人当场就懵了。我在带实习生和给培训班学员答疑的时候被问到最多的问题之一就是为什么这里两个向量直接乘那里又要先转置再乘其实答案就藏在机器学习中几种常见的乘积product里。把逐元素积、点积、矩阵乘法、外积这四兄弟彻底搞明白读源码、调模型、复现论文的效率能提升一大截甚至很多隐藏很深的 bug 都能一眼看穿。这篇文章我想站在实际工程的角度把这几种乘积掰开揉碎讲清楚它们各自的数学定义是什么、在机器学习里典型应用场景有哪些、用代码怎么写最容易出错、以及我踩过哪些坑。适合正在学机器学习基础课程比如对照周志华《机器学习》或者吴恩达机器学习课程看代码的人也适合已经开始跑深度学习模型、但对底层张量运算还有点模糊的读者。1.1 从一行乘法说起你在代码里到底做了什么先抛一个非常具体的场景。你在实现一个最简单的线性回归目标是用特征向量 x 预测标签 y模型长得就是教科书里那个样子ŷ wᵀx b。很多人第一次写代码会下意识地这样写import numpy as np x np.array([0.5, 1.2, -0.3]) w np.array([2.0, -1.0, 0.5]) b 0.1 # 新手容易写成这样 y_hat w * x b print(y_hat)如果只看这行代码其实它算的是另一个东西w 和 x 逐元素相乘得到[1.0, -1.2, -0.15]然后整个数组加一个偏置。这在数学上对应的是 Hadamard 乘积不是线性回归的原始公式。线性回归要的是 w 和 x 先做点积对应位置相乘再求和再与偏置相加y_hat np.dot(w, x) b # 或者 w x b print(y_hat)这两种写法最终数值差多少前一种得到[1.0, -1.2, -0.15] 0.1是一个三元素数组后一种得到的是一个标量-0.2。如果你的损失函数下一步就要算均方误差这两种结果带来的后续行为完全不一样。这种错误不会立刻报错因为它合法地运行了但语义上完全错了——这是乘积类型混淆最典型的坑。所以我说理解 product 的本质不是应付考试用的而是让自己少写 bug 的。1.2 机器学习产品矩阵导航四种常见乘积一览为了方便后面展开我先用一张表把这四种最常见的乘积放在一起对比。注意这里说的矩阵都是广义的张量包括向量、矩阵和高维张量。乘积类型数学记号常用运算符结果形状一句话直觉逐元素乘积Hadamard 积A ⊙ B*NumPy / PyTorch与 A、B 相同对应位置互相乘像把两张同样大小的网格逐格相乘点积内积a · b 或 aᵀbnp.dot/torch.dot/标量两个向量对应位置相乘再累加衡量方向和大小的相似度矩阵乘法C AB/torch.mm/torch.matmul由 A 和 B 的外维度决定行与列之间的压缩变换深度学习前向传播的核心引擎外积a ⊗ b 或 abᵀnp.outer/torch.outer形状为 [len(a), len(b)]一个列向量乘以一个行向量铺开成一个矩阵这张表看着简单但你在看 PRMLPattern Recognition and Machine Learning或者李宏毅深度学习课程的时候会在不同地方反复见到它们。后面每一节我都会把里面的细节展开特别是那些文档里不会专门告诉你的事。2. 逐元素乘积无处不在的门控开关2.1 数学定义与一行代码逐元素乘积也叫 Hadamard 乘积是两个形状完全相同的张量在对应位置上相乘。用数学公式表达就是(A ⊙ B)ᵢⱼ Aᵢⱼ · Bᵢⱼ在 NumPy 里直接用*即可在 PyTorch 里同样也是*。如果非要写得更显式一点可以用torch.mul(a, b)。这里有一个容易被忽略的细节*是逐元素乘而是矩阵乘这两种运算符在 Python 里看起来只差一个符号但底层的数学语义完全不同。很多从 MATLAB 转过来的人最开始特别容易踩这个坑——MATLAB 里*默认是矩阵乘.*才是逐元素乘Python 生态正好反过来。我自己第一次用 PyTorch 重写一个 MATLAB 算法时就把两个符号搞反了结果模型 Loss 直接变成 NaN。2.2 门控机制从 LSTM 到 Transformer 掩码逐元素乘积在深度学习里最经典的应用就是门控机制。我先拿 LSTM 举例。LSTM 里有一个遗忘门 f_t它的作用就是决定上一时刻的细胞状态 C_{t-1} 有多少要保留下来。公式长这样C_t f_t ⊙ C_{t-1} i_t ⊙ C̃_t这里两个 ⊙ 都是逐元素乘积。f_t 是一个值域在 (0,1) 之间的向量C_{t-1} 是另一个同形状的向量。f_t 中的每个元素就相当于一个阀门如果接近 1就让对应位置的记忆继续保留如果接近 0就把这个位置的内容忘掉。这种用一组 0 到 1 的小数去逐位置缩放另一组数值的操作就是门控思想的核心。它在代码里写起来极其简单# C_prev: [batch, hidden_dim] # f_t, i_t, C_tilde: [batch, hidden_dim] C_new f_t * C_prev i_t * C_tilde李宏毅老师在讲 RNN 和注意力机制时反复提到这种软性控制的思想你会在很多现代架构里看到它的影子。比如 GRU 的更新门和重置门本质上也是几个逐元素乘积的组合。再看 Transformer里面同样有无处不在的逐元素乘在做 self-attention 时softmax 之后得到的注意力权重矩阵要和 Value 矩阵做加权求和这个加权本质上也是逐元素乘或者更低维度的矩阵乘组合。再说一个我自己反复吃亏的场景——padding mask。在 NLP 任务里一个 batch 中句子的长度不一样我们通常会把短句子后面补上 pad 符号让它们对齐成一个矩形矩阵。但在计算 attention score 时这些 pad 位置不应该参与注意力分配。很多同学会用乘 0的方法去把 padding 位置消掉比如# 错误示范用 0 乘 mask attention softmax(scores * mask)这里的问题在于softmax 之前如果把 pad 位置乘以 0那这个位置在指数运算后仍然贡献了一个非零的数e⁰1不是真正清零。正确的做法是先把 pad 位置替换为一个极小的负数比如 -1e9然后在 softmax 之后这些位置的输出会趋近于 0此时再和 V 做乘积才是安全的。换句话说如果你的 mask 方案是用 0 去乘梯度特性会很差效果也不干净。检验一个 mask 实现是否正确的标准就是看 softmax 之后需要屏蔽位置上的概率是不是真的约等于 0。2.3 实操心得别用 0 做掩码形状要靠注释防身除了 mask逐元素乘积在 Batch Normalization 里的 scale 和 shift 操作里也有体现但那个不是 gate 而是仿射变换这里不细展开。我自己在代码里有两个习惯强烈建议你也养成。第一凡是做逐元素乘积的地方都要在注释里写明参与运算的张量形状和语义。比如# f_t * C_prev: 遗忘门逐位置缩放旧记忆 # f_t / C_prev: [batch, hidden_dim], 二者形状必须严格一致 C_new f_t * C_prev i_t * C_tilde第二不要依赖广播机制来做逐元素乘积。广播确实方便比如[batch, 1, dim] * [batch, seq, dim]会把第一个张量自动扩展到[batch, seq, dim]这看起来省事但当张量维度变成四维、五维时广播顺序一旦搞错结果不会报错只会静默地算出一个完全错误的值。最典型的例子是在多头注意力里你想对每一头做门控结果[batch, heads, seq, dim]和[batch, seq, dim]直接相乘广播到后面完全不是你想要的那一维。所以我的建议是逐元素乘之前先显式用unsqueeze把维度补到位再用expand或直接确认形状宁可代码啰嗦一点也好过 debug 一晚上。3. 向量点积计算相似度的内功心法3.1 点积的几何直觉与线性模型的本质点积是机器学习里出现频率最高的运算之一。定义看似简单两个长度相同的向量对应位置相乘后求和。数学上用 〈a, b〉 或者 aᵀb 表示aᵀb Σᵢ aᵢbᵢ但它背后有一个非常重要的几何含义点积等于两个向量的模长乘积再乘以它们夹角的余弦值。换句话说点积同时惩罚了方向差异和长度差异。两个向量方向越一致点积越大方向越相反点积越小可能为负。这个几何直觉贯穿了整个机器学习的核心。其实你去看周志华《机器学习》开篇讲的线性模型线性回归的预测函数 ŷ wᵀx b本质就是拿权重向量 w 和样本向量 x 做点积。吴恩达机器学习课程里反复强调的梯度下降推导也全是围绕点积展开的。从实现的视角来看如果一次只处理一个样本点积就是向量运算但如果要同时计算一批样本你实际上会把它变成矩阵乘法。比如import numpy as np # 单个样本shape 都是 [feature_dim] w np.random.randn(256) x np.random.randn(256) logit np.dot(w, x) b # 批处理版本X 是 [batch, feature_dim] # 实际上变成了矩阵乘, 对应结果 shape 为 [batch] logits X w b这种从单向量到批矩阵的转换是理解点积和矩阵乘法之间联系的关键跳跃。3.2 注意力机制中的打分器Transformer 里的 self-attention 公式是点积最闪光的舞台。标准写法是Attention(Q, K, V) softmax(QKᵀ / √d_k) V其中 Q 和 K 都是形状为[seq_len, d_model]的矩阵QKᵀ 是一个[seq_len, seq_len]的相似度矩阵。这个矩阵里的第 i 行第 j 列就是第 i 个 query 和第 j 个 key 的点积——它表示当前第 i 个位置应该对第 j 个位置投入多少关注。然后再用 softmax 归一化成概率权重最后去加权 V。马毅老师和李宏毅老师都讲过attention 里的 Q 和 K 点积本质上是在学习一种可微的检索你拿一个 query 去和所有 key 做匹配匹配度高的 key 对应的 value 就会被赋予更大的权重。这里的匹配度就是点积。实现时你会遇到一个很容易混淆的地方公式写的是 QKᵀ在代码里到底是Q K.T还是K.transpose(-2, -1)如果 Q 和 K 都是带 batch 维和头维的四维张量比如[batch, num_heads, seq_len, d_head]那你要转置的是最后两个维度而不是整天整地转置# Q, K: [batch, num_heads, seq_len, d_head] scores torch.matmul(Q, K.transpose(-2, -1)) # 结果 [batch, num_heads, seq_len, seq_len] scores scores / math.sqrt(d_head)如果你在这里手一滑写成K.T对于四维张量来说它会把所有维度全部颠倒结果就是维度错乱但程序照样能跑——这种错是最难查的因为你光看 Loss 曲线根本看不出来只有仔细检查张量形状才知道出了问题。3.3 从点积到余弦相似度归一化的取舍点积虽然好用但它有一个特点结果受向量长度影响很大。两个方向完全相同但长度差十倍的向量点积也会差十倍。这个特性在某些场景下是缺点在另一些场景下是优点。先说缺点。做人脸识别或者图像检索的时候我们通常希望衡量两个人脸 embedding 的相似度只跟方向有关跟照片亮度、对比度带来的向量长度变化无关。所以流行的做法是把 embedding 归一化成单位向量再求点积也就是余弦相似度。CSDN 上很多人脸识别开源项目最后一步几乎都是把特征向量归一化然后做余弦相似度比对。吴恩达课程里讲到推荐系统时也提到过用余弦相似度来衡量用户和物品的相似程度。再说优点。在推荐系统召回阶段比如双塔模型最后一层通常直接用用户 embedding 和物品 embedding 的点积作为点击率预估的 logit。这里为什么不归一化因为点积天然把向量长度信息也编码进去了——某些物品 embedding 的模长本身就反映了它的热门程度直接做点积能让热门物品倾向获得更高分数这对业务指标往往有利。场景用点积用余弦相似度人脸识别、图片检索不推荐受光照和对比度影响推荐只在乎方向差异推荐系统召回常用保留向量模长信息有时用风格更稳定自注意力打分标配配合缩放因子 √d_k少见会损失表达能力另外要提醒一句余弦相似度和点积之间的关系是 cos θ aᵀb / (‖a‖‖b‖)。很多库里的nn.CosineSimilarity就是先做 L2 归一化再点积。如果你搞不清楚自己到底用的是哪种方式去翻源码或者在算完之后打印一下向量的模长立刻就能看出来。4. 矩阵乘法深度学习计算的绝对主力4.1 神经网络的矩阵链条如果说点积是理解单次打分的视角那么矩阵乘法就是深度学习里真正驱动大规模计算的引擎。全连接层、卷积层、自注意力层落到硬件上最终几乎都是矩阵乘法。先看全连接层。一个标准线性层输入 X 是[batch, in_features]权重 W 是[in_features, out_features]偏置 b 是[out_features]前向计算是output X W b # 结果 [batch, out_features]这里面每一个 output 的每一维其实都是 X 的一行向量与 W 的一列向量做点积的结果。所以矩阵乘法是点积的批量版本——它把很多次点积打包到一起并行算。这就是为什么我说点积和矩阵乘法是一回事的两个层面理解了这个层级关系你再去读那些带 batch 维的公式就会轻松很多。再往深一层Transformer 里的 Q、K、V 三个矩阵都是通过输入 X 做线性变换得到的Q X W_Q # [batch, seq_len, d_model] [d_model, d_model] - [batch, seq_len, d_model] K X W_K V X W_VW_Q、W_K、W_V 就是那三个可学习的参数矩阵。整个前向过程就是一条矩阵乘法的链条中间穿插着 softmax 和缩放点积。4.2 维度约定与批次处理的坑矩阵乘法最让人头疼的地方是维度匹配规则。在 PyTorch 里torch.mm只处理二维矩阵torch.matmul则支持更高维度的张量但它的维度匹配规则有点绕。我直接给你总结实战里最常用的三条。第一两个二维矩阵相乘时左边矩阵的列数必须等于右边矩阵的行数[m, k] [k, n] - [m, n]。这条规则谁都知道但出错频率却是最高的因为一旦张量是四维五维很多人就忘了去数维度了。第二带 batch 维的矩阵乘法比如[batch, m, k] [batch, k, n]结果形状变成[batch, m, n]每一个 batch 内部单独做矩阵乘法。但如果 batch 维大小不一致matmul会尝试广播有时候能成功有时候会直接报错。我建议你在写这类代码时永远先手动检查两个张量的形状再用torch.matmul不要等着程序报错。第三如果你只想在最后两个维度上做矩阵乘法一定要确保前面的维度完全匹配否则广播出来的结果很可能不是你要的。举个例子[batch, heads, seq, dim] [heads, dim, seq]是可以广播成功的但如果你本意是让所有 batch 和 head 共享同一个权重矩阵那你要的是[batch, heads, dim, seq] [1, 1, dim, seq]而不是直接乘否则广播会对 head 维也做不正确的扩展。在矩阵乘法这条链路里我最推荐的调试技巧是在任何一次运算前后都打印参与运算张量的 shape。不是让你每行都打至少要到出错的时候能快速定位是哪一层导致的维度不匹配。4.3 einsum把维度写清楚的艺术PyTorch 里有个被低估的大杀器叫torch.einsum它允许你用类似爱因斯坦求和约定的方式描述张量运算把复杂的维度变换写在一行里出错率远低于手动转置和反复matmul。我觉得它的价值不仅仅是简化代码而是强迫你理解每个维度的语义。拿最常见的注意力计算举例# Q, K, V: [batch, num_heads, seq_len, d_head] # 传统写法 scores torch.matmul(Q, K.transpose(-2, -1)) / math.sqrt(d_head) attn torch.softmax(scores, dim-1) output torch.matmul(attn, V) # einsum 写法 scores torch.einsum(bqhd,bkhd-bqhk, Q, K) / math.sqrt(d_head) attn torch.softmax(scores, dim-1) output torch.einsum(bqhk,bkhd-bqhd, attn, V)这里bqhd,bkhd-bqhk的意思就是Q 的维度是 batch × query × head × dimK 的维度是 batch × key × head × dim结果矩阵是 batch × query × head × key重复出现的 d 维度会被自动求和消掉。这样一行代码既完成了转置又完成了矩阵乘而且维度语义清清楚楚。我的一位做横向项目的朋友曾经和我讲过他用 einsum 重写了一个自己维护了半年的多头注意力模块顺手把隐藏的一个维度顺序 bug 找出来了。所以如果你经常在transpose、permute和view之间来回折腾我强烈建议你试试 einsum。5. 外积、特征交互与更远的张量积5.1 外积与协方差估计外积这个概念在大多数机器学习课程里着墨不多但它在统计和概率模型里很重要。两个向量的外积定义是a ⊗ b a bᵀ也就是说一个列向量 a长度为 m和一个行向量 b长度为 n做外积得到一个 m × n 的矩阵。它和点积的区别在于点积把信息压缩成一个标量外积则把信息展开成二维结构。在机器学习中最经典的应用之一就是协方差矩阵的估计。假设我们有 N 个样本每个样本的特征向量是 x_i先去中心化得到 z_i x_i - μ那么协方差矩阵可以写成Σ (1/N) Σᵢ z_i z_iᵀ这里的 z_i z_iᵀ 就是 z_i 和自身的外积最后把所有样本的外积加起来再取平均。这个公式在 PCA、线性判别分析、高斯判别分析里都反复出现。你在 PRML 里会看到它在周志华《机器学习》讲线性判别分析时类内离散度矩阵 S_w 的构造也是外积累加。代码实现也很直接X np.random.randn(100, 20) # 100 个样本20 维特征 mu X.mean(axis0) Z X - mu # 中心化 # 外积之和 / N即协方差矩阵 cov (Z.T Z) / (len(X) - 1) # 注意这里用了矩阵乘法但展开就是外积累加Z.T Z本质上就是每个中心化样本外积的累加一个矩阵乘法就打包完成了。理解这个层次你会突然发现很多统计公式在代码层面原来就是一两个矩阵运算。5.2 推荐系统与特征交互当两个向量想结婚再往外积的精神方向延伸就不得不提特征交互。在广告点击率预估和推荐系统里我们经常要做特征交叉。比如用户是年轻人和商品是数码产品这两个特征单独看对点击率的影响可能都不大但当它们同时出现时对点击率有很强的正相关。这种交互效应在数学上常常建模为特征的乘积。最朴素的实现就是把两个特征的值相乘作为新特征。如果特征是连续值这个操作是标量乘积如果特征本身是 embedding 向量那通常可以用逐元素乘积对应下面代码的*或者外积np.outer来构造交叉特征# user_emb: [emb_dim], item_emb: [emb_dim] # 逐元素交叉 cross_elementwise user_emb * item_emb # 外积交叉得到一个 [emb_dim, emb_dim] 的矩阵 # 这个矩阵扁平化后可以作为高层网络的输入 cross_outer np.outer(user_emb, item_emb)这种让两个向量结婚的思路在音乐风格分类、化工分子性质预测这些领域也能看到。比如基于机器学习的音乐风格分类算法在提取音频特征后会刻意构造节奏特征和音高特征的交叉项形式就是逐元素乘积或者单层交互在分子性质预测里图神经网络的消息传递过程更是大量使用了节点特征和边特征之间的张量乘积、逐元素乘积。这给我们一个启发当你觉得线性模型表达能力不够的时候与其直接上很深的网络不如先想一想能不能合理地构造一些特征交叉项。这些交叉项本质上就是各种 product 的组合。5.3 Kronecker 积与前沿方向张量网络、新型材料筛选最后提一个稍微冷门但值得了解的乘积Kronecker 积也叫张量积符号是 ⊗。它是把一个 m×n 矩阵 A 和 p×q 矩阵 B 组合成一个 mp×nq 的大矩阵规则是把 A 的每个元素都替换成 Aᵢⱼ·B 这个块。Kronecker 积在传统机器学习里用得不多但在贝叶斯神经网络、张量分解、以及一些前沿科学计算领域里很重要。比如在新材料筛选任务中有团队用机器学习框架加速拓扑新材料的结构筛选其中涉及对晶格向量和原子轨道特征的张量化处理Kronecker 积就是构造高维特征空间的基础操作之一。化工领域的化合物性质预测中如果要用高斯过程或者核方法也经常遇到多任务之间的 Kronecker 结构协方差矩阵。我不是建议每个人都去啃 Kronecker 积的完整数学体系但当你读到某些论文里出现 ⊗ 符号时至少要知道它和 Hadamard 积、矩阵乘法不是一回事它是一种更高维的组合式乘法。它带来的计算量往往是灾难级的所以在工程落地时通常会配合低秩近似来约减这也是张量网络方法能加速的原因之一。6. 常见问题与排查技巧实录6.1 维度不匹配的快速诊断在代码里最常见的一条报错是RuntimeError: mat1 and mat2 shapes cannot be multiplied (256x128 and 64x128)很多人一看到就懵然后开始瞎调维度。其实定位方法很简单报错信息已经把两个张量的形状写清楚了你要做的就是看左边矩阵的列数第二个数和右边矩阵的行数第一个数是否相等。上面报错里 256×128 和 64×128列数是 128行数却是 64不相等所以报错。真正麻烦的是那种维度匹配但语义错误的情况。比如你把[batch, seq, dim]和[batch, seq, dim]用相乘PyTorch 会自动把它当成最后两维的矩阵乘法产生[batch, seq, seq]看起来没报错但它可能不是你想要的结果。遇到这类问题我一般会用下面这个脚本快速扫码def shape_info(*tensors): for i, t in enumerate(tensors): print(ft{i}: {tuple(t.shape)}, dtype{t.dtype}, device{t.device})把它放在前向计算的入口处逐层打印形状很快就能定位哪一步的语义不对。经验之谈百分之六七十的矩阵乘法 bug根因都是多写了一次transpose或者少写了一次reshape把 shape 打印出来通常三分钟内能找到答案。6.2 数值稳定性乘积链太长会怎样乘积还有一个隐含的危险连乘会导致数值范围快速膨胀或坍缩。假设你在实现一个没有归一化的线性链每一层的输出都要乘一个略大于 1 的数字经过几十层之后数值可能变得巨大无比直接溢出成 NaN如果乘的是略小于 1 的数字梯度在反向传播时也会指数级缩小导致梯度消失。经典的解决方案有几个一是用残差连接让乘积变成加和缓解连乘效应二是用归一化层把每层的输出拉回合理范围三是在注意力机制里除以 √d_k防止点积结果过大使得 softmax 落入饱和区。这些手段背后的动机很多都是为了控制乘积链带来的数值风险。混合精度训练也会放大这个问题。在 float16 下最小正正规数是 6e-5 左右比 float32 大了太多。你做点积累加时如果中间结果太小直接就被下溢成 0 了。就是为什么混合精度训练要配合 loss scaling——本质上是把整个乘积链先放大到安全范围再参与计算。半精度下的矩阵乘法性能确实好但你要心里有数它不是一个免费的午餐数值范围一定要注意。6.3 框架差异与代码规范小建议不同框架的运算符约定不太一样我这里整理一个速查表希望对你有用操作NumPyPyTorchTensorFlow逐元素乘a * ba * b或torch.mul(a, b)tf.multiply(a, b)点积一维np.dot(a, b)torch.dot(a, b)tf.tensordot(a, b, axes1)矩阵乘a ba b或torch.matmul(a, b)tf.matmul(a, b)外积np.outer(a, b)torch.outer(a, b)a[:, None] * b[None, :]另外有两个小建议。第一在 PyTorch 里写模型时我会刻意区分torch.mm只支持二维矩阵乘法和torch.matmul支持多维张量能帮助快速定位维度错误的来源。第二不要在forward里面到处写裸的torch.matmul然后祈求出错尽量通过nn.Linear或者把权重封装成明确的模块这样维度一致性由框架帮你保证。结尾一点个人体会从最开始被*和搞到头大到后来能一眼看出论文公式里的 ⊙ 应该对应代码里的哪个运算符这个过程我走了不少弯路。最惨的一次我在实现一个流式推荐模型时把用户特征和物品特征的外积误写成了点积结果模型上线后的 AUC 比基线还低排查了两天才发现是乘积类型用错了。那之后我就养成了一个习惯凡是读到公式先在旁边标注它属于哪种 product再用einsum或带注释的矩阵运算去写代码。回头想想机器学习里真正难的不是那些看似高级的概念而是这些最基础的数学运算被我们无意中混淆的时候。希望这篇文章能帮你少踩几个坑至少在遇到乘积相关 bug 时能想起还有这么一张速查表可以翻一翻。