做联邦学习的人，十有八九都会遇到一个尴尬时刻：拿着跨设备场景的需求去查经典算法，发现所有主流方法都默认"所有客户端必须使用同一个模型结构"。可在真实业务里，手机端、边缘网关、车载设备算力差异巨大，模型结构天然不同，数据又受隐私约束不能离开本地。这个矛盾，正好把"模型异构个性化联邦学习"推到了最前线。最近我把一个叫 pFedES 的方法从头到尾过了一遍——它的全称是 Generalized Proxy Feature Extractor Sharing，核心思路是让服务端维护一个"代理特征提取器"，在异构客户端之间传递共性知识，同时每个客户端保留自己的个性化模型。这篇文章把 pFedES 的设计逻辑、训练流程、复现要点和踩坑记录都整理出来，适合正在做联邦学习选型、或者正被 Non-IID 数据和异构模型折磨的朋友参考。我尽量不堆公式，只讲清楚"为什么这么设计""训练时到底发生了什么"，以及我在复现和调参过程中踩到的真实问题。1. 模型异构的痛点：联邦学习里那个不太成立的"同构假设"1.1 一个在真实部署中几乎必现的场景传统的联邦平均方法有一个前置条件：参与方使用完全一致的网络结构。逻辑也很直接——联邦学习要把各个客户端本地训练出来的模型参数做加权平均，结构不同，连参数都对应不上，又何谈平均。但实际部署时，这个条件几乎不可能满足。我接触过的一个跨设备模拟项目 X 里，手机端和车载端都部署了本地模型，手机端为了省电只跑一个几层的轻量卷积网络，车载端算力充足，已经换成了带残差结构的深网络。如果硬要所有端都统一成同一个结构，要么手机端跑不动，要么车载端性能被严重浪费。更麻烦的是，各端数据分布还高度不一致，有的端只有少量样本，有的端类别严重倾斜。这种"结构不同 + 数据分布不同 + 数据不能出域"的三重约束，把经典联邦平均直接逼到了墙角。pFedES 这类方法解决的就是这个问题：允许每个客户端用自己特有的模型结构，但仍能从全局协作中受益。它不再要求参数层面的一致，而是转而在一个"共享的抽象层"上做知识交换。这个思路上的转向，是整个方法成立的基石。1.2 异构模型之间为什么不能直接加权平均很多人一开始会想：结构不同而已，能不能把每个模型按层拆开，维度对齐了再平均？这个想法在直觉上很诱人，但实现起来有两个绕不过去的坎。第一个坎是维度不匹配。一个三层卷积网络和一个五层卷积网络，中间层的通道数、特征图尺寸完全对不上，强行对齐就得补零或者插值，补进去的虚拟参数没有任何语义，平均出来的结果几乎必然更差。第二个坎更隐蔽，叫神经元的置换等价性。即使两个网络层的维度恰好一样，它们内部神经元的排列顺序也不一定对应同一语义。A 网络的第一个卷积核可能学到了边缘特征，B 网络的第一个卷积核可能学到了纹理特征，按位置逐个平均，等于把两本词典里不同顺序的词条硬凑成一本新词典，每个词义都被污染了。这种现象在重新初始化后尤其明显。所以，异构模型之间需要的不再是参数平均，而是一个"公共参照系"，大家把自己的特征表示投影进去做对齐，再各自回到私有空间。1.3 已有思路的盲区与 pFedES 的切入点在 pFedES 之前，学界已经有不少尝试解决异构联邦学习的思路。蒸馏式做法最直接：选一个公开数据集，让所有客户端在这个数据集上模仿某个教师模型的输出，从而间接对齐。问题在于，公开数据集在很多业务场景里根本不存在——数据敏感时，服务端连一小撮公开样本都拿不到，这条路直接堵死。生成式做法是服务端训练一个生成器，模拟客户端数据的分布，再让客户端在生成数据上训练。这种做法理论上很漂亮，但生成器和判别器的训练本身就不稳定，加在联邦流程里会让整个系统的抖动明显增大。原型式做法是让客户端上传自己每个类别的原型向量，服务端做聚合后再下发。它传输的数据量很小，但原型向量本质上是类别统计信息，在一些隐私要求极高的场景里，原型的暴露仍然让人不安。pFedES 的做法不太一样。它不传数据、不传原型、不生成样本，而是直接共享一个"代理特征提取器"。所有客户端在本地训练时，把自己的私有特征通过一个可学习的投影头映射到一个公共特征空间，再和代理特征提取器提取的特征做对齐。服务端只聚合这个代理特征提取器，每个客户端的私有模型结构完全自由。这个"共享抽象层"的设计，恰好绕开了上面三类方法的痛点。2. pFedES 的核心机制：一个与客户端结构无关的"共性知识载体"2.1 先拆开标题：Generalized Proxy Feature Extractor Sharing 到底在共享什么拆开标题看，关键词有三个：Generalized、Proxy Feature Extractor、Sharing。"Sharing"指的是服务端和客户端之间传递的不是原始数据，而是一个轻量级特征提取器 E_proxy 的参数。这个 E_proxy 被所有客户端共享，在全局层面代表了一个"大家共同认可的公共特征空间"。"Proxy Feature Extractor"指的是这个 E_proxy 本身是一个完整的、可训练的小骨干网络，输入是原始样本，输出是公共特征向量。它之所以叫"代理"，因为它在某种意义上替代了"公共模型"的位置——没有一个客户端真正运行这个网络作为自己的主干，但所有人都借它来校准自己的私有特征空间。"Generalized"是我觉得这个工作最值得琢磨的地方。广义性体现在三个层面：对客户端结构广义：E_proxy 作用于原始输入空间，无论客户端用 CNN、MLP 还是轻量 Transformer，都可以把自己的特征投影过来对齐；对输入模态广义：只要在 E_proxy 前面加一层适当的输入规范化，图像、文本、结构化特征都能进入同一套对齐逻辑；对聚合逻辑广义：服务端只更新 E_proxy，不触碰任何客户端的私有骨干和分类头，因此不需要处理异构参数的匹配问题。换句话说，pFedES 的设计目标不是让异构模型"变成同一个模型"，而是让异构模型"共用一个衡量标准"。2.2 客户端侧的三段式组件：特征提取器 + 投影头 + 分类头每个客户端的本地模型可以拆成三段。第一段是私有特征提取器 F_k，结构完全自定义，可以是任意骨干网络；第二段是分类头 H_k，负责输出类别概率；第三段是一个额外的投影头 P_k，它把 F_k 输出的特征向量映射到一个预先定义好维度的公共空间。很多初学者会问：为什么不能直接把 F_k 的输出和 E_proxy 的输出对齐，非要加一个投影头？原因是特征分布完全不匹配。F_k 的输出是这个客户端私有空间里的高维表示，通道数、数值范围、语义粒度都由它自己的结构决定；E_proxy 的输出则是公共空间里的特征，两者的维度可能不同、分布的方差也差别极大。如果在两个无法直接比较的空间里硬套一个对齐损失，优化过程会非常不稳定，模型很难收敛。投影头 P_k 的任务就是承担两个空间之间的"翻译"工作，它可以简单到一层线性映射加 ReLU，也可以带一层 LayerNorm，关键是把私有特征统一到公共空间的维度 d 上。训练过程中，F_k 和 H_k 是客户端个性化的载体，本地数据只优化它们；P_k 也只在客户端本地更新，但它多承担了一个职责：让本地特征不断向公共空间靠拢。这样一来，每个客户端的个性化能力和全局共性知识，就在投影头这里汇合了。2.3 特征对齐的双向流动：从"共性约束本地"到"本地反馈共性"pFedES 的训练过程中，E_proxy 和本地模型之间存在双向的知识流动。这个双向流动是方法的核心，也是我复现时花了最多时间想清楚的地方。第一向是"共性约束本地"。客户端拿到服务端下发的 E_proxy 后，在本地前向计算时，对每个样本 x，同时得到两个特征：一个是经过 F_k 和 P_k 得到的私有投影特征 e_local，另一个是 E_proxy 直接从 x 提取的公共特征 e_proxy。训练时要求 e_local 尽可能接近 e_proxy，这会推动本地特征提取器从"只关心本地数据"逐渐转向"既关心本地数据，又不偏离公共语义"。第二向是"本地反馈共性"。如果 E_proxy 在客户端本地一直保持冻结，它就只能充当一个固定的教师，永远也学不到新知识。所以更合理的做法是：在本地训练的每一步，除了更新 F_k、P_k、H_k 之外，也让 E_proxy 用"靠近 e_local"作为目标做一次小步更新。这样，E_proxy 就能从每个客户端吸收它们各自的特征表达习惯，把多样化的客户端知识沉淀到公共空间里。这两步交替进行，本地模型被公共空间拉拢，公共空间又被各个本地模型喂养。服务端接下来要做的，就是把每轮参与客户端各自微调过的 E_proxy 再聚合起来，形成新的全局 E_proxy，进入下一轮。3. 训练流程与实现细节：从服务端初始化到一轮完整通信3.1 服务端初始化与广播服务端需要维护的只有一个 E_proxy，初始化方式有两种。一种是随机初始化，简单直接，但会让训练初期的对齐过程格外艰难——本地模型要同时面对分类任务和一个完全随机的公共空间，投影头很容易被带偏。另一种是用某个在公开任务上预训练过的小骨干做初始化，我在复现时选了这种，收敛速度明显快不少。E_proxy 的输入会经过一个轻量输入规范化层，把所有客户端的数据统一缩放到一个稳定的数值范围。这一点很容易被忽略，但实际作用非常大。比如有的客户端数据像素值范围是 [0, 1]，有的是 [0, 255]，如果不统一，E_proxy 在不同客户端之间被来回拉扯，特征分布很难稳定。初始化完成后，每一轮服务端按参与比例随机选择一部分客户端，把当前全局 E_proxy 的参数广播下去。参与比例通常不需要太高，但选择策略会影响特征提取器聚合的稳定性，这一点后面我会单独说。3.2 客户端本地更新的三步走客户端收到 E_proxy 后，在自己的本地数据上完成若干轮训练。我把更新流程梳理成三步。第一步是前向计算。对每个批次样本 x，计算私有特征 z_k = F_k(x)，投影特征 e_local = P_k(z_k)，分类输出 logits = H_k(z_k)，同时计算公共特征 e_proxy = E_proxy(x)。注意，e_proxy 的计算在第一次前向时可以通过 stop gradient 处理，让梯度只流向本地模型，避免公共空间被单个客户端瞬间拽走。第二步是损失组合。分类损失沿用交叉熵，对齐损失我用的是均方误差，也可以换成负余弦相似度。总体损失是分类损失加上对齐损失乘以权重系数 λ。分类损失保证本地性能，对齐损失保证公共空间的一致性。第三步是反向传播与二次更新。先更新本地模型 F_k、P_k、H_k；然后固定 e_local 的结果，让 E_proxy 以"靠近 e_local"为目标做一次小步更新。这一步我用一个很小的学习率，通常是本地模型学习率的十分之一。伪代码大概长这样：def local_update(local_model, proxy_extractor, local_loader, cfg): opt_local = SGD(local_model.parameters(), lr=cfg.lr_local) opt_proxy = SGD(proxy_extractor.parameters(), lr=cfg.lr_proxy) for _ in range(cfg.local_epochs): for x, y in local_loader: z = local_model.backbone(x) logits = local_model.head(z) e_local = local_model.project(z) with torch.no_grad(): e_proxy = proxy_extractor(x) cls_loss = cross_entropy(logits, y) align_loss = mse_loss(e_local, e_proxy) loss = cls_loss + cfg.lam * align_loss opt_local.zero_grad() loss.backward(retain_graph=True) opt_local.step() align_loss_2 = mse_loss(proxy_extractor(x), e_local.detach()) opt_proxy.zero_grad() align_loss_2.backward() opt_proxy.step() return proxy_extractor.state_dict()这里有一个细节值得强调：第一次对齐损失中 e_proxy 是 stop gradient 的，第二次反向更新 E_proxy 时 e_local 是 stop gradient 的。这种做法避免了本地模型和公共特征提取器在同一个样本上互相"追逐"导致震荡，我在去掉 stop gradient 的对照实验里观察到了明显的损失抖动。3.3 服务端聚合策略服务端聚合只针对 E_proxy，各客户端上传的是自己本地微调后的 E_proxy 参数。加权方式按客户端本地样本量占比进行，这一点和联邦平均的加权逻辑一致。私有模型 F_k、H_k 的任何参数都不上传，这也是保护隐私和保证异构自由的关键。聚合之后要不要做一步平滑，是我实际测试中比较关注的点。当参与客户端数量较少、且本地对 E_proxy 更新的步数偏多时，聚合出来的新 E_proxy 变化幅度会很大，下一轮客户端训练很容易波动。我在服务端加了滑动平均，让新全局 E_proxy 的值等于旧值乘以一个动量系数再加上新聚合值乘以剩余系数，系数取 0.5 左右时，训练过程平稳不少。这个细节在原论文描述里一般不会展开，但实际工程中很值得做。3.4 关键超参与背后的理由参数的选择直接决定方法能不能跑起来。我把最关键的几个超参整理成了表，附上我自己的直觉解释。超参我使用的范围选择逻辑公共特征维度 d128 到 256维度太小公共空间装不下足够信息，维度太大投影头训练困难和通信开销上升对齐损失权重 λ0.1 到 1.0最敏感的超参，从 0.1 起步，观察公共空间一致性再逐步调大E_proxy 学习率本地模型学习率的 0.1 倍过大会让公共空间被单个客户端带偏，过小则学习不到新知识本地训练轮数1 到 3异构程度高时适当增多，但过多会放大客户端之间的偏差服务端动量系数0.5 左右抑制聚合抖动，参与客户端过少时尤其重要关于 λ 的取值，我的经验判断是：数据异构越严重，λ 越需要调大一些；但一旦超过某个临界点，个性化会坍缩，本地性能反而下降。这个临界点需要通过小规模消融实验去标定，没有放之四海而皆准的固定值。4. 复现 pFedES 的实测记录：通信轮数、异构度与损失权重的耦合效应4.1 同构对照下的"假象"拿到方法的第一反应，是在一个所有客户端结构完全一致的简化设置上先跑通。这个对照组的结果很有意思：pFedES 的性能和经典联邦平均几乎打平，差距在 1% 以内。这个结果其实不难解释。当所有客户端都使用相同结构时，代理特征提取器和客户端私有特征提取器学习到的东西高度重合，公共空间约束变成了一层冗余。模型完全可以只靠本地分类损失收敛，额外的对齐损失几乎不提供正面信息。如果在这个阶段就下结论说 pFedES 没价值，那就被表象骗了。方法的收益只有在异构拉开之后才会显现。4.2 异构度拉高之后的行为变化我把模拟客户端分成了三组：一组用三层卷积网络，一组用五层卷积网络，一组用轻量 Transformer。异构度用一个直观指标衡量：本地模型结构和平均结构不同的客户端所占比例。从 0 逐步调到 0.8 的过程中，pFedES 相对经典联邦平均的性能优势从接近持平一路拉大到十个百分点以上。异构度升高带来的另一个明显变化是特征对齐损失的波动变大。客户端模型结构差异越大，各自私有特征的分布形态差别就越大，投影头要把这些形态各异的特征都翻译到同一个公共空间，压力自然更大。我在实践中把本地训练轮数从 1 增加到 3，对齐损失的下降明显更平滑。直观理解是：更多本地训练让投影头和公共空间在每一轮内完成更充分的适配，而不是每轮只草草对齐一次就交给服务端。4.3 调参中的三个意外这段是踩坑实录，每个问题我都花了不少时间定位。第一个意外是 λ 太大导致个性化坍缩。我曾经把 λ 调到 2.0，期待公共约束强一点效果更好，结果全局测试精度上升了，但每个客户端的本地测试精度明显下滑。原因在于过强的对齐损失把本地模型的特征表达压得非常接近公共空间，客户端自身的个性化信息被稀释。后来我把 λ 从 0.1 开始逐步增加，在 0.5 左右找到平衡点，本地精度和全局精度都能维持不错。调 λ 的核心原则是：公共知识服务于个性化能力，而不是反过来。第二个意外是投影头不收敛。有一段时间对齐损失始终降不下去，排查之后发现投影头的参数初始化范围太大，非线性表达能力又没有跟上来。解决方法很朴素：训练初期先冻结骨干 F_k，只更新投影头 P_k 和分类头 H_k 几十个迭代，让投影头先找到一个合理的初始映射，再解冻骨干联合训练。这一步不需要额外引入任何复杂组件，但收敛速度快得明显。第三个意外是服务端聚合后训练损失跳变。我最初让客户端上传本地微调后的 E_proxy，直接做加权平均，然后原样下发，结果新的一轮开始后，很多客户端的初始损失都比上一轮结束时要高出一截。这正是因为局部微调后的 E_proxy 散布在公共空间的不同角落，简单平均得到一个"中间值"并不能立刻适配每个客户端。加了服务端动量平滑、并且把 E_proxy 的本地学习率调小之后，跳变幅度大幅下降。4.4 传输开销与隐私观察通信开销方面，pFedES 传输的是一个 E_proxy 的参数，维度通常远小于客户端私有模型。在一个五层 CNN 和三层 CNN 并存的模拟设置里，客户端本地上传参数量的差异能达到数倍，但 E_proxy 的大小只取决于公共空间的设计，对所有客户端一视同仁。这意味着异构程度越高，pFedES 相对"上传完整模型"的方案在通信效率上的优势越明显。隐私方面有一个容易被忽视的细节：客户端虽然不传原始数据，但本地会对 E_proxy 做微调再上传，因此理论上不能完全排除 E_proxy 参数中残留某些客户端本地特征的痕迹。实际工程里如果隐私要求极高，可以进一步限制 E_proxy 本地更新的步数，或采用更大的服务端动量系数来稀释单个客户端的影响。我在记录里给这条打了个标，建议每个上生产环境的人认真评估。5. 适用场景边界与后续扩展：什么情况下该用 pFedES5.1 方法的适用条件与不适合的场景先说适合用的场景。第一是客户端数据确实 Non-IID，且本地类别分布差异大，这种情况是个性化联邦学习的主战场；第二是客户端之间模型结构异构明显，统一模型结构会带来实用性损失；第三是本地数据量有限，纯靠本地训练容易过拟合，需要借助全局知识做正则；第四是服务端拿不到公共数据集，蒸馏式方法走不通。反过来，有几种情况不建议强上 pFedES。所有客户端结构相同、数据近似独立同分布时，经典联邦平均更简单高效；客户端数量大但每轮参与率极低时，E_proxy 的聚合会非常不稳定，需要额外加很多平滑机制；对通信字节数要求极度苛刻的场景，一个额外的公共特征提取器本身就是不小的开销。方法不是银弹，搞清楚边界再选型，比盲目追新更重要。5.2 三个值得动手的扩展方向第一个方向是让代理特征提取器输出多尺度特征。目前的公共空间只维护一个特征向量，对于需要同时处理浅层细节和深层语义的任务来说，信息量可能不够。扩展做法是把 E_proxy 设计成多个不同层级的输出头，客户端投影头也相应拆成几段，分别对齐不同尺度的语义。代价是通信量会成倍增加，适合算力充裕的场景。第二个方向是和服务端动态客户端选择结合。E_proxy 的聚合稳定性与参与客户端的组成高度相关，可以考虑在每轮选择客户端时，按照本地数据类别分布和公共空间覆盖情况做加权抽样，让每一轮聚合的客户端异质性保持在一个合理区间，而不是完全随机。第三个方向是把对齐损失从均方误差升级为对比式目标。均方误差会让所有样本的特征向一个点收缩，类别结构容易被压缩掉；对比式目标会显式保留类间距离。我在一个文本分类模拟任务上做过小规模尝试，对比目标在类别较多的数据集上提升更明显，但训练时间也明显增加，需要权衡。目标场景推荐做法需要付出的代价类内差异大、类间边界模糊多尺度代理特征提取器通信量成倍增加客户端参与率不稳定按数据分布做动态选择服务端需要维护更多元信息分类类别数量多对比式对齐损失训练时间明显变长从我复现的整个过程来看，pFedES 最值得借鉴的不是某个具体的损失函数或网络层，而是"共享一个可学习的抽象层"这个思路。它把个性化联邦学习里最难处理的"如何在异构参数之间传递知识"问题，转化成了一个相对好解的"如何在公共特征空间里做对齐"问题，让模型异构不再成为一个需要刻意绕开的障碍。最后再分享一个我实际操作中的小体会：如果你刚开始复现这个方向，不要一上来就调 λ 和维度，先把服务端动量系数和 E_proxy 的本地学习率固定好，这两个参数直接决定了训练过程稳不稳。训练流程稳定之后，再去调对齐损失权重，会省掉大量排查抖动的时间。
做联邦学习的人，十有八九都会遇到一个尴尬时刻：拿着跨设备场景的需求去查经典算法，发现所有主流方法都默认"所有客户端必须使用同一个模型结构"。可在真实业务里，手机端、边缘网关、车载设备算力差异巨大，模型结构天然不同，数据又受隐私约束不能离开本地。这个矛盾，正好把"模型异构个性化联邦学习"推到了最前线。最近我把一个叫 pFedES 的方法从头到尾过了一遍——它的全称是 Generalized Proxy Feature Extractor Sharing，核心思路是让服务端维护一个"代理特征提取器"，在异构客户端之间传递共性知识，同时每个客户端保留自己的个性化模型。这篇文章把 pFedES 的设计逻辑、训练流程、复现要点和踩坑记录都整理出来，适合正在做联邦学习选型、或者正被 Non-IID 数据和异构模型折磨的朋友参考。我尽量不堆公式，只讲清楚"为什么这么设计""训练时到底发生了什么"，以及我在复现和调参过程中踩到的真实问题。1. 模型异构的痛点：联邦学习里那个不太成立的"同构假设"1.1 一个在真实部署中几乎必现的场景传统的联邦平均方法有一个前置条件：参与方使用完全一致的网络结构。逻辑也很直接——联邦学习要把各个客户端本地训练出来的模型参数做加权平均，结构不同，连参数都对应不上，又何谈平均。但实际部署时，这个条件几乎不可能满足。我接触过的一个跨设备模拟项目 X 里，手机端和车载端都部署了本地模型，手机端为了省电只跑一个几层的轻量卷积网络，车载端算力充足，已经换成了带残差结构的深网络。如果硬要所有端都统一成同一个结构，要么手机端跑不动，要么车载端性能被严重浪费。更麻烦的是，各端数据分布还高度不一致，有的端只有少量样本，有的端类别严重倾斜。这种"结构不同 + 数据分布不同 + 数据不能出域"的三重约束，把经典联邦平均直接逼到了墙角。pFedES 这类方法解决的就是这个问题：允许每个客户端用自己特有的模型结构，但仍能从全局协作中受益。它不再要求参数层面的一致，而是转而在一个"共享的抽象层"上做知识交换。这个思路上的转向，是整个方法成立的基石。1.2 异构模型之间为什么不能直接加权平均很多人一开始会想：结构不同而已，能不能把每个模型按层拆开，维度对齐了再平均？这个想法在直觉上很诱人，但实现起来有两个绕不过去的坎。第一个坎是维度不匹配。一个三层卷积网络和一个五层卷积网络，中间层的通道数、特征图尺寸完全对不上，强行对齐就得补零或者插值，补进去的虚拟参数没有任何语义，平均出来的结果几乎必然更差。第二个坎更隐蔽，叫神经元的置换等价性。即使两个网络层的维度恰好一样，它们内部神经元的排列顺序也不一定对应同一语义。A 网络的第一个卷积核可能学到了边缘特征，B 网络的第一个卷积核可能学到了纹理特征，按位置逐个平均，等于把两本词典里不同顺序的词条硬凑成一本新词典，每个词义都被污染了。这种现象在重新初始化后尤其明显。所以，异构模型之间需要的不再是参数平均，而是一个"公共参照系"，大家把自己的特征表示投影进去做对齐，再各自回到私有空间。1.3 已有思路的盲区与 pFedES 的切入点在 pFedES 之前，学界已经有不少尝试解决异构联邦学习的思路。蒸馏式做法最直接：选一个公开数据集，让所有客户端在这个数据集上模仿某个教师模型的输出，从而间接对齐。问题在于，公开数据集在很多业务场景里根本不存在——数据敏感时，服务端连一小撮公开样本都拿不到，这条路直接堵死。生成式做法是服务端训练一个生成器，模拟客户端数据的分布，再让客户端在生成数据上训练。这种做法理论上很漂亮，但生成器和判别器的训练本身就不稳定，加在联邦流程里会让整个系统的抖动明显增大。原型式做法是让客户端上传自己每个类别的原型向量，服务端做聚合后再下发。它传输的数据量很小，但原型向量本质上是类别统计信息，在一些隐私要求极高的场景里，原型的暴露仍然让人不安。pFedES 的做法不太一样。它不传数据、不传原型、不生成样本，而是直接共享一个"代理特征提取器"。所有客户端在本地训练时，把自己的私有特征通过一个可学习的投影头映射到一个公共特征空间，再和代理特征提取器提取的特征做对齐。服务端只聚合这个代理特征提取器，每个客户端的私有模型结构完全自由。这个"共享抽象层"的设计，恰好绕开了上面三类方法的痛点。2. pFedES 的核心机制：一个与客户端结构无关的"共性知识载体"2.1 先拆开标题：Generalized Proxy Feature Extractor Sharing 到底在共享什么拆开标题看，关键词有三个：Generalized、Proxy Feature Extractor、Sharing。"Sharing"指的是服务端和客户端之间传递的不是原始数据，而是一个轻量级特征提取器 E_proxy 的参数。这个 E_proxy 被所有客户端共享，在全局层面代表了一个"大家共同认可的公共特征空间"。"Proxy Feature Extractor"指的是这个 E_proxy 本身是一个完整的、可训练的小骨干网络，输入是原始样本，输出是公共特征向量。它之所以叫"代理"，因为它在某种意义上替代了"公共模型"的位置——没有一个客户端真正运行这个网络作为自己的主干，但所有人都借它来校准自己的私有特征空间。"Generalized"是我觉得这个工作最值得琢磨的地方。广义性体现在三个层面：对客户端结构广义：E_proxy 作用于原始输入空间，无论客户端用 CNN、MLP 还是轻量 Transformer，都可以把自己的特征投影过来对齐；对输入模态广义：只要在 E_proxy 前面加一层适当的输入规范化，图像、文本、结构化特征都能进入同一套对齐逻辑；对聚合逻辑广义：服务端只更新 E_proxy，不触碰任何客户端的私有骨干和分类头，因此不需要处理异构参数的匹配问题。换句话说，pFedES 的设计目标不是让异构模型"变成同一个模型"，而是让异构模型"共用一个衡量标准"。2.2 客户端侧的三段式组件：特征提取器 + 投影头 + 分类头每个客户端的本地模型可以拆成三段。第一段是私有特征提取器 F_k，结构完全自定义，可以是任意骨干网络；第二段是分类头 H_k，负责输出类别概率；第三段是一个额外的投影头 P_k，它把 F_k 输出的特征向量映射到一个预先定义好维度的公共空间。很多初学者会问：为什么不能直接把 F_k 的输出和 E_proxy 的输出对齐，非要加一个投影头？原因是特征分布完全不匹配。F_k 的输出是这个客户端私有空间里的高维表示，通道数、数值范围、语义粒度都由它自己的结构决定；E_proxy 的输出则是公共空间里的特征，两者的维度可能不同、分布的方差也差别极大。如果在两个无法直接比较的空间里硬套一个对齐损失，优化过程会非常不稳定，模型很难收敛。投影头 P_k 的任务就是承担两个空间之间的"翻译"工作，它可以简单到一层线性映射加 ReLU，也可以带一层 LayerNorm，关键是把私有特征统一到公共空间的维度 d 上。训练过程中，F_k 和 H_k 是客户端个性化的载体，本地数据只优化它们；P_k 也只在客户端本地更新，但它多承担了一个职责：让本地特征不断向公共空间靠拢。这样一来，每个客户端的个性化能力和全局共性知识，就在投影头这里汇合了。2.3 特征对齐的双向流动：从"共性约束本地"到"本地反馈共性"pFedES 的训练过程中，E_proxy 和本地模型之间存在双向的知识流动。这个双向流动是方法的核心，也是我复现时花了最多时间想清楚的地方。第一向是"共性约束本地"。客户端拿到服务端下发的 E_proxy 后，在本地前向计算时，对每个样本 x，同时得到两个特征：一个是经过 F_k 和 P_k 得到的私有投影特征 e_local，另一个是 E_proxy 直接从 x 提取的公共特征 e_proxy。训练时要求 e_local 尽可能接近 e_proxy，这会推动本地特征提取器从"只关心本地数据"逐渐转向"既关心本地数据，又不偏离公共语义"。第二向是"本地反馈共性"。如果 E_proxy 在客户端本地一直保持冻结，它就只能充当一个固定的教师，永远也学不到新知识。所以更合理的做法是：在本地训练的每一步，除了更新 F_k、P_k、H_k 之外，也让 E_proxy 用"靠近 e_local"作为目标做一次小步更新。这样，E_proxy 就能从每个客户端吸收它们各自的特征表达习惯，把多样化的客户端知识沉淀到公共空间里。这两步交替进行，本地模型被公共空间拉拢，公共空间又被各个本地模型喂养。服务端接下来要做的，就是把每轮参与客户端各自微调过的 E_proxy 再聚合起来，形成新的全局 E_proxy，进入下一轮。3. 训练流程与实现细节：从服务端初始化到一轮完整通信3.1 服务端初始化与广播服务端需要维护的只有一个 E_proxy，初始化方式有两种。一种是随机初始化，简单直接，但会让训练初期的对齐过程格外艰难——本地模型要同时面对分类任务和一个完全随机的公共空间，投影头很容易被带偏。另一种是用某个在公开任务上预训练过的小骨干做初始化，我在复现时选了这种，收敛速度明显快不少。E_proxy 的输入会经过一个轻量输入规范化层，把所有客户端的数据统一缩放到一个稳定的数值范围。这一点很容易被忽略，但实际作用非常大。比如有的客户端数据像素值范围是 [0, 1]，有的是 [0, 255]，如果不统一，E_proxy 在不同客户端之间被来回拉扯，特征分布很难稳定。初始化完成后，每一轮服务端按参与比例随机选择一部分客户端，把当前全局 E_proxy 的参数广播下去。参与比例通常不需要太高，但选择策略会影响特征提取器聚合的稳定性，这一点后面我会单独说。3.2 客户端本地更新的三步走客户端收到 E_proxy 后，在自己的本地数据上完成若干轮训练。我把更新流程梳理成三步。第一步是前向计算。对每个批次样本 x，计算私有特征 z_k = F_k(x)，投影特征 e_local = P_k(z_k)，分类输出 logits = H_k(z_k)，同时计算公共特征 e_proxy = E_proxy(x)。注意，e_proxy 的计算在第一次前向时可以通过 stop gradient 处理，让梯度只流向本地模型，避免公共空间被单个客户端瞬间拽走。第二步是损失组合。分类损失沿用交叉熵，对齐损失我用的是均方误差，也可以换成负余弦相似度。总体损失是分类损失加上对齐损失乘以权重系数 λ。分类损失保证本地性能，对齐损失保证公共空间的一致性。第三步是反向传播与二次更新。先更新本地模型 F_k、P_k、H_k；然后固定 e_local 的结果，让 E_proxy 以"靠近 e_local"为目标做一次小步更新。这一步我用一个很小的学习率，通常是本地模型学习率的十分之一。伪代码大概长这样：def local_update(local_model, proxy_extractor, local_loader, cfg): opt_local = SGD(local_model.parameters(), lr=cfg.lr_local) opt_proxy = SGD(proxy_extractor.parameters(), lr=cfg.lr_proxy) for _ in range(cfg.local_epochs): for x, y in local_loader: z = local_model.backbone(x) logits = local_model.head(z) e_local = local_model.project(z) with torch.no_grad(): e_proxy = proxy_extractor(x) cls_loss = cross_entropy(logits, y) align_loss = mse_loss(e_local, e_proxy) loss = cls_loss + cfg.lam * align_loss opt_local.zero_grad() loss.backward(retain_graph=True) opt_local.step() align_loss_2 = mse_loss(proxy_extractor(x), e_local.detach()) opt_proxy.zero_grad() align_loss_2.backward() opt_proxy.step() return proxy_extractor.state_dict()这里有一个细节值得强调：第一次对齐损失中 e_proxy 是 stop gradient 的，第二次反向更新 E_proxy 时 e_local 是 stop gradient 的。这种做法避免了本地模型和公共特征提取器在同一个样本上互相"追逐"导致震荡，我在去掉 stop gradient 的对照实验里观察到了明显的损失抖动。3.3 服务端聚合策略服务端聚合只针对 E_proxy，各客户端上传的是自己本地微调后的 E_proxy 参数。加权方式按客户端本地样本量占比进行，这一点和联邦平均的加权逻辑一致。私有模型 F_k、H_k 的任何参数都不上传，这也是保护隐私和保证异构自由的关键。聚合之后要不要做一步平滑，是我实际测试中比较关注的点。当参与客户端数量较少、且本地对 E_proxy 更新的步数偏多时，聚合出来的新 E_proxy 变化幅度会很大，下一轮客户端训练很容易波动。我在服务端加了滑动平均，让新全局 E_proxy 的值等于旧值乘以一个动量系数再加上新聚合值乘以剩余系数，系数取 0.5 左右时，训练过程平稳不少。这个细节在原论文描述里一般不会展开，但实际工程中很值得做。3.4 关键超参与背后的理由参数的选择直接决定方法能不能跑起来。我把最关键的几个超参整理成了表，附上我自己的直觉解释。超参我使用的范围选择逻辑公共特征维度 d128 到 256维度太小公共空间装不下足够信息，维度太大投影头训练困难和通信开销上升对齐损失权重 λ0.1 到 1.0最敏感的超参，从 0.1 起步，观察公共空间一致性再逐步调大E_proxy 学习率本地模型学习率的 0.1 倍过大会让公共空间被单个客户端带偏，过小则学习不到新知识本地训练轮数1 到 3异构程度高时适当增多，但过多会放大客户端之间的偏差服务端动量系数0.5 左右抑制聚合抖动，参与客户端过少时尤其重要关于 λ 的取值，我的经验判断是：数据异构越严重，λ 越需要调大一些；但一旦超过某个临界点，个性化会坍缩，本地性能反而下降。这个临界点需要通过小规模消融实验去标定，没有放之四海而皆准的固定值。4. 复现 pFedES 的实测记录：通信轮数、异构度与损失权重的耦合效应4.1 同构对照下的"假象"拿到方法的第一反应，是在一个所有客户端结构完全一致的简化设置上先跑通。这个对照组的结果很有意思：pFedES 的性能和经典联邦平均几乎打平，差距在 1% 以内。这个结果其实不难解释。当所有客户端都使用相同结构时，代理特征提取器和客户端私有特征提取器学习到的东西高度重合，公共空间约束变成了一层冗余。模型完全可以只靠本地分类损失收敛，额外的对齐损失几乎不提供正面信息。如果在这个阶段就下结论说 pFedES 没价值，那就被表象骗了。方法的收益只有在异构拉开之后才会显现。4.2 异构度拉高之后的行为变化我把模拟客户端分成了三组：一组用三层卷积网络，一组用五层卷积网络，一组用轻量 Transformer。异构度用一个直观指标衡量：本地模型结构和平均结构不同的客户端所占比例。从 0 逐步调到 0.8 的过程中，pFedES 相对经典联邦平均的性能优势从接近持平一路拉大到十个百分点以上。异构度升高带来的另一个明显变化是特征对齐损失的波动变大。客户端模型结构差异越大，各自私有特征的分布形态差别就越大，投影头要把这些形态各异的特征都翻译到同一个公共空间，压力自然更大。我在实践中把本地训练轮数从 1 增加到 3，对齐损失的下降明显更平滑。直观理解是：更多本地训练让投影头和公共空间在每一轮内完成更充分的适配，而不是每轮只草草对齐一次就交给服务端。4.3 调参中的三个意外这段是踩坑实录，每个问题我都花了不少时间定位。第一个意外是 λ 太大导致个性化坍缩。我曾经把 λ 调到 2.0，期待公共约束强一点效果更好，结果全局测试精度上升了，但每个客户端的本地测试精度明显下滑。原因在于过强的对齐损失把本地模型的特征表达压得非常接近公共空间，客户端自身的个性化信息被稀释。后来我把 λ 从 0.1 开始逐步增加，在 0.5 左右找到平衡点，本地精度和全局精度都能维持不错。调 λ 的核心原则是：公共知识服务于个性化能力，而不是反过来。第二个意外是投影头不收敛。有一段时间对齐损失始终降不下去，排查之后发现投影头的参数初始化范围太大，非线性表达能力又没有跟上来。解决方法很朴素：训练初期先冻结骨干 F_k，只更新投影头 P_k 和分类头 H_k 几十个迭代，让投影头先找到一个合理的初始映射，再解冻骨干联合训练。这一步不需要额外引入任何复杂组件，但收敛速度快得明显。第三个意外是服务端聚合后训练损失跳变。我最初让客户端上传本地微调后的 E_proxy，直接做加权平均，然后原样下发，结果新的一轮开始后，很多客户端的初始损失都比上一轮结束时要高出一截。这正是因为局部微调后的 E_proxy 散布在公共空间的不同角落，简单平均得到一个"中间值"并不能立刻适配每个客户端。加了服务端动量平滑、并且把 E_proxy 的本地学习率调小之后，跳变幅度大幅下降。4.4 传输开销与隐私观察通信开销方面，pFedES 传输的是一个 E_proxy 的参数，维度通常远小于客户端私有模型。在一个五层 CNN 和三层 CNN 并存的模拟设置里，客户端本地上传参数量的差异能达到数倍，但 E_proxy 的大小只取决于公共空间的设计，对所有客户端一视同仁。这意味着异构程度越高，pFedES 相对"上传完整模型"的方案在通信效率上的优势越明显。隐私方面有一个容易被忽视的细节：客户端虽然不传原始数据，但本地会对 E_proxy 做微调再上传，因此理论上不能完全排除 E_proxy 参数中残留某些客户端本地特征的痕迹。实际工程里如果隐私要求极高，可以进一步限制 E_proxy 本地更新的步数，或采用更大的服务端动量系数来稀释单个客户端的影响。我在记录里给这条打了个标，建议每个上生产环境的人认真评估。5. 适用场景边界与后续扩展：什么情况下该用 pFedES5.1 方法的适用条件与不适合的场景先说适合用的场景。第一是客户端数据确实 Non-IID，且本地类别分布差异大，这种情况是个性化联邦学习的主战场；第二是客户端之间模型结构异构明显，统一模型结构会带来实用性损失；第三是本地数据量有限，纯靠本地训练容易过拟合，需要借助全局知识做正则；第四是服务端拿不到公共数据集，蒸馏式方法走不通。反过来，有几种情况不建议强上 pFedES。所有客户端结构相同、数据近似独立同分布时，经典联邦平均更简单高效；客户端数量大但每轮参与率极低时，E_proxy 的聚合会非常不稳定，需要额外加很多平滑机制；对通信字节数要求极度苛刻的场景，一个额外的公共特征提取器本身就是不小的开销。方法不是银弹，搞清楚边界再选型，比盲目追新更重要。5.2 三个值得动手的扩展方向第一个方向是让代理特征提取器输出多尺度特征。目前的公共空间只维护一个特征向量，对于需要同时处理浅层细节和深层语义的任务来说，信息量可能不够。扩展做法是把 E_proxy 设计成多个不同层级的输出头，客户端投影头也相应拆成几段，分别对齐不同尺度的语义。代价是通信量会成倍增加，适合算力充裕的场景。第二个方向是和服务端动态客户端选择结合。E_proxy 的聚合稳定性与参与客户端的组成高度相关，可以考虑在每轮选择客户端时，按照本地数据类别分布和公共空间覆盖情况做加权抽样，让每一轮聚合的客户端异质性保持在一个合理区间，而不是完全随机。第三个方向是把对齐损失从均方误差升级为对比式目标。均方误差会让所有样本的特征向一个点收缩，类别结构容易被压缩掉；对比式目标会显式保留类间距离。我在一个文本分类模拟任务上做过小规模尝试，对比目标在类别较多的数据集上提升更明显，但训练时间也明显增加，需要权衡。目标场景推荐做法需要付出的代价类内差异大、类间边界模糊多尺度代理特征提取器通信量成倍增加客户端参与率不稳定按数据分布做动态选择服务端需要维护更多元信息分类类别数量多对比式对齐损失训练时间明显变长从我复现的整个过程来看，pFedES 最值得借鉴的不是某个具体的损失函数或网络层，而是"共享一个可学习的抽象层"这个思路。它把个性化联邦学习里最难处理的"如何在异构参数之间传递知识"问题，转化成了一个相对好解的"如何在公共特征空间里做对齐"问题，让模型异构不再成为一个需要刻意绕开的障碍。最后再分享一个我实际操作中的小体会：如果你刚开始复现这个方向，不要一上来就调 λ 和维度，先把服务端动量系数和 E_proxy 的本地学习率固定好，这两个参数直接决定了训练过程稳不稳。训练流程稳定之后，再去调对齐损失权重，会省掉大量排查抖动的时间。