正文
“第二阶段是目标网络训练和精炼。”Kang 继续解释道。“每个客户端使用全局生成模型产生的合成样本来增强其本地训练数据。具体来说，我们的算法会对随机标签条件下生成样本，将这些样本作为额外的训练数据，多个本地训练周期后，再用真实数据进行精炼。”
这种双阶段方法不仅支持设备根据自身能力定制模型，还通过捕捉更广泛的数据分布显著提升了模型性能。研究团队的理论分析表明，这种生成模型驱动的知识聚合方式能有效缓解个别客户端数据不足和过拟合问题。
在实验评估中，GeFL 在多个公共数据集上进行了测试，包括 MNIST、Fashion-MNIST 和 CIFAR10。结果显示，
与基线方法 FedAvg 相比，在 MNIST 数据集上，GeFL 使用 FedDDPM（w=0）达到了 96.44% 的准确率，比 FedAvg 的 92.62% 提高了 3.82 个百分点。在 Fashion-MNIST 上，GeFL（FedDCGAN）达到 83.11%，超过 FedAvg 的 80.58%。在 CIFAR10 数据集上，GeFL（FedDDPM）达到 59.36%，而 FedAvg 仅为 55.65%。
图丨 GFL 在 MNIST、FMNIST 和 CIFAR10 数据集上的平均分类准确率（%）评估（来源：
arXiv
）
“在评估性能时，我们发现一个有趣的现象，”Kang 分享道，“生成模型的初始距离和初始得分等传统指标与下游任务性能并没有明显相关性。
这表明，评估生成模型在联邦学习中的作用需要一个更全面的视角，而不仅仅关注生成图像的质量。”
在研究过程中，该团队发现了一个关键问题。Kang 回忆说：“我们进行了一系列隐私评估后，发现了一个严重的问题。
数据明确显示，我们的生成模型虽然强大，但也在合成新样本时保留了太多关于个别数据点的信息。这不仅令人惊讶，还成为了我们研究的一个重大转折点。”
这一发现促使团队重新思考方法。Kang 解释：“认识到保护隐私的重要性，我们决定开发一个增强框架，即特征级生成模型辅助联邦学习（GeFL-F，Feature-level Generative Model-Aided Federated Learning）。在 GeFL-F 中，
我们不再生成原始图像，而是转向特征生成模型，这些模型生成的是更低分辨率、抽象的表示。”
增强隐私保护的特征级联邦学习
GeFL-F 的核心创新在于网络分解方法。它将目标网络拆分为两部分：共同特征提取器和特定于模型的头部。特征提取器是所有客户端共享的轻量级组件，通常由一个或几个卷积层组成，负责将原始图像转换为中间特征表示。这些特征表示比原始图像尺寸小得多，信息更为抽象，从而减轻了隐私泄露风险。
模型头部则是专门针对各种模型架构定制的，负责将特征映射到最终预测。这种分解策略允许客户端在共享部分知识的同时，保持模型架构的多样性。
在实验中，对 MNIST 和 Fashion-MNIST，特征提取器输出 16×16 大小的特征图；对 CIFAR10 等更复杂的数据集，输出 8×8 特征图。这种设计在信息提取和隐私保护之间取得了良好平衡。
图丨 GFL-F 算法的示意图（来源：
arXiv
）
GeFL-F 的训练过程分为三个紧密相连的阶段。首先是预热阶段，专注于训练共同特征提取器。在这一阶段，服务器将当前特征提取器和头部参数分发给客户端，客户端使用本地数据训练完整模型，然后上传更新后的参数。服务器分别聚合特征提取器和头部参数，确保参数聚合的一致性。这一过程持续数轮通信，直至特征提取器收敛，为后续阶段奠定基础。
