大阳城(Suncity Group) 信通院&清华建议FedRE：用「纠缠」惩办联邦学习三难逆境
在联邦学习中，何如同期兼顾模子性能、数据秘籍和通讯支拨，是一个亟需解决的挑战。
在本体应用中，各客户端频频禁受不同的模子架构，举例部分客户端使用卷积神经汇注，而其他客户端则禁受 Transformer，变成典型的模子异构场景，这进一步加多了联邦学习的优化难度。
为解决上述贫瘠，来自中国信通院泰尔英福公司、清华大学等高校的蚁集计议团队，建议了一种基于表征纠缠的联邦学习框架（Federated Representation Entanglement，FedRE）。
该框架在保证模子性能的前提下，有用保护数据秘籍并裁减通讯支拨，同期可适配模子异构与模子同构两类联邦学习场景。
论文标题：FedRE: A Representation Entanglement Framework for Model-Heterogeneous Federated Learning
论文一语气：https://arxiv.org/pdf/2511.22265
代码仓库：https://github.com/AIResearch-Group/FedRE
动机：何如兼顾联邦学习的模子性能、数据秘籍与通讯支拨？
在模子异构场景下，多个客户端禁受不同架构的表征提真金不怕火器（如 ResNet，ViT），但分类器架构保合手一致（即任务一致），因此无法像 FedAvg 那样平直进行模子参数的团员。
为解决这一问题，一个可行想路是垄断客户端表征在处事器端考研全局分类器，同期兼顾秘籍保护与通讯效用。
一种朴素的顺序是 FedAllRep，该顺序将每个客户端的通盘样本表征上传至处事用具于考研全局分类器。
由于简略充分垄断通盘样本的表征，该顺序时常简略赢得较好的模子性能（如 Figure 2 左图所示），但其通讯支拨较大，况且容易受到表征逆向袭击进而透露秘籍。
为缓解此问题，FedGH 禁受类别原型算作客户端常识上传至处事器考研全局分类器。
该顺序简略有用裁减通讯资本并增强秘籍保护才能。但由于类原型主要描摹类别中心信息，可能导致全局分类器过度崇敬类别原型，进而变成较为自高的有盘算推算限度（如 Figure 2 中间所示），最终影响模子性能。
上述顺序的局限性启发了 FedRE 的想象，其引入纠缠表征算作一种新的客户端常识暗示方式。
具体而言，在每个客户端，FedRE 通过飞快加权的方式，改日自不同类别的土产货表征交融为一个纠缠表征，并生成对应的纠缠标签编码。
随后，每个客户端仅需上传一个纠缠表征过火纠缠标签编码至处事器，用于考研全局分类器。
由于纠缠标签包含跨类别的监督信号，澳门大阳城官网且在每一轮通讯中王人会从头采样权重以加多各样性，全局分类器在考研过程中简略同期辩论多个类别，从而幸免对单一类别过度自信，学习到愈加平滑的有盘算推算限度（如 Figure 2 右图所示）。
此外，一个纠缠表征交融了客户端的通盘土产货表征，加多了表征逆向袭击的难度；同期，每个客户端仅上传一个纠缠表征，也进一步裁减了通讯支拨。
顺序：FedRE 全体责任经过是什么？
如图所示，FedRE 框架主要包含三个设施：
第一，各客户端垄断土产货数据完成局部模子考研更新。
第二，各客户端对土产货通盘表征进行团员（具体顺序请参考原文，可禁受多种计策），生成调解的纠缠表征，同期团员对应的标签编码变成调解的纠缠标签编码，并上传至处事器。
临了，处事器垄断收到的纠缠表征考研全局分类器，并将更新后的全局模子下发给各客户端，用于替换局部模子的分类器，参预下一轮迭代。
执行：性能、秘籍和通讯支拨的评估效用何如？模子性能评估
Table 1 展示了模子异构设立下的执行扬弃（模子同构扬弃请参宽恕文附录）。
全体来看，FedRE 取得了较为优异的性能推崇，并优于 FedGH。
这在一定进度上标明，相较于基于类别原型的顺序，禁受纠缠表征考研全局分类器可能愈加有用。
秘籍保护评估
为评估秘籍保护才能，远隔对原始表征、类别原型与纠缠表征进行表征逆向袭击重建原始样本。
Figure 4 展示 TinyImageNet 扬弃：原始表征可较了了规复空洞，存在较高袭击风险；类别原型可一定进度上规复类别信息（如鱼类空洞）。
而纠缠表征重建扬弃险些不能辨识，标明其通过多类别信息交融权贵裁减了样本可规复性。
通讯支拨评估
Table 2 不错看到，FedRE 在上传阶段的通讯支拨最低，因为每个客户端只需上传一个纠缠表征过火对应的标签编码。
在播送阶段，其通讯支拨与基于分类器的顺序（如 LG-FedAvg）和基于原型的顺序（如 FedProto）约莫尽头。
纪念与瞻望
在数据因素流畅与秘籍合规条件日益严格的布景下，何如兼顾数据价值挖掘与明锐信息驻防，已成为行业面对的中枢挑战。
为此，本文建议 FedRE 顺序以解决模子异构的联邦学习问题，在性能、秘籍保护与通讯支拨之间扬弃了较为平衡的量度，为数据因素安全流畅提供了一种可行旅途。
一键三连「点赞」「转发」「防备心」
接待在计划区留住你的目的！
— 完 —
咱们正在招聘别称眼疾手快、崇敬 AI 的学术裁剪实习生 � �
感意思的小伙伴接待崇敬 � � 了解确定
� � 点亮星标 � �
豪门国际官网娱乐网科技前沿进展逐日见大阳城(Suncity Group)