FedGraph: Federated Graph Learning with Intelligent Sampling 联邦图:基于智能采样的联邦图学习

FedGraph: Federated Graph Learning with Intelligent Sampling 联邦图:基于智能采样的联邦图学习

联邦图学习 深度强化学习 智能采样

发表在 IEEE Transactions on Parallel and Distributed Systems ( Early Access )。本文被接收以后期发表,但尚未充分编辑,内容可能会在最终发布之前发生更改。

论文链接:FedGraph


联邦学习因其在分布式机器学习中的隐私保护而受到研究的广泛关注。然而,现有的联邦学习工作主要集中在卷积神经网络(CNN)上,该网络不能有效地处理在许多应用中流行的图数据。图卷积网络(GCN)被认为是最有前途的图学习技术之一,但其联邦设置很少被探索。在本文中,我们提出了用于多个计算客户端之间的联邦图学习的联邦图,每个客户端都有一个子图。FedGraph通过解决两个独特的挑战,跨客户端提供了强大的图形学习能力。首先,传统的GCN训练需要在客户之间进行功能数据共享,从而导致隐私泄露的风险。FedGraph使用一种新的跨客户机卷积操作来解决了这个问题。第二个挑战是大图大小所产生的高GCN训练开销。提出了一种基于深度强化学习的智能图采样算法,该算法可以自动收敛到最优的平衡训练速度和精度的采样策略。我们基于PyTorch实现了FedGraph,并将其部署在一个测试台上以进行性能评估。四个流行数据集的实验结果表明,通过使更快的收敛到更高的精度,显著优于现有的工作。


图1. 图卷积操作的说明
图2 一个不同的采样方法的说明。采样的节点用颜色标记(深色、红色和蓝色)。虚线箭头表示原始图中的边连接。实心箭头表示采样节点保留的边。
图3 FedGraph的架构。每个客户端i维护一个本地图形Gi。在训练过程中,小批处理中的节点(红色中的节点)聚合邻居的嵌入,以生成下一层的嵌入,用红色箭头表示。当训练完成后,每个客户端i将其本地模型权值Wi上传到参数服务器。最后,参数服务器将所有本地模型权值聚合到更新的全局模型W_发送回客户端
图4. 系统设计
图5. 基于DDPG(Deep Deterministic Policy Gradient)的抽样说明



7. CONCLUSION

在本文中,我们提出了联邦图作为一种新的联邦图系统,以实现保护隐私的分布式GCN学习。与传统的联邦学习不同,FedGraph更具挑战性,因为GCN训练过程涉及到嵌入客户端之间的共享。为了解决这一挑战,FedGraph使用了一种新的跨客户机图卷积操作,在共享之前压缩嵌入,以便可以很好地隐藏私有信息。此外,为了减少GCN的训练开销,FedGraph采用了基于DRL的采样方案,可以很好地平衡训练速度和精度。在一个20个客户端测试台上的实验结果表明,FedGraph的性能明显优于现有的方案。

发布于 2021-12-07 14:05