FedGraph: Federated Graph Learning with Intelligent Sampling 联邦图:基于智能采样的联邦图学习
联邦图学习 深度强化学习 智能采样
发表在 IEEE Transactions on Parallel and Distributed Systems ( Early Access )。本文被接收以后期发表,但尚未充分编辑,内容可能会在最终发布之前发生更改。
联邦学习因其在分布式机器学习中的隐私保护而受到研究的广泛关注。然而,现有的联邦学习工作主要集中在卷积神经网络(CNN)上,该网络不能有效地处理在许多应用中流行的图数据。图卷积网络(GCN)被认为是最有前途的图学习技术之一,但其联邦设置很少被探索。在本文中,我们提出了用于多个计算客户端之间的联邦图学习的联邦图,每个客户端都有一个子图。FedGraph通过解决两个独特的挑战,跨客户端提供了强大的图形学习能力。首先,传统的GCN训练需要在客户之间进行功能数据共享,从而导致隐私泄露的风险。FedGraph使用一种新的跨客户机卷积操作来解决了这个问题。第二个挑战是大图大小所产生的高GCN训练开销。提出了一种基于深度强化学习的智能图采样算法,该算法可以自动收敛到最优的平衡训练速度和精度的采样策略。我们基于PyTorch实现了FedGraph,并将其部署在一个测试台上以进行性能评估。四个流行数据集的实验结果表明,通过使更快的收敛到更高的精度,显著优于现有的工作。
7. CONCLUSION
在本文中,我们提出了联邦图作为一种新的联邦图系统,以实现保护隐私的分布式GCN学习。与传统的联邦学习不同,FedGraph更具挑战性,因为GCN训练过程涉及到嵌入客户端之间的共享。为了解决这一挑战,FedGraph使用了一种新的跨客户机图卷积操作,在共享之前压缩嵌入,以便可以很好地隐藏私有信息。此外,为了减少GCN的训练开销,FedGraph采用了基于DRL的采样方案,可以很好地平衡训练速度和精度。在一个20个客户端测试台上的实验结果表明,FedGraph的性能明显优于现有的方案。