一种基于机器异构性的联邦学习方法【中国发明】

一、专利名称及专利号

名称：《一种基于机器异构性的联邦学习方法》

专利号：ZL202110279647.2

二、应用领域

  本发明涉及人工智能技术领域，尤其涉及的是一种基于机器异构性的联邦学习方法。

三、专利说明

1、摘要：

本发明公开了一种基于机器异构性的联邦学习方法，方法包括：接收服务器统一发送的初始模型、全局梯度和全局模型参数；根据初始模型、全局梯度和全局模型参数，得到预估梯度校准值；其中，预估梯度校准值用于表征各边缘设备的本地梯度与服务器的全局梯度的偏差以及各边缘设备因本地更新次数不同而产生的偏差；基于预估梯度校准值，得到目标本地梯度和目标本地模型参数；将所述目标本地梯度和所述目标本地模型参数发送至所述服务器，以使所述服务器生成更新后的全局梯度和全局模型参数。本发明实施例通过对各边缘设备的预估梯度校准技术来实现移除各边缘设备与服务器的偏差，同时补偿本地更新次数不同导致的偏差，从而提高联邦学习的训练效率。

2、背景：

当前针对联邦学习的算法主要基于假设其能够在同样时间内在本地训练一定次数。这个方法在同构环境下能够提高训练的效率以及通讯开销，然而在绝大部分的分布式场景都属于异构环境，因此，这种计算方法并不具备实用性。如果以异步的方式解决这一问题的话，会存在一些数据无法充分利用(例如：如果一个边缘设备过久未与服务器更新的话，服务器中的异步算法可能会舍弃边缘设备提交的信息)。当各边缘设备的本地更新次数是相同的情况下，利用传统的随机梯度下降法SGD进行联邦学习的效果很好，而当各边缘设备本地更新次数不同的情况下，利用传统的随机梯度下降法SGD进行联邦学习，则出现需要优化的目标函数和实际优化的目标函数不一致的情况。

四、相关文件下载

专利证书：12-2021102796472-发明专利证书.pdf

专利详情：12-2021102796472专利详情.pdf