一种梯度传输方法、梯度传输装置及参数服务器【中国发明】

一、专利名称及专利号

名称：《一种梯度传输方法、梯度传输装置及参数服务器》

专利号：ZL201911268718.8

二、应用领域

  本申请属于数据处理技术领域，尤其涉及一种梯度传输方法、梯度传输装置、参数服务器及终端设备。

三、专利说明

1、摘要：

  本申请适用于数据处理技术领域，提供了一种梯度传输方法、梯度传输装置及参数服务器，所述方法包括：计算所述计算节点的当前节点梯度与所述计算节点的旧节点梯度之间的变化量，其中，所述旧节点梯度为所述计算节点在迭代计算梯度过程中上一次计算得到的节点梯度；对所述变化量进行压缩得到压缩变化量；将所述压缩变化量发送至参数服务器，以指示所述参数服务器根据各个计算节点发送的压缩变化量和存储在所述参数服务器上的第一旧总梯度计算得到当前总梯度，其中，所述第一旧总梯度为所述参数服务器在迭代计算梯度过程中上一次计算得到的总梯度。通过上述方法，可以在保证梯度精度损失较少的同时减小计算节点与参数服务器之间的通信量。

2、背景：

  在分布式机器学习领域中，计算节点往往数量比较多，参数服务器与各个计算节点之间所要传输的参数的数据量也较大，这将导致参数服务器与各个计算节点之间的通信出现瓶颈。
  为了解决上述问题，现有的技术是计算节点在计算出梯度后，将梯度稀疏化，然后传输给参数服务器。但是，稀疏化的梯度会丢失较多数据，造成了梯度的精度损失。

四、相关文件下载

专利证书：/UploadFiles/20231214/2023121415360720720.pdf

专利详情：/UploadFiles/20231214/20231214153633913391.pdf