隐私保护和带宽有效的联邦学习：在医院死亡率预测中的应用

摘要

机器学习，特别是联邦机器学习，在医学研究和患者护理方面开辟了新的视角。尽管联邦机器学习在隐私方面比集中式机器学习有所改进，但它不提供可证明的隐私保证。此外，联邦机器学习在带宽消耗方面相当昂贵，因为它需要参与者节点定期交换大型更新。该文提出了一种带宽高效的隐私保护联邦学习，它提供了基于差异隐私的理论隐私保证。我们使用真实数据集（包含约一百万名患者的电子健康记录）对我们的住院死亡率预测方案进行了实验评估。我们的研究结果表明，强大且可证明的患者级隐私可以强制执行，但代价是预测准确性的中度损失。

1 引入

电子健康记录（EHR）是患者医疗信息的数字版本。EHR数据开辟了新的视角，特别是随着机器学习的发展。EHR数据可用于训练预测模型，以预测患者的医疗状况，并帮助医生开展适当的护理[18,36]。然而，医疗数据被视为敏感信息，如果发生任何泄漏，可能会对患者造成真实和严重的损害。例如，医疗数据可能被保险公司用来调整保险费，被银行用来拒绝贷款，或者被政客用来诋毁对手。因此，这类敏感数据的隐私必须得到保证，并且需要隐私保护预测模型。预测模型通常使用在集中数据集上训练的机器学习算法构建。当一个模型在多个数据集（例如由多家医院收集）上进行训练时，将所有数据集集中在一台服务器上会带来额外的（通常是不可接受的）隐私风险。为了缓解这个问题，联邦学习（FL）被提出作为一种新的学习协议。联合学习包括在提供数据的不同实体上分配学习过程：不是在单个服务器上聚合数据，而是由每个参与实体在本地执行培训，然后共享和聚合模型[27,38]。尽管联邦学习通过设计减轻了隐私风险，但最近的结果表明，一些攻击，如成员身份和属性推断攻击，仍然是可能的[29,33]。此外，完整的训练样本也可以完全从捕获的梯度中重建[43,44]。此外，由于参与的实体必须通过交换它们的模型更新进行协作，因此在培训阶段所需的带宽通常非常大，而且令人望而却步。

贡献。本文提出了一种带宽有效的隐私保护联邦学习方案，该方案提供了理论上的隐私保证。我们的方案保证了即使在高度不平衡的训练数据上也具有实用性的差异隐私。这是一个挑战，因为不平衡的数据增加了差异隐私所需的注入噪声，从而大大降低了模型质量。我们的解决方案依赖于梯度的极端量化，以降低通信成本，以及小批量的下采样，以减少差异隐私所需的噪声。我们使用真实的EHR数据（包含约一百万份患者记录）对我们的院内死亡率预测解决方案的性能进行了实验评估。我们的研究结果表明，患者层面的隐私可以被强制执行，但只会导致预测准确性的中度损失。

概述。我们在第2节中描述了背景。我们将在第3节介绍我们的隐私保护方案。我们在第4节中报告了真实世界数据的实验。最后，在第7节结束之前，我们将在第5节讨论相关工作。

2 背景

2.1联邦学习（FL-STANDARD）

在联邦学习[27,38]中，多方（客户机）在其训练数据的联合上构建了一个通用的机器学习模型，而无需彼此共享。在每轮培训中，一些客户机从参数服务器检索全局模型，根据自己的培训数据更新全局模型，并将更新后的模型发送回服务器。服务器聚合所有客户端的更新模型，以获得一个全局模型，该模型将在下一轮中重新分发给某些选定的方。

请注意，每个$D_k$可能由不同的分布(即非iid情况)生成，也就是说，任何客户端的本地数据集可能不能代表总体分布[27]。例如，当不是所有的输出类都在每个客户机的训练数据中表示时，就会发生这种情况。在Alg1中对神经网络的联合学习进行了总结。在后续中，假设每个客户机都使用相同的模型体系结构。

联合学习的动机有三个方面：首先，它旨在通过只共享模型更新而不是潜在的敏感培训数据来为每个参与者的培训数据提供机密性。其次，为了降低通信成本，客户机可以在将更新发送回服务器之前执行多个本地SGD迭代。第三，在每一轮中，只需要少数客户对通用模型进行本地培训，这进一步降低了沟通成本，使该方法对大量客户特别有吸引力。

然而，之前的一些研究表明，模型更新确实会泄露潜在的敏感信息[29,33]。因此，仅仅不共享训练数据本身不足以保证它们的机密性。

2.2 差分隐私

差分隐私允许一方私下发布关于数据集的信息：输入数据集的函数受到干扰，因此任何能够区分记录与数据集其余部分的信息都是有界的[17]。

从直观上讲，这就保证了，如果对手有A的输出，对于任何记录，无论它是否包含在A的输入中，都能得出几乎相同的结论(直到ϵ 为止，概率大于1−δ)。也就是说，对于任何一个记录所有者来说，隐私泄露不太可能是因为它参与了数据集。

高斯机制。有几种方法可以实现DP，包括高斯机制[17]。其中一个基本概念是函数的全局敏感性[17]。

事实上，高斯机制从一个由随机变量G()描述的多元球面(或各向同性)高斯分布中提取向量值，如果n在给定的上下文中是明确的，则省略n。

3 双向联合学习记录级隐私

3.1 FL-SIGN协议

在第2.1节中介绍的FL-STANDARD方案中，每个选定的客户端将其更新后的模型发送到中央服务器。如前所述，该方案在带宽和隐私方面有几个缺点。我们建议通过量化模型权重来限制这些缺点，如[9,21]所示。更具体地说，在新方案中(本文其余部分称为FL-SIGN)，每个客户端只发送其参数更新向量中每个坐标值的符号。服务器取每个坐标的符号总和的符号，并使用固定的常数r(在实践中为10−3的顺序)缩小结果，以限制每个客户端的贡献并调整收敛性。这种缩放的聚合更新被添加到全局模型中。

更具体地说，FL-SIGN（见Alg.3）与标准联邦方案FL-standard（见Alg.1）的区别如下：

(2)服务器对每个客户端 k 发送的符号向量