分裂联邦学习论文-混合联邦分裂学习GAN驱动的预测性多目标优化-编程知识

论文标题：《Predictive GAN-Powered Multi-Objective Optimization for Hybrid Federated Split Learning》

期刊：IEEE Transactions on Communications, 2023

一、论文介绍

背景：联邦学习作为一种多设备协同训练的边缘智能算法，可以保护数据隐私，但增加了无线设备的计算负担。

模型：为了解决上述问题，我们提出了一种无线网络的混合联邦分裂学习框架，该框架结合了FL多clients协同训练和SL的灵活分割。为了减少模型分裂中的计算的空闲时间，我们设计了一种不共享标签的模型分裂并行计算方案，并从收敛性上对时延梯度的影响进行理论分析。为了平衡训练时延和能耗，我们通过联合优化分割点决策、带宽和计算资源分配以最小化训练时延和能耗(多目标优化：时延、能耗)。然后，我们提出了一种预测生成对抗网络（GAN）驱动的多目标优化算法来获得问题的帕累托前沿，它利用鉴别器来指导生成器的训练来预测有前途的解决方案。

算法：GAN驱动预测的多目标优化算法

二、系统模型

本文框架包含一个Base Station (BS)和集合 $\mathcal{K} =\{1,2,...,k,...,K\}$ 表示的客户端，框架如图所示。

图中的神经网络共有 $L$ 层，且分为3部分进行训练，第一部分：第 $k$ 个客户端计算 $1->S_k$ 层。第二部分：边缘服务器计算 $S_k+1->H_k$ 层。第三部分：客户端计算 $H_k+1->L$ 层。假设第 $l$ 层的神经网络前向和反向传播所需的浮点数分别为 $C_l^F$ 和 $C_l^B$ 。

2.1通信和计算模型

1、通信时延-前向传播：两部分的前向传播时延分别为:

$T_{k,t}^{UF}=\frac{b_kO_{S_k}^F}{B_k\log(1+\frac{p_kg_{k,t}^2}{B_kN_0} )}$

$T_{k,t}^{DF}=\frac{b_kO_{H_k}^F}{B_k\log(1+\frac{p_0g_{k,t}^2}{B_kN_0} )}$

其中 $b_k$ 表示客户端 $k$ 训练时的batch size， $O_{S_k}^F$ 表示第一部分计算后的结果， $O_{H_k}^F$ 表示第二部分计算后的结果。两部分的反向传播时延分别为:

$T_{k,t}^{UB}=\frac{b_kO_{H_k+1}^B}{B_k\log(1+\frac{p_kg_{k,t}^2}{B_kN_0} )}$

$T_{k,t}^{DB}=\frac{b_kO_{S_k+1}^B}{B_k\log(1+\frac{p_0g_{k,t}^2}{B_kN_0} )}$

其中 $O_{H_{k+1}}^B$ 表示第三部分反向传播时梯度的大小， $O_{S_{k+1}}^B$ 表示第二部分反向传播时梯度的大小。

第二部分前向传播和反向传播的时延为：

$T_{k,t}^{EF}=\frac{\sum_{l=S_{k+1}}^{H_k} b_kC_l^F }{f_k^E n^E}$

$T_{k,t}^{EB}=\frac{\sum_{l=S_{k+1}}^{H_k} b_kC_l^B }{f_k^E n^E}$

前面已经对传输过程的时延和边缘服务器的计算时延进行说明。下面分析并行计算时(由上图可知，蓝色--绿色--橙色--黄色为相邻的本地轮次，假设分别为第1，2，3，4轮次。本地训练相邻轮次可以同时进行，对于精度如何影响暂时不知)客户端产生的资源空闲或等待的情况。下面依次进行分析：

了解下面四种情况，主要是知道空闲与等待的发生位置以及原因（I和2说明本地计算能力过高，可能是计算的层数较多。3和4计算能力太低，可能原因是计算的层数较少）。

在Stage I：很明显出现了资源空闲的情况(首先进行第1轮(蓝色)计算，此时在c部分计算完成，资源空闲。因为第2轮(绿色)前向传播未完成)。则在Part C 的最大时间为：

$T_{k,t}^1=\max\{T_{k,t}^{UF}+T_{k,t}^{EF}+T_{k,t}^{DF}, \frac{\sum_{H_{k+1}}^L b_k(C_l^F+C_l^B) }{f_k^{max}n_k}\}$

其中第三部分的本地计算频率可以自适应设置为 $f_{k,t}^1=\frac{\sum_{l=H_{k+1}}^1b_k(C_l^F+C_l^B) }{T_{k,t}^1 n_k}$ 。

在Stage II: 此时第1轮次(蓝色)进行反向传播，第二轮次(绿色)开始在Part C 处计算。此时也会造成资源空闲，解决的办法则是使得第1轮(蓝色)与第2轮(绿色)的时间最好相等（情况(b)）。此时Part C的最大持续时间为：

$T_{k,t}^2=\max\{T_{k,t}^{UB}+T_{k,t}^{EB}+T_{k,t}^{DB}, \frac{\sum_{H_{k+1}}^L b_k(C_l^F+C_l^B) }{f_k^{max}n_k}\}$

其中第二部分的本地计算频率可以自适应设置为 $f_{k,t}^2=\frac{\sum_{l=H_{k+1}}^1b_k(C_l^F+C_l^B) }{T_{k,t}^2 n_k}$

在Stage III: 此时第1轮次(蓝色)反向传播执行完成，第3(橙色)轮次前向开始计算，当绿色轮次完成时，本地计算资源被占用，需要等待。此时Part a 的最大持续时间为：

$T_{k,t}^3=\max\{T_{k,t}^{UB}+T_{k,t}^{EB}+T_{k,t}^{DB}, \frac{\sum_{1}^{S_k} b_k(C_l^F+C_l^B) }{f_k^{max}n_k}\}$

其中第三部分的本地计算频率可以自适应设置为 $f_{k,t}^3=\frac{\sum_{l=1}^{S_k}b_k(C_l^F+C_l^B) }{T_{k,t}^2 n_k}$

在Stage IV: 此时第2轮次(绿色)执行完反向传播，第3(橙色)轮未到达，开始计算第4(黄色)轮。第3(橙色)轮等待。Part a 的最大持续时间为：

$T_{k,t}^4=\max\{T_{k,t}^{UF}+T_{k,t}^{EF}+T_{k,t}^{DF}, \frac{\sum_{1}^{S_k} b_k(C_l^F+C_l^B) }{f_k^{max}n_k}\}$

其中第四部分的本地计算频率可以自适应设置为 $f_{k,t}^4=\frac{\sum_{l=1}^{S_k}b_k(C_l^F+C_l^B) }{T_{k,t}^4 n_k}$

参数的下载和上传时延为：

$T_{k,t}^{ParD}=\frac{\sum_{l=1}^{S_k}G_l + \sum_{l=H_k+1}^L G_l }{B_k\log(1 + \frac{p_0g_{k,t}^2}{B_kN_0} )}$

$T_{k,t}^{ParU}=\frac{\sum_{l=1}^{S_k}G_l + \sum_{l=H_k+1}^L G_l }{B_k\log(1 + \frac{p_kg_{k,t}^2}{B_kN_0} )}$

因此，对于分裂联邦学习整个训练过程中总的时延和能耗为：

对于只执行联邦学习的客户端而言，其总的时延和能耗为：

其中客户端本地计算资源为 $f_{k,t}^{nsp}=\frac{e_kD_k\sum_{l=1}^L (C_l^E+C_l^B)}{(T_t^{max}-T_{k,t}^{ParD}-T_{k,t}^{ParU} )n_k}$

总的能耗为

2.2优化目标

假设表示优化变量，通过联合优化模型分割决策、服务器的带宽分配和服务器的计算资源分配，实现最小化训练过程中的时延和能耗。

其中 $V_1(\varphi)=\sum_{t \in \tau}T_t^{max}$ ， $V_2(\varphi)=\sum_{t \in \tau}E_t^{sum}$ .

第一个和第二个约束表示已分配的计算资源和带宽的范围，第三个约束表示输入和输出层应该保持在工人上，以保护隐私。且 $S_k$ 和 $H_k$ 都为整数。该优化问题是非凸的，通常很难得到这类问题的帕累托最优解集。因此，提出了一种基于GAN的多目标优化算法来逼近帕累托最优解集。