(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211149942.7 (22)申请日 2022.09.21 (71)申请人 哈尔滨工业大 学 （深圳） 地址 518055 广东省深圳市南 山区桃源街 道深圳大 学城哈尔滨工业大 学校区 申请人 上海境山科技有限公司 (72)发明人 何道敬　熊世强　杜润萌　刘川意　 韩培义　 (74)专利代理 机构 哈尔滨市阳光惠远知识产权 代理有限公司 2321 1 专利代理师 赵艳华 (51)Int.Cl. G06F 30/20(2020.01) G06K 9/62(2022.01) G06F 119/02(2020.01) (54)发明名称 一种安全高效的非交互式联邦学习框架及 构建方法、 学习方法 (57)摘要 一种安全高效的非交互式联邦学习框架及 构建方法、 学习方法， 涉及联邦学习建模技术领 域。 解决了现有技术中通信开销大以及存在模型 攻击风险导致隐私泄露的问题。 学习框架中多个 非交互式分布式节点共同指定一个服务器作为 训练者； 多个训练者和交互式分布式计算节点指 定一个服务器做为中心聚合器， 每个训练者与至 少一个非交互式节点相关联。 构建方法为， 交互 式分布式计算节点和多个训练者首先从选定的 中心聚合器下载全局模型， 每个交互式分布式计 算节点和每个训练者训练好子模型后作为本地 模型再上传到中心聚合器； 中心聚合器接收本地 模型后对全局模型进行更新并将结果返回至交 互式分布式计算节点和多个训练者， 经过多次更 新迭代， 直至全局模型达到预期的精度为止， 完 成构建。 该框架适用于车联网技 术领域。 权利要求书2页 说明书7页 附图4页 CN 115526042 A 2022.12.27 CN 115526042 A 1.一种安全高效的非交 互式联邦学习框架， 其特 征在于， 包括以下部分： 包括多个服务器、 多个非交互式分布式计算节点UE*和多个交互式分布式计算节点UEi， 其中非交互式分布式计算节点UE*没有强大的本地计算服务器； 多个非交互式分布式计算 节点UE*共同指定一个服务器作为训练者MEC； 多个训练者MEC和交互式分布式计算节点UEi 指定一个服务器作为中心聚合器CSP， 每个训练者MEC与至少一个非交互分布式计算节点 UE*相关联； 并设有一个中心聚合器CS P， 包含多个参与者UE 。 2.一种安全高效的非交 互式联邦学习框架的构建方法， 其特 征在于， 所述方法如下： 1)每个非交互式分布 式计算节点UE*将加密后的数据上传给指定的训练者MEC， 然后交 互式分布式计算节点UEi和多个训练者MEC从指定的中心聚合器CSP下载全局模型， 每个交 互式分布式计算节点UEi和每个训练者MEC训练好子模型后、 将其作为本地模型再上传到所 述中心聚合器CS P； 2)中心聚合器CSP接收本地模型后对全局模型进行更新， 并将全局模型返回至交互式 分布式计算节点UEi和每个训练者M EC； 3)反复重复上述步骤1)和2)， 经过多次更新迭代， 直至全局模型达到预期的精度为止， 完成构建。 3.一种非交互式联邦学习方法， 其特征在于， 所述学习方法是基于权利要求1所述的非 交互式联邦学习框架实现的， 所述方法包括以下步骤： 步骤1： 初始化， 设有一个中心聚合器CSP， 依据减法同态性选择一个同态加密方案， 基 于选择的同态加密方案生成公钥和私钥； 步骤2： 设有m个参与者UE， 每个交互式节点UEi手中拥有 一个数据集， 1≤i≤m， 所述数据 集包括特征数据Xi和标签数据Yi； 设有m*个参与者对应非交互式分布式计算节点UE*， 每个 手中拥有一个数据集,1≤j≤m*， 所述数据集包括特征数据Xj和标签数据Yj， 所有的参与 者所对应的非交互分布式计算节点UE*各指定一个训练者MEC， 每个参与者对应的非交互分 布式计算节点UE*和交互式节点UEi使用公钥加密其数据集， 然后分别发送给所述指定的训 练者MEC和中心聚合器CS P； 步骤3： 所述指定的训练者MEC代替UE*和中心聚合器CSP 进行非交互式模型训练， 参与者 UE和CSP进行交互式模型训练， 经过多次迭代， 所述指定的训练者MEC和每个参与者UEi得到 一个本地模型Mmec和Mi； 步骤4： 所述指定的训练者MEC和每个参与者UEi将本地模型Mmec和Mi更新至中心聚合器 CSP； 中心聚合器接收本地模型后对全局模型进行更新并返回至移动边缘服务器的训练者 MEC和每个参与者UEi， 以此迭代， 直至全局模型 更新达到预期的精度为止 。 4.根据权利要求3所述的一种非交互式联邦学习方法， 其特征在于， 步骤1的所述的加 密方案具体为： 所述的同态加密方案同时采用Paillier加密方案、 ECC加密方案、 秘密分享技术， 定义 Enc表示对某条 数据记录进行加密， 定义Dec表示对某条密文消息进行解密。 5.根据权利要求3所述的一种非交互式联邦学习方法， 其特征在于， 步骤2中所述每个 参与者UE*使用公钥加密其数据集具体为： 步骤A1： 随机选择两个非奇异整数矩阵Aj和Bj和一个随机数R， 计算AjXj、 YjRB和B‑权　利　要　求　书 1/2 页 2 CN 115526042 A 21Xj； 步骤A2： 通过没有窃听者的安全通道将B、 AjXj和Enc(YjRB)发送给MEC， 将A,B‑1Xj发送给 中心聚合器CS P。 6.根据权利要求3所述的一种非交互式联邦学习方法， 其特征在于， 步骤4中所述全局 模型更新具体为： 步骤B1： 中心聚合器CSP发送全局 模型对应的模型参数RW给交互式分布式计算节点UEi 和全局模型对应的模型参数RWAj给训练者M EC； 步骤B2： 交互式分布式计算节点UEi获取全局模型参数 RW， 然后根据全局模型参数 RW， 交 互式分布式计算节点UEi对Xi和Yi执行梯度下降算法进行本地模型更新以获得本地模型参 数Wi； 最后， UEi将本地模型参数Wi对应的模型Mi发送给中心聚合器CS P。 步骤B3： 训练者MEC下载全局模型， 得到全局模型参数RWAj， 然后根据全局模型参数 RWAj， 对AjXj、 Enc(YjRB)进行本地模型更新以获得密文本地梯度Enc(Lmec)； 最后， MEC将密文 本地梯度Enc(Lmec)对应的模型Mmec发送给中心聚合器CS P。 步骤B4： 中心聚合器CSP根据Mi获取RWi， 根据Mmec获取Enc(Lmec)， 然后CSP根据RWi、 Enc (Lmec)以及B‑1Xj进行聚合平均更新， 获取全局模型参数， 从而获得全局模型。 步骤B5： B1 ‑B4步骤进行迭代， 直至模型收敛至某一阈值或者达 到最大迭代次数。 7.根据权利要求6所述的一种非交互式联邦学习方法， 其特征在于， 步骤B2所述根据全 局模型参数RW， 交互式分布式计算节 点UEi对Xi和Yi执行梯度下降算法进行本地模 型更新的 过程具体为： 通过计算 其中α表示学习 率， 一般设置为0.001， 表示对W 的一阶导数， L(xi,yi)＝Yilog(h(WXi))+(1‑Yi)log(1‑h(WXi))， h()表示逻辑函数， 8.根据权利要求6所述的一种非交互式联邦学习方法， 其特征在于， 步骤B3所述根据全 局模型参数RWAj， 对AjXj、 Enc(YjRB)进行本地模型 具体为： 通过计算WXj＝R‑1RW1Aj‑1AjXj， 以消除随机掩码R， A造成的盲目性， MEC可以计算梯度 Enc (Lmec)＝Enc(R(h(WXj)‑Yj)Bj)＝Enc(Rh(WXj)BjEnc(YjRBj)‑1。 9.根据权利要求6所述的一种非交互式联邦学习方法， 其特征在于， 步骤B4中所述中心 聚合器CS P根据RWi、 Enc(Lmec)以及B‑1Xj进行聚合平均具体为： 首先计算R(h(WXj)‑Yj)Bj＝Dec(Enc(Lmec))， 然后计算(L(xj,yj))＝R(h(WXj)‑Yj)BjBj‑1Xj和 最后计算 10.根据权利要求6所述的一种非交互式联邦学习方法， 其特征在于， 步骤B2和步骤B3 所述进行梯度具体为： 更新采用全量梯度下降、 小批量梯度下降或随机梯度下降方式。权　利　要　求　书 2/2 页 3 CN 115526042 A 3