Part1:Federal Learning:联邦学习
联邦学习(Federated Learning)是一种新兴的人工智能基础技术,在 2016 年由谷歌最先提出,原本用于解决安卓手机终端用户在本地更新模型的问题,其设计目标是在保障大数据交换时的信息安全、保护终端数据和个人数据隐私、保证合法合规的前提下,在多参与方或多计算结点之间开展高效率的机器学习。其中,联邦学习可使用的机器学习算法不局限于神经网络,还包括随机森林等重要算法。联邦学习有望成为下一代人工智能协同算法和协作网络的基础。
联邦学习的分类
1.横向
按照横向(用户维度)切分,取特征相同用户不同,各方各自更新模型并上传,云端服务器根据一定策略统一更新参数。
1)参与者本地训练梯度,使用技术屏蔽梯度并发送给cloud
2)执行安全聚合
3)返回给参与者
4)更新模型
2.纵向
按照纵向(特征维度)切分,取用户相同特征不同,各方持有模型的一部分,通过同态加密技术传递重要的参数并更新模型。
1)C发送公钥
2)加密和交换中间结果进行梯度和损失计算
3)A,B分别计算加密梯度,并分别添加附加掩码,B同时计算加密loss,A和B向C发送结果
4)C解密并返回参数
3.联邦迁移学习
结构类似于纵向学习,不对数据进行切分。