本文摘要：3月24日，由CCF主办，微众银行及深圳大学微众金融科技研究院主办的“CCFTF14期研讨会”在深圳大学举行，此次会议的主题为“联邦自学技术及数据隐私维护”，亿欧应邀参予报导。

3月24日，由CCF主办，微众银行及深圳大学微众金融科技研究院主办的“CCFTF14期研讨会”在深圳大学举行，此次会议的主题为“联邦自学技术及数据隐私维护”，亿欧应邀参予报导。随着国际国内数据隐私维护沦为新趋势，数据共享显得更为艰难，如何在维护数据隐私前提下积极开展AI大数据研究？“联邦自学”可以超越“数据孤岛”明确应用于在AI领域。探讨“联邦自学技术及数据隐私维护”，CCFTF 14期研讨会邀国际人工智能学会理事长、微众银行首席人工智能官杨强、南洋理工大学于涵教授、微众银行人工智能部高级研究员刘洋、京东智能城市事业部AI平台部负责人张钧波、北京观韬中茂（上海）律师事务所合伙人王渝伟、第四范式牵头创始人、首席研究科学家陈雨强、微众银行人工智能部副总经理陈天健与大家现场对话交流。AI大数据面对挑战，技术为善与迁入自学我们告诉，AI与各行业紧密结合，终将明显提高社会生活，这是一种较为理想的状态，然而现实是AI系统仍有许多不尽如人意的地方。

另外，社会对隐私维护和数据安全明确提出了更高的拒绝，这也给大数据研究及分享明确提出了新的挑战。竞争、安全性及数据壁垒等因素导致所谓的“数据孤岛”问题。在此背景下，迁入自学协助更加多领域建模，就像在数据集之间创建朋友圈，数据孤岛问题获得有效地解决问题。AI为善与系统短板AI为善，它能在普惠金融、普惠教育、普惠医疗、智慧城市、灾难解救、贫困地区及农业等领域充分发挥最重要起到。

杨强教授回应：“AI为善（AI for good），这在国外很早已被明确提出来的概念。这个概念某种程度是计算机领域的发展，也是社会的市场需求，最近大家比较关心的一个议题就是AI和社会的融合。

AI作为一种工具，就像以前互联网作为一种工具，再加一些传统的不能少数人享用的领域，然后通过AI的手段对广大的社会传播，需要让普通人也能享用过去VIP享用的那一些类似服务，还包括金融，所以这样就产生了AI和普惠金融；AI和普惠教育，例如大学的高等教育，能无法让所有人都能享用到。另外还有AI和普惠医疗、智慧城市、灾难解救，AI贫困地区和农业等方面。”AI若能与各行业紧密结合，终将明显提高社会生活，这是一种较为理想的状态，然而现实是AI系统仍有许多不尽如人意的地方，例如AI系统的有偏性和AI系统与人类合作方面的问题。

“AI系统有偏性，根据我们转交AI系统的数据，AI系统可以创建模型，但如果这个数据是有稍的，那么这个模型就不会有偏性。另一个是AI系统和人类合作的问题，最近一个相当大的事情是波音飞机自动驾驶系统和人类飞行员抢走控制权，意外的是系统输掉了，造成飞机失事，现在波音飞机停航。

这给我们一个相当大的救赎，自动系统如果无法和人类有一个很好的交互，没以人为中心的设计，这个系统不会是一个灾难。”杨强教授回应。

迁入自学解决问题“数据孤岛”问题目前，除AI系统自身的一些问题外，推崇隐私维护和数据安全的新趋势也给数据研究及分享带给新的挑战。近年来，国际国内对于隐私维护和数据安全的推崇已沦为最重要趋势。

欧盟去年5月通过近期法案《通用数据维护条例》(General Data Protection Regulation, GDPR)，对数据保护采行更加严苛的态度。同时，我国也在紧随这些领域的法律和规范，自2017年《网络安全法》通过以后，目前我国个人信息保护法已划入法律规划，未来将会在2020年通过，这些都体现出有数据保护与隐私安全性更加受到重视。

随着隐私维护和推崇数据安全沦为新趋势，数据研究及分享面对更加多问题。首先，由于竞争关系、安全性问题、审核流程等因素，数据共享可玩性低。其次，数据在有所不同享有方、云和端以及物联网节点之间的流通不存在着无法超越的壁垒，构成所谓的“数据孤岛”问题。

此外，即便有所不同行业之间有意愿互相交换数据，也有可能遭遇政策问责和竞争维护，AI的大数据面对重重挑战。虽然AI的大数据面对重重挑战，但数据孤岛并非不能解决问题。“迁入自学就是很好的解决方案。迁入自学是用一个成熟期领域的数据和模型，通过科学知识迁入，协助已完成一个小数据建模。

这样通过关联领域间的相似性，协助更加多领域建模，这就像在数据集之间创建朋友圈，数据孤岛也能获得有效地解决问题。”杨强教授回应。数据共享与安全性，联邦自学的优越性此外，解决问题数据壁垒、“数据孤岛”等问题的方法除迁入自学外，还有一个最重要方法——“联邦自学”。

谷歌公司首度明确提出了基于个人终端设备的“联邦自学” (Federated Learning）算法框架。“联邦机器学习”(Federated Machine Learning）实质上是一种加密的分布式机器学习技术，参予各方可以在不透露底层数据和底层数据的加密（误解）形态的前提下资源共享模型。它可以构建各个企业的自有数据不出有本地，通过加密机制下的参数互相交换方式，就能在不违背数据隐私法规情况下，创建一个虚拟世界的共计模型。

在这样一个机制下，参予各方的身份和地位完全相同，顺利构建了切断“数据孤岛”南北“联合发展”的目标。联邦自学分成纵向联邦和横向联邦，纵向联邦数据方特征维度完全相同，横向联邦数据方样本ID完全相同。横向联邦自学的目标是A方与B方牵头创建模型，并且假设只有一方有标签Y，两方皆不曝露数据，但有可能遇上的挑战是只有X的一方没办法创建模型，双方无法互相交换分享数据，最后要超过的预期为双方贤取得数据保护且模型无损失。

“通过横向联邦自学，各方在隐私维护下展开样本ID给定，每个参与方并不知道另一方的数据和特征，每个参与方只获得自己的自己外侧的模型参数（半参数），即符合隐私维护的拒绝，又符合数据迁入自学的目标。联邦自学期望在安全性合规的基础上超过防卫反击、提升算法效率的目标。

”刘洋博士回应。基于此，微众银行AI团队明确提出了基于“联邦自学”的系统性的标准化解决方案，可以解决问题个人(to C)和公司间(to B)牵头建模的问题。此前，微众银行在城市管理的视觉应用于方面，与极视角联合推出了联邦视觉项目。

“传统城市管理面对标签数量较少、数据集中，集中于管理成本很高且模型改版和对系统不存在离线延后情况，联邦视觉项目通过联邦自学对模型提高率为15%，且模型效果无损失，这是联邦自学应用于在物联网领域的众多优势。” 刘洋回应。物联网（IoT）是基于互联网、传统电信网等信息传输渠道，让所有不具备通信功能的独立国家物体构建互联互通的网络。

物联网的应用于之一，是利用搜集多个节点的小数据，挤满成大数据来创建应用于模型。而边缘计算出来（Edge Computing）则致力于通过依赖集网络、计算出来、存储、应用于核心能力为一体的开放平台，以备获取最近末端服务，从而产生更慢的网络服务号召，符合有所不同行业的动态业务市场需求。物联网、边缘计算出来和与人工智能 (AI) 的有机融合必不可少分布式大数据的安全性、合法的管理，联邦自学助力IoT，构建大规模用户在维护数据隐私下的协同自学。多方如何构建“共同富裕”，联邦自学的收益分配联邦自学助力物联网发展，那么，多个数据方是如何超越“数据孤岛”，构建 “共同富裕呢？联邦自学的收益分配是怎样的呢？于涵教授回应。

“在联邦自学机制下，参予各方的身份和地位完全相同，各参与方把加密后的数据贡献给联邦，然后数据联盟训练一个联邦模型，这个模型再行对外开放给各数据用于方，超过数据的有效地统合及用于，需要构建切断“数据孤岛。”然而，在带给效益的同时，联邦自学也有可能给企业带给额外成本。具体来说，参与者重新加入联邦必须对联邦作出贡献，把加密后的数据贡献给联邦，不会产生数据成本和资金成本，且有所不同质量的数据方重新加入联邦、有所不同给时间节点重新加入联盟的成本和效益有可能不完全相同。

“一个数据联盟的可持续发展各不相同其能否持续更有高质量的个人机构数据持有人的参予”于涵教授特别强调。如何更有高质量的个人机构数据参予进去？在答案这个问题之前，理解收益分配博弈论是很有适当的。三类利润分配博弈论中的分配方案还包括平均主义、边际收益和边际损失。

假设按照平均主义，数据联盟产生的收益在参与者中平均分配，边际收益则按照某个参与者重新加入联盟时带给的边际收益确认他所奖赏的收益，边际损失则按照某个参与者解散联盟带给的边际损失确认他所奖赏的收益；从系统角度考虑到，总体目标是最大化集体效用。这些分配方案都有各自的好坏，如何找寻一种合适联邦自学的分配方案？答案是联邦自学激励机制。数据联盟参与者模型中核心问题是如何公平地对待参与者，通过综合考量数据方对联盟的贡献以及参予联盟的代价，评估收益分配能否补足成本，即评估公平度目标。

因此，联邦自学的解决方案是基于排队系统为公平度目标建模，通过确保排队系统平稳，确保参与者等候全额补偿的时间受限。另外，模型的公平性维度有三个，一是一个参与者所贡献的数据为联邦模型带给的边际效益越高，他所奖赏得补偿也越高；二是“失望”度及等候时长不应在所有参与者间尽可能均匀分布；公平性纬度三即在有所不同时间点之间，“失望”度及等候时长的变化尽可能不要过于轻微最后在优化目标函数。通过优化目标函数，构建最大化公平度。

基于此，联邦自学激励机制的利益分配方案是最大化数据联盟的整体效用，同时最小化参与者之间在“失望”和等候时长两个维度的不平衡。联邦自学，机遇与挑战共存联邦自学解决问题了在确保数据安全的前提下解决问题了“数据孤岛”问题，同时联邦自学通过联邦激励机制构建参与方的收益分配尽量公平。在未来，联邦自学还将带来我们更加多惊艳，特别是在在生态建设方面，主要还包括开源、技术标准和商业赋能等领域。

在开源方面，微众银行基于“联邦自学”研发了联盟AI系统并开源联盟AI解决方案FATE（Federated AI Technology Enabler)。作为联邦自学领域第一个商用级开源项目，FATE为开发者获取所必需的多方协同建模工作流管理、加密机器学习工具库和并行计算基础设施抽象化三层能力，同时获取了很多开箱即用的联邦自学算法和联邦迁入自学算法可供开发者参照，很大修改了联盟AI研发的流程并减少了部署可玩性。

这项开源技术的产生很大减少了企业重新加入联盟AI生态，扩展合作协同式AI技术的门槛，为企业技术合作，协同建模，资源共享生态奠下了技术基础。在技术标准方面，2018年12月4日，电气和电子工程师协会标准委员会（IEEE Standard Association）批准后由微众银行发动的关于联邦自学架构和应用于规范的标准P3652.1（Guide for Architectural Framework and Application of Federated Machine Learning）立项。此次会议上，微众银行宣告面向社会征文，接管的优秀论文将应邀在IEEE Intelligent System 特刊公开发表。

除了开源、技术标准外，商业赋能堪称另一最重要方面，特别是在是新型智慧城市建设。京东智能城市事业部AI平台部负责人张钧波向大家讲解了城市计算出来与横跨自学牵头建模，城市计算出来（Urban Computing）通过城市数据的收集、管理、分析挖出和服务获取，解决问题交通、规划、环境等问题。针对城市大数据具备时空动态、异构、多源等特性，京东城市通过打造出城市计算出来平台和数字网关技术，构建跨域自学牵头建模，并明确提出联邦随机森林等模型，切断数据壁垒，解决问题数据孤岛问题。

除了联邦自学技术应用于等主要议题之外，本次研讨会还针对联邦自学的学术研究以及基于数据隐私等现实案例问题邀了第四范式的陈雨强博士和北京观韬中茂（上海）律师事务所合伙人王渝伟律师做到内容共享，让到场的联邦自学爱好者们更加了解地理解了联邦自学技术。联邦自学带来我们更加多惊艳的同时，也面对诸多挑战，如何防止模型反击和数据反击，如何让联邦自学在安全性合规前提下提升算法效率，这必须学界与业界更加多参与者联合探寻！中国计算机学会( China Computer Federation, CCF )，是一个计算出来领域对外开放的、专业的学术社团，坚决会员为本的宗旨，致力于推展计算技术的发展和应用于，致力于服务专业人士的职业发展。微众银行是国内首家开业的民营银行，由腾讯、百业源和立业等多家知名企业发动成立；于2014年12月取得由深圳银监局授予的金融许可证。

微众银行严格遵守国家金融法律法规和监管政策，以合规经营和务实发展为基础，致力于普罗大众、微小企业获取差异化、有特色、优质便利的金融服务。

本文来源：皇冠官方网-www.casalillibelle.com