3月24日，由CCF主辦，微眾銀行及深圳大學微眾金融科技研究院協(xié)辦的“CCFTF14期研討會”在深圳大學舉辦，此次會議的主題為“聯(lián)邦學習技術及數(shù)據(jù)隱私保護”，億歐受邀參與報道。

隨著國際國內(nèi)數(shù)據(jù)隱私保護成為新趨勢，數(shù)據(jù)共享變得更加困難，如何在保護數(shù)據(jù)隱私前提下開展AI大數(shù)據(jù)研究？“聯(lián)邦學習”可以打破“數(shù)據(jù)孤島”具體應用在AI領域。聚焦“聯(lián)邦學習技術及數(shù)據(jù)隱私保護”，CCFTF 14期研討會邀請國際人工智能學會理事長、微眾銀行首席人工智能官楊強、南洋理工大學于涵教授、微眾銀行人工智能部高級研究員劉洋、京東城市計算事業(yè)部AI平臺部負責人張鈞波、北京觀韜中茂（上海）律師事務所合伙人王渝偉、第四范式聯(lián)合創(chuàng)始人、首席研究科學家陳雨強、微眾銀行人工智能部副總經(jīng)理陳天健與大家現(xiàn)場互動交流。

AI大數(shù)據(jù)面臨挑戰(zhàn)，技術向善與遷移學習

我們知道，AI與各行業(yè)緊密結合，必將顯著改善社會生活，這是一種比較理想的狀態(tài)，然而現(xiàn)實是AI系統(tǒng)仍有許多不盡如人意的地方。另外，社會對隱私保護和數(shù)據(jù)安全提出了更高的要求，這也給大數(shù)據(jù)研究及共享提出了新的挑戰(zhàn)。

競爭、安全及數(shù)據(jù)壁壘等因素造成所謂的“數(shù)據(jù)孤島”問題。在此背景下，遷移學習幫助更多領域建模，就像在數(shù)據(jù)集之間建立朋友圈，數(shù)據(jù)孤島問題得到有效解決。

AI向善與系統(tǒng)短板

AI向善，它能在普惠金融、普惠教育、普惠醫(yī)療、智慧城市、災難營救、扶貧及農(nóng)業(yè)等領域發(fā)揮重要作用。

楊強教授表示：“AI向善（AI for good），這在國外很早就被提出來的概念。這個概念不僅僅是計算機領域的發(fā)展，也是社會的需求，最近大家比較關心的一個議題就是AI和社會的結合。AI作為一種工具，就像以前互聯(lián)網(wǎng)作為一種工具，加上一些傳統(tǒng)的只能少數(shù)人享受的領域，然后通過AI的手段對廣大的社會傳播，能夠讓普通人也能享受過去VIP享受的那一些特殊服務，包括金融，所以這樣就產(chǎn)生了AI和普惠金融；AI和普惠教育，例如大學的高等教育，能不能讓所有人都能享受到。另外還有AI和普惠醫(yī)療、智慧城市、災難營救，AI扶貧和農(nóng)業(yè)等方面?！?/p>

AI若能與各行業(yè)緊密結合，必將顯著改善社會生活，這是一種比較理想的狀態(tài)，然而現(xiàn)實是AI系統(tǒng)仍有許多不盡如人意的地方，例如AI系統(tǒng)的有偏性和AI系統(tǒng)與人類合作方面的問題。

“AI系統(tǒng)有偏性，根據(jù)我們交給AI系統(tǒng)的數(shù)據(jù)，AI系統(tǒng)可以建立模型，但如果這個數(shù)據(jù)是有偏的，那么這個模型就會有偏性。另一個是AI系統(tǒng)和人類合作的問題，最近一個很大的事情是波音飛機自動駕駛系統(tǒng)和人類飛行員搶奪控制權，不幸的是系統(tǒng)贏了，導致飛機墜毀，現(xiàn)在波音飛機停飛。這給我們一個很大的啟示，自動系統(tǒng)如果不能和人類有一個很好的交互，沒有以人為中心的設計，這個系統(tǒng)會是一個災難?！睏顝娊淌诒硎尽?/p>

遷移學習解決“數(shù)據(jù)孤島”問題

目前，除AI系統(tǒng)自身的一些問題外，重視隱私保護和數(shù)據(jù)安全的新趨勢也給數(shù)據(jù)研究及共享帶來新的挑戰(zhàn)。

近年來，國際國內(nèi)對于隱私保護和數(shù)據(jù)安全的重視已成為重要趨勢。歐盟去年5月通過最新法案《通用數(shù)據(jù)保護條例》（General Data Protection Regulation， GDPR），對數(shù)據(jù)保護采取更嚴格的態(tài)度。同時，我國也在緊跟這些領域的法律和規(guī)范，自2017年《網(wǎng)絡安全法》通過以后，目前我國個人信息保護法已納入立法規(guī)劃，有望在2020年通過，這些都反映出數(shù)據(jù)保護與隱私安全越來越受到重視。

隨著隱私保護和重視數(shù)據(jù)安全成為新趨勢，數(shù)據(jù)研究及共享面臨更多問題。首先，由于競爭關系、安全問題、審批流程等因素，數(shù)據(jù)共享難度高。其次，數(shù)據(jù)在不同擁有方、云和端以及物聯(lián)網(wǎng)節(jié)點之間的流通存在著難以打破的壁壘，形成所謂的“數(shù)據(jù)孤島”問題。此外，即便不同行業(yè)之間有意愿交換數(shù)據(jù)，也可能遭遇政策問責和競爭保護，AI的大數(shù)據(jù)面臨重重挑戰(zhàn)。

雖然AI的大數(shù)據(jù)面臨重重挑戰(zhàn)，但數(shù)據(jù)孤島并非不可解決。“遷移學習就是很好的解決方案。遷移學習是用一個成熟領域的數(shù)據(jù)和模型，通過知識遷移，幫助完成一個小數(shù)據(jù)建模。這樣通過關聯(lián)領域間的相似性，幫助更多領域建模，這就像在數(shù)據(jù)集之間建立朋友圈，數(shù)據(jù)孤島也能得到有效解決?！睏顝娊淌诒硎?。

數(shù)據(jù)共享與安全，聯(lián)邦學習的優(yōu)越性

此外，解決數(shù)據(jù)壁壘、“數(shù)據(jù)孤島”等問題的方法除遷移學習外，還有一個重要方法——“聯(lián)邦學習”。

谷歌公司率先提出了基于個人終端設備的“聯(lián)邦學習” （Federated Learning）算法框架。“聯(lián)邦機器學習”（Federated Machine Learning）實際上是一種加密的分布式機器學習技術，參與各方可以在不披露底層數(shù)據(jù)和底層數(shù)據(jù)的加密（混淆）形態(tài)的前提下共建模型。它可以實現(xiàn)各個企業(yè)的自有數(shù)據(jù)不出本地，通過加密機制下的參數(shù)交換方式，就能在不違反數(shù)據(jù)隱私法規(guī)情況下，建立一個虛擬的共有模型。在這樣一個機制下，參與各方的身份和地位相同，成功實現(xiàn)了打通“數(shù)據(jù)孤島”走向“共同發(fā)展”的目標。

聯(lián)邦學習分為橫向聯(lián)邦和縱向聯(lián)邦，橫向聯(lián)邦數(shù)據(jù)方特征維度相同，縱向聯(lián)邦數(shù)據(jù)方樣本ID相同?？v向聯(lián)邦學習的目標是A方與B方聯(lián)合建立模型，并且假設只有一方有標簽Y，兩方均不暴露數(shù)據(jù)，但可能遇到的挑戰(zhàn)是只有X的一方?jīng)]有辦法建立模型，雙方不能交換共享數(shù)據(jù)，最終要達到的預期為雙方俊獲得數(shù)據(jù)保護且模型無損失。

“通過縱向聯(lián)邦學習，各方在隱私保護下進行樣本ID匹配，每個參與方并不知道另一方的數(shù)據(jù)和特征，每個參與方只得到自己的自己側的模型參數(shù)（半?yún)?shù)），即滿足隱私保護的要求，又滿足數(shù)據(jù)遷移學習的目標。聯(lián)邦學習希望在安全合規(guī)的基礎上達到防御攻擊、提高算法效率的目標?！眲⒀蟛┦勘硎尽?/p>

基于此，微眾銀行AI團隊提出了基于“聯(lián)邦學習”的系統(tǒng)性的通用解決方案，可以解決個人（to C）和公司間（to B）聯(lián)合建模的問題。此前，微眾銀行在城市管理的視覺應用方面，與極視角聯(lián)合推出了聯(lián)邦視覺項目。

“傳統(tǒng)城市管理面臨標簽數(shù)量少、數(shù)據(jù)分散，集中管理成本很高且模型更新和反饋存在離線延遲情況，聯(lián)邦視覺項目通過聯(lián)邦學習對模型提升率為15%，且模型效果無損失，這是聯(lián)邦學習應用在物聯(lián)網(wǎng)領域的一大優(yōu)勢?！?劉洋表示。

物聯(lián)網(wǎng)（IoT）是基于互聯(lián)網(wǎng)、傳統(tǒng)電信網(wǎng)等信息傳輸渠道，讓所有具備通信功能的獨立物體實現(xiàn)互聯(lián)互通的網(wǎng)絡。物聯(lián)網(wǎng)的應用之一，是透過收集多個節(jié)點的小數(shù)據(jù)，聚集成大數(shù)據(jù)來建立應用模型。

而邊緣計算（Edge Computing）則致力于通過依靠集網(wǎng)絡、計算、存儲、應用核心能力為一體的開放平臺，就近提供最近端服務，從而產(chǎn)生更快的網(wǎng)絡服務響應，滿足不同行業(yè)的實時業(yè)務需求。

物聯(lián)網(wǎng)、邊緣計算和與人工智能 （AI） 的有機結合離不開分布式大數(shù)據(jù)的安全、合法的管理，聯(lián)邦學習助力IoT，實現(xiàn)大規(guī)模用戶在保護數(shù)據(jù)隱私下的協(xié)同學習。

多方如何實現(xiàn)“共同富?！?，聯(lián)邦學習的收益分配

聯(lián)邦學習助力物聯(lián)網(wǎng)發(fā)展，那么，多個數(shù)據(jù)方是如何打破“數(shù)據(jù)孤島”，實現(xiàn) “共同富裕呢？聯(lián)邦學習的收益分配是怎樣的呢？

于涵教授表示?！霸诼?lián)邦學習機制下，參與各方的身份和地位相同，各參與方把加密后的數(shù)據(jù)貢獻給聯(lián)邦，然后數(shù)據(jù)聯(lián)盟訓練一個聯(lián)邦模型，這個模型再開放給各數(shù)據(jù)使用方，達到數(shù)據(jù)的有效整合及使用，能夠?qū)崿F(xiàn)打通“數(shù)據(jù)孤島?！?/p>

然而，在帶來效益的同時，聯(lián)邦學習也可能給企業(yè)帶來額外成本。具體來說，參與者加入聯(lián)邦需要對聯(lián)邦做出貢獻，把加密后的數(shù)據(jù)貢獻給聯(lián)邦，會產(chǎn)生數(shù)據(jù)成本和資金成本，且不同質(zhì)量的數(shù)據(jù)方加入聯(lián)邦、不同給時間節(jié)點加入聯(lián)盟的成本和效益可能不完全相同。

“一個數(shù)據(jù)聯(lián)盟的可持續(xù)發(fā)展取決于其能否持續(xù)吸引高質(zhì)量的個人機構數(shù)據(jù)持有人的參與”于涵教授強調(diào)。

如何吸引高質(zhì)量的個人機構數(shù)據(jù)參與進來？在解答這個問題之前，了解收益分配博弈是很有必要的。三類利潤分配博弈中的分配方案包括平均主義、邊際收益和邊際損失。假設按照平均主義，數(shù)據(jù)聯(lián)盟產(chǎn)生的收益在參與者中平均分配，邊際收益則按照某個參與者加入聯(lián)盟時帶來的邊際收益確定他所應得的收益，邊際損失則按照某個參與者退出聯(lián)盟帶來的邊際損失確定他所應得的收益；從系統(tǒng)角度考慮，總體目標是最大化集體效用。

這些分配方案都有各自的優(yōu)劣，如何尋找一種適合聯(lián)邦學習的分配方案？答案是聯(lián)邦學習激勵機制。數(shù)據(jù)聯(lián)盟參與者模型中核心問題是如何公平地對待參與者，通過綜合考量數(shù)據(jù)方對聯(lián)盟的貢獻以及參與聯(lián)盟的代價，評估收益分配能否補齊成本，即評估公平度目標。

因此，聯(lián)邦學習的解決方案是基于排隊系統(tǒng)為公平度目標建模，通過保證排隊系統(tǒng)穩(wěn)定，保證參與者等候全額補償?shù)臅r間有限。另外，模型的公平性維度有三個，一是一個參與者所貢獻的數(shù)據(jù)為聯(lián)邦模型帶來的邊際效益越高，他所應得得補償也越高；二是“遺憾”度及等待時長應在所有參與者間盡量均勻分布；公平性緯度三即在不同時間點之間，“遺憾”度及等待時長的變化盡量不要太劇烈最后在優(yōu)化目標函數(shù)。通過優(yōu)化目標函數(shù)，實現(xiàn)最大化公平度。

基于此，聯(lián)邦學習激勵機制的利益分配方案是最大化數(shù)據(jù)聯(lián)盟的整體效用，同時最小化參與者之間在“遺憾”和等待時長兩個維度的不均衡。

聯(lián)邦學習，機遇與挑戰(zhàn)并存

聯(lián)邦學習解決了在保證數(shù)據(jù)安全的前提下解決了“數(shù)據(jù)孤島”問題，同時聯(lián)邦學習通過聯(lián)邦激勵機制實現(xiàn)參與方的收益分配盡可能公平。在未來，聯(lián)邦學習還將帶給我們更多驚喜，尤其在生態(tài)建設方面，主要包括開源、技術標準和商業(yè)賦能等領域。

在開源方面，微眾銀行基于“聯(lián)邦學習”開發(fā)了聯(lián)盟AI系統(tǒng)并開源聯(lián)盟AI解決方案FATE（Federated AI Technology Enabler）。作為聯(lián)邦學習領域第一個商用級開源項目，F(xiàn)ATE為開發(fā)者提供所必須的多方協(xié)同建模工作流管理、加密機器學習工具庫和并行計算基礎設施抽象三層能力，同時提供了很多開箱即用的聯(lián)邦學習算法和聯(lián)邦遷移學習算法供開發(fā)者參考，極大簡化了聯(lián)盟AI開發(fā)的流程并降低了部署難度。這項開源技術的產(chǎn)生極大降低了企業(yè)加入聯(lián)盟AI生態(tài)，拓展合作協(xié)同式AI技術的門檻，為企業(yè)技術合作，協(xié)同建模，共建生態(tài)奠定了技術基礎。

在技術標準方面，2018年12月4日，電氣和電子工程師協(xié)會標準委員會（IEEE Standard Association）批準由微眾銀行發(fā)起的關于聯(lián)邦學習架構和應用規(guī)范的標準P3652.1（Guide for Architectural Framework and Application of Federated Machine Learning）立項。此次會議上，微眾銀行宣布面向社會征稿，接收的優(yōu)秀論文將受邀在IEEE Intelligent System 特刊發(fā)表。

除了開源、技術標準外，商業(yè)賦能更是另一重要方面，尤其是新型智慧城市建設。京東智能城市事業(yè)部AI平臺部負責人張鈞波向大家介紹了城市計算與跨越學習聯(lián)合建模，城市計算（Urban Computing）通過城市數(shù)據(jù)的采集、管理、分析挖掘和服務提供，解決交通、規(guī)劃、環(huán)境等問題。針對城市大數(shù)據(jù)具有時空動態(tài)、異構、多源等特性，京東城市通過打造城市計算平臺和數(shù)字網(wǎng)關技術，實現(xiàn)跨域?qū)W習聯(lián)合建模，并提出聯(lián)邦隨機森林等模型，打通數(shù)據(jù)壁壘，解決數(shù)據(jù)孤島問題。

除了聯(lián)邦學習技術應用等主要議題之外，本次研討會還針對聯(lián)邦學習的學術研究以及基于數(shù)據(jù)隱私等現(xiàn)實案例問題邀請了第四范式的陳雨強博士和北京觀韜中茂（上海）律師事務所合伙人王渝偉律師做內(nèi)容分享，讓在場的聯(lián)邦學習愛好者們更深入地了解了聯(lián)邦學習技術。

聯(lián)邦學習帶給我們更多驚喜的同時，也面臨諸多挑戰(zhàn)，如何避免模型攻擊和數(shù)據(jù)攻擊，如何讓聯(lián)邦學習在安全合規(guī)前提下提高算法效率，這需要學界與業(yè)界更多參與者共同探索！

中國計算機學會（ China Computer Federation， CCF ），是一個計算領域開放的、專業(yè)的學術社團，堅持會員為本的宗旨，致力于推動計算技術的發(fā)展和應用，致力于服務專業(yè)人士的職業(yè)發(fā)展。

微眾銀行是國內(nèi)首家開業(yè)的民營銀行，由騰訊、百業(yè)源和立業(yè)等多家知名企業(yè)發(fā)起設立；于2014年12月獲得由深圳銀監(jiān)局頒發(fā)的金融許可證。微眾銀行嚴格遵守國家金融法律法規(guī)和監(jiān)管政策，以合規(guī)經(jīng)營和穩(wěn)健發(fā)展為基礎，致力于普羅大眾、微小企業(yè)提供差異化、有特色、優(yōu)質(zhì)便捷的金融服務。