在 11 月 14 日至 15 日在北京召開的英特爾人工智能大會（AIDC）上，英特爾人工智能產(chǎn)品事業(yè)部（AIPG）全球研究負(fù)責(zé)人 Casimir Wierzynski 發(fā)表了主題為《人工智能研究——物理學(xué)、隱私和大腦》的演講。他表示，物理學(xué)、隱私和大腦，將根本性地塑造人工智能的未來。

“AI 的一個重大挑戰(zhàn)是確保我們釋放能力的同時，不違反我們的價值觀。其中一個重要的價值觀就是隱私?！盋asimir Wierzynski 反復(fù)強調(diào)隱私在 AI 發(fā)展中的重要性。他認(rèn)為，機器學(xué)習(xí)和隱私之間存在矛盾，機器學(xué)習(xí)總想要讀更多的數(shù)據(jù)，而隱私天然地想要去隱藏數(shù)據(jù)。Casimir Wierzynski 的團隊正致力于使同態(tài)加密及其他私有的機器學(xué)習(xí)技術(shù)變得更加強大和實用。

目前，Casimir Wierzynski 專門負(fù)責(zé)識別英特爾下一代 AI 系統(tǒng)當(dāng)中的重要技術(shù)，并著力孵化它們。與英特爾 lab 或以產(chǎn)品為導(dǎo)向的團隊不同的是，他關(guān)注的更多是與 AI 有關(guān)的前沿的或者前瞻性的、高端的研究領(lǐng)域。除了進(jìn)行研究、出版文章外，通常情況下他還會與學(xué)術(shù)界的科學(xué)家進(jìn)行合作，和英特爾的多個業(yè)務(wù)組進(jìn)行合作來測試一些大的想法。

演講結(jié)束后，Casimir Wierzynski 接受了AI科技大本營的專訪。以下是演講的主要內(nèi)容：

我想跟大家分享三個廣泛的話題，現(xiàn)在英特爾正在去努力，并且我們相信這三個方面將會根本性的改變整個人工智能方面的領(lǐng)域，也就是物理學(xué)、隱私和大腦。

在英特爾，我們非常在意材料物理學(xué)，并進(jìn)行了材料物理學(xué)方面的很多研究。例如在室溫下可以做磁鐵的有三種元素，鐵、鈷、鎳。今年我的同事做出了一個根本性的發(fā)現(xiàn)，就是還有第四個元素，就是釕。這是在《自然通訊》雜志上今年早些時候發(fā)表的。但是物理學(xué)和 AI 之間有什么樣的關(guān)系，AI 的物理學(xué)是什么意思呢？

這個答案對于 AI 的計算力有一個指數(shù)型的需求，這張圖來自 OpenAI 的報告，他們測量了達(dá)到這個關(guān)鍵的 AI 研究里程碑所需要的浮點運算的數(shù)量，這是對數(shù)尺度的，所以直線表明了是指數(shù)型的。

他們發(fā)現(xiàn)對于 AI 計算的需求可以說是在過去六年當(dāng)中每 3.5 個月會發(fā)生翻倍，在六年當(dāng)中達(dá)到了大概 30萬倍。所以 AI 計算在這樣的速度上來擴展，對于整個的算法、架構(gòu)以及所有的硬件、基片來講，對產(chǎn)業(yè)來講就是一個巨大的挑戰(zhàn)。這就是物理學(xué)能夠幫忙的地方。

關(guān)鍵并不是要把物理學(xué)當(dāng)作一個限制，而是一種工具。Richard Feynman 在 1959 年就指出了，而且今天也是正確的，就是在納米級別的創(chuàng)新方面還有大量的空間。在我的團隊當(dāng)中，我們研究的一個技術(shù)就是怎么樣去利用制造芯片的第三維度，這是一個很有希望的想法，在晶體管上一層一層去疊加更多的層數(shù)，導(dǎo)致垂直連接的高密度，叫“整體的 3D 集成電路”。

通過這些設(shè)備以 3D 的方式來進(jìn)行密集的連接，你可以去減少這種信號傳輸所需要經(jīng)過的線纜的長度，會減少計算的耗能，并且?guī)椭銛U大在一個單位面積內(nèi)的晶體管數(shù)量，這個設(shè)備是在去年斯坦福大學(xué)所完成的，并在《自然》雜志上刊登。

我的團隊正在和主要作者 Subhashish Mitra 教授共同探討，看如何把它用在 AI 工作負(fù)載上。如果未來進(jìn)一步展望，我們調(diào)查新的設(shè)備基于新的材料和新的物理學(xué)的新設(shè)備。大部分今天的計算都是基于這種布林邏輯，涉及到開和關(guān)，我們使用的晶體管是基于大家熟悉的理念。但是還有一些物質(zhì)的其他物理特性是可以利用的，比如說控制開關(guān)傳輸信號和去讀出這些信號。

另外一個非常重要的 AI 問題，就是隱私問題。AI 的一個挑戰(zhàn)是確保我們要釋放能力的同時，不違反我們的價值觀。在機器學(xué)習(xí)和隱私之間存在一些矛盾，機器學(xué)習(xí)總想要讀更多的數(shù)據(jù)，而隱私天然的想要去隱藏數(shù)據(jù)，我的團隊正在研究一些方式，使用密碼學(xué)來解決這種矛盾，然后使得我們可以有更多的 AI 新的用例。假設(shè)一個用戶有一個非常私密的數(shù)據(jù)，他希望能夠在云上對這個數(shù)據(jù)進(jìn)行處理，如果他能夠去將這些數(shù)據(jù)來進(jìn)行加密，并且把他們?nèi)グl(fā)到云上進(jìn)行處理，而不需要分享這個密鑰的話，而且可以得到一個加密的回傳，會是非常理想的。這種能力來進(jìn)行加密數(shù)據(jù)的計算，叫做所謂的“同態(tài)加密”。

2009 年，由于加密技術(shù)取得了突破性進(jìn)展，同態(tài)加密在理論上已變得可行，但是它在實踐中幾乎不可行，因為它需要進(jìn)行太多的計算。

自那之后，同態(tài)方案得到了巨大改進(jìn)，尤其是在執(zhí)行深度學(xué)習(xí)中使用的各種計算方面，如矩陣乘法。

我的團隊正在致力于使同態(tài)加密及其他私有的機器學(xué)習(xí)技術(shù)變得更加強大和實用。盡管這是開發(fā)者大會，但我要提及的一點是，我們也在努力使非專業(yè)人員能夠輕松使用這些加密工具。你可以將同態(tài)加密視為一種用于運行模型的不同硬件目標(biāo)。它是一臺接受加密輸入并輸出加密答案的機器。

因此，我們針對英特爾 nGraph 編譯器創(chuàng)建了后端，使開發(fā)人員能夠使用 TensorFlow 或 PyTorch 等框架構(gòu)建模型，然后對這些模型進(jìn)行編譯，讓它們可以在使用加密輸入的情況下運行。我們的目標(biāo)是在今年年底之前，將這款工具作為開源工具提供。

到目前為止，我們已經(jīng)談到了如何能夠去把 AI 人工智能結(jié)合起來，把計算進(jìn)行加密，我們這個業(yè)務(wù)組在不斷地推動 AI 的前沿，通過了解人的大腦是如何發(fā)揮貢獻(xiàn)的，因為我們作為神經(jīng)生物科學(xué)家，所興奮得不光是能夠更好的開發(fā)人工智能的系統(tǒng)，還有解密全人類有史以來最大的神秘，也就是大腦機理。

我們知道，大腦是終極的人工智能機器，深度神經(jīng)網(wǎng)絡(luò)就是由大腦所啟發(fā)，實際上就是大腦的不同的并行的一些電路板，正如神經(jīng)網(wǎng)絡(luò)的模型生物的這些神經(jīng)元，也是這樣排列，它們是線性的輸入、非線性的輸出。

深度學(xué)習(xí)在過去十多年取得了巨大的成功，這也是為什么今天我們能夠在這里探討這個話題，但仍然深度學(xué)習(xí)還有一些麻煩的地方，比如現(xiàn)在的模型很難從幾個小時的數(shù)據(jù)就能進(jìn)行推測。對于目前深度學(xué)習(xí)的系統(tǒng)來說是很難實現(xiàn)的，可能需要幾百個樣本，而人類可以非常高效地進(jìn)行推測、或特征尋找。

非常高興得能夠與大家分享我的工作成果。謝謝聆聽。

以下為AI科技大本營專訪實錄，并做了不改變愿意的整理：

AI科技大本營：首先請您簡單介紹一下在加入英特爾一年多做了哪些工作，包括技術(shù)方面以及人員方面的成果和進(jìn)展。

Casimir Wierzynski：我負(fù)責(zé)英特爾人工智能產(chǎn)品部門的研發(fā)團隊建設(shè)工作，目標(biāo)是確保我所組建的研究團隊的人員，每個人能將百分之百的時間投入到與人工智能研究的工作上來。英特爾公司一直以來開展大量與人工智能有關(guān)的研究工作。但我認(rèn)為非常有必要專門找到這樣一群人，打造一個無論是從時間的分配上和職責(zé)的分配上都是百分之百投入到 AI 相關(guān)研究的團隊。

AI科技大本營：剛才您在臺上也提到了用密碼學(xué)去解決機器學(xué)習(xí)與隱私之間挑戰(zhàn)的問題，這個解決方案是如何想到的？此外，提到今年年底會開放同態(tài)加密的工具，提供給開發(fā)人員，但是它有一個問題，比如消耗大量的計算時間，能否具體講講英特爾在這方面是如何解決的？

Casimir Wierzynski：首先我要澄清一下，實際上同態(tài)加密這個想法也不算是我想到的，最早是 2009 年 Craig Gentry 在斯坦福攻讀博士的論文 (A Fully Homomorphic Encryption Scheme, Gentry, 2009) 里所寫到。我之前經(jīng)常拜訪麻省理工，拜訪教授，就他們最新的成果進(jìn)行演講，其中有一位教授提到了同態(tài)加密。我們確實知道同態(tài)加密這個方法的計算強度確實非常大，但當(dāng)時那位教授向我們介紹了他的論文，基于他的論文我們發(fā)現(xiàn)計算的強度已經(jīng)實現(xiàn)了大規(guī)模的下降。我當(dāng)時就有這種感覺，我覺得這個技術(shù)現(xiàn)在已經(jīng)非常接近可以用在商業(yè)化的規(guī)模上。

當(dāng)然，具體你說的某一項特定技術(shù)會在哪個時間點上騰飛、起飛，這個現(xiàn)在很難說，但至少我有這樣一種感覺，同態(tài)加密已經(jīng)發(fā)展到即將可能進(jìn)行商業(yè)化大規(guī)模使用的時間點上。

您的第二個問題主要是問到英特爾在特定的領(lǐng)域里會做哪些工作，讓它采納起來的難度會有所降低。我覺得主要是分成三個部分：

第一，英特爾內(nèi)部有很多專門從事密碼學(xué)的研究人員，他們會開發(fā)出非常好的算法來支持技術(shù)；

第二，我們也有非常大量的、優(yōu)秀的軟件工程技術(shù)方面的人才，他們可以使得整個庫變得更可獲得、更好用，這也是今天我在大會演講當(dāng)中主要提到的；

第三，實際上也是英特爾一貫的做法，如果英特爾認(rèn)為這是一個非常重要的工作，或者具有關(guān)鍵性意義的工作，我們會進(jìn)行相應(yīng)的投入，會有一個比較明確的路線圖來指導(dǎo)這個工作。

最后我還是想再補充一下，之前在大會上主要談的是同態(tài)加密的做法，它的主要目的是用來協(xié)調(diào)在機器學(xué)習(xí)和隱私方面的關(guān)系。但是我想說的是，同態(tài)加密只是在解決技術(shù)挑戰(zhàn)方面的工具之一，換而言之，現(xiàn)在還有其他的工具，我們也在考慮、在看，因此同態(tài)加密并不是唯一的銀子彈。

AI科技大本營：看到您更加關(guān)注的是機器學(xué)習(xí)方面的技術(shù)發(fā)展，最近谷歌 DeepMind 的 BigGAN 在圖像生成方面取得了非常大的進(jìn)展，您這項成果發(fā)展是如何看待的？與谷歌是如何展開合作的？

Casimir Wierzynski：首先要說明的是，谷歌和英特爾的工程技術(shù)人員在很多的話題和領(lǐng)域當(dāng)中都開展了很多合作。在深度學(xué)習(xí)網(wǎng)絡(luò)出現(xiàn)之后，企業(yè)需要來評估這事是否是將來會做大，并且可能是一個很大的突破。

關(guān)于您提到的問題，劉茵茵（AIPG數(shù)據(jù)科學(xué)部主任）所帶領(lǐng)的團隊是做深度學(xué)習(xí)的相關(guān)研究，和我的團隊相比，她的團隊是更著重在深度學(xué)習(xí)上。而且我跟劉茵茵的辦公室很近，我倆時不時就具體的算法問題來溝通和交流。AI 產(chǎn)品集團部門在技術(shù)上內(nèi)部的溝通和交流是挺頻繁的，不過具體說到算法和深度學(xué)習(xí)還是劉茵茵的團隊管得多一些。

AI科技大本營：您對于在 NIPS 這樣機器學(xué)習(xí)頂會上發(fā)表論文是如何看待的？是否把它看作一個主要的工作成果或是KPI的展示？

Casimir Wierzynski：我們確實是非常鼓勵英特爾的研究人員積極參與頂級學(xué)術(shù)會議，并發(fā)表論文。如果是和神經(jīng)學(xué)方面研究有關(guān)的，那就可以是 NIPS。我們的研究發(fā)表論文也不局限于特定的領(lǐng)域，任何的話題都可能。如果是涉及到半導(dǎo)體或者芯片，我們可能會選擇像《自然》或者是《科學(xué)》這樣的期刊去發(fā)表。密碼學(xué)那邊也有專門的學(xué)術(shù)會議，也有專門的期刊。我們還是非常鼓勵員工能夠積極的參與這些學(xué)術(shù)期刊文章的發(fā)表和學(xué)術(shù)會議，這樣可以來展示他們的研究成果。

AI科技大本營：云端芯片和終端芯片在各自的應(yīng)用場景都非常有用，包括云端更多的是用于深度學(xué)習(xí)訓(xùn)練和推測，終端芯片更多的應(yīng)用在醫(yī)療、視頻監(jiān)控等物聯(lián)網(wǎng)場景。英特爾目前傾向于哪個方向，基于怎樣的戰(zhàn)略和技術(shù)方面的考量？

Casimir Wierzynski：我嘗試著用一種風(fēng)趣的方法來回答你的問題。我前面也講過，我們做的研究工作主要是放眼長遠(yuǎn)，所以我們的地平線是在很遠(yuǎn)的地方，如此之遠(yuǎn)，以至于可以同時涵蓋云端的研究和邊緣或者終端的研究，就好像我很幸運，不需要在我的兩個孩子當(dāng)中挑出我更愛誰多一點。