谷歌AI團(tuán)隊負(fù)責(zé)人Jeff Dean今天發(fā)布博客文章，總結(jié)了谷歌的研究團(tuán)隊在2018年的主要研究成果。內(nèi)容包括：

AI道德原則與以人為本的AI

輔助技術(shù)

量子計算

自然語言理解

感知研究

計算攝影

算法和理論

軟件系統(tǒng)

AutoML

TPU

開源軟件和數(shù)據(jù)集

機器人技術(shù)

人工智能在其他領(lǐng)域的應(yīng)用

醫(yī)療AI

研究推廣

AI道德原則與以人為本的AI

在過去的幾年里，我們觀察到人工智能的重大進(jìn)步及其對我們的產(chǎn)品和數(shù)十億用戶日常生活的積極影響。我們認(rèn)識到，AI是一種造福世界的力量，它應(yīng)該被合乎道德地應(yīng)用，也應(yīng)該應(yīng)用于對社會有益的問題。今年我們發(fā)布了《谷歌人工智能原則》(Google AI Principles)，提出一系列負(fù)責(zé)任的人工智能實踐，并概述了實施的技術(shù)建議。

AI用于解決現(xiàn)實社會問題的潛力是顯而易見的。一個例子是谷歌在洪水預(yù)測方面的工作。這項研究旨在提供關(guān)于洪水可能的程度和范圍的準(zhǔn)確、及時的細(xì)粒度信息，使那些在洪水易發(fā)地區(qū)的人們能夠更好地決定如何最好地保護(hù)他們自己和他們的財產(chǎn)。

第二個例子是我們在地震余震預(yù)測方面的工作，我們展示了機器學(xué)習(xí)模型可以比傳統(tǒng)的基于物理的模型更準(zhǔn)確地預(yù)測余震的位置。更重要的是，由于ML模型的設(shè)計是可解釋的，科學(xué)家們已經(jīng)能夠?qū)τ嗾鸬男袨樽龀鲂碌陌l(fā)現(xiàn)，這不僅可以得到更加準(zhǔn)確的預(yù)測，而且對余震的理解理解也達(dá)到了新的水平。

我們還看到大量的外部研究者，有時與谷歌的研究人員和工程師合作，使用TensorFlow等開源軟件應(yīng)對廣泛的科學(xué)和社會問題，例如使用卷積神經(jīng)網(wǎng)絡(luò)識別座頭鯨，檢測新的系外行星，識別病變的木薯植物等等。

輔助技術(shù)

我們的大部分研究集中在使用ML和計算機科學(xué)來幫助用戶更快、更有效地完成任務(wù)。通常，研究團(tuán)隊與不同的產(chǎn)品團(tuán)隊協(xié)作，研究成果被應(yīng)用于不同的產(chǎn)品特性和設(shè)置中。一個例子是Google Duplex，這個系統(tǒng)需要研究自然語言和對話理解、語音識別、文本到語音轉(zhuǎn)換、用戶理解和有效的UI設(shè)計等。

其他的例子包括Gmail的Smart Compose工具，使用預(yù)測模型給出關(guān)于如何撰寫郵件的相關(guān)的建議；以及聲音搜索技術(shù)Sound Search，能夠讓用戶快速、準(zhǔn)確地搜索到正在播放的歌曲；等等。

量子計算

量子計算是一種新興的計算范式，它能夠解決經(jīng)典計算機無法解決的具有挑戰(zhàn)性的問題。在過去的幾年里，我們一直在積極地進(jìn)行這一領(lǐng)域的研究，我們相信該領(lǐng)域正在展示在至少一個問題上的尖端能力(所謂的量子霸權(quán))，這將是該領(lǐng)域的一個分水嶺事件。

在過去的一年里，我們?nèi)〉昧嗽S多令人興奮的新成果，包括開發(fā)了一種新的72量子比特的量子計算設(shè)備：Bristlecone，它可以擴大量子計算機可解決的問題的范圍。

研究科學(xué)家 Marissa Giustina 在 Santa Barbara 在圣芭芭拉的量子AI實驗室安裝Bristlecone芯片

我們還發(fā)布了面向量子計算機的開源編程框架Cirq，并探索了如何將量子計算機用于神經(jīng)網(wǎng)絡(luò)。最后，我們分享了我們在理解量子處理器性能波動方面的經(jīng)驗和技術(shù)，并分享了一些關(guān)于量子計算機作為神經(jīng)網(wǎng)絡(luò)的計算基礎(chǔ)的想法。我們期待2019年在量子計算領(lǐng)域取得激動人心的成果!

自然語言理解

谷歌的自然語言研究在2018年取得了令人興奮的成果，既有基礎(chǔ)研究，也有以產(chǎn)品為重點的合作。我們對2017年提出的Transformer架構(gòu)進(jìn)行了改進(jìn)，開發(fā)了一種名為Universal Transformer的新的實時并行版本，該版本在翻譯和語言推理等自然語言任務(wù)中顯示出強大的優(yōu)勢。

我們還開發(fā)了BERT，這是第一個深度雙向、無監(jiān)督的語言表示模型，只使用純文本語料庫進(jìn)行預(yù)訓(xùn)練，然后可以使用遷移學(xué)習(xí)對各種自然語言任務(wù)進(jìn)行微調(diào)。BERT在11個自然語言任務(wù)上比以前的最先進(jìn)的結(jié)果有了顯著的改進(jìn)。

BERT在非常具有挑戰(zhàn)性的GLUE基準(zhǔn)測試中將最優(yōu)結(jié)果提高了7.6%

感知研究

感知研究致力于解決讓計算機理解圖像、聲音、音樂和視頻的難題，并為圖像捕獲、壓縮、處理、創(chuàng)造性表達(dá)和增強現(xiàn)實提供更強大的工具。

2018年，我們的技術(shù)提高了Google Photos中組織用戶最關(guān)心的內(nèi)容的能力，比如人和寵物。Google Lens和Google Assistant 讓用戶了解自然世界，實時回答問題，并能在谷歌圖像中使用Google Lens做更多事情。

Google Lens可以幫助你了解你周圍的世界

在音頻領(lǐng)域，我們提出了一種用于語義音頻表示的無監(jiān)督學(xué)習(xí)方法，以及對富有表達(dá)性的語音合成的顯著改進(jìn)。多模態(tài)感知成為一個越來越重要的研究課題。Looking to Listen將輸入視頻中的視覺和聽覺線索結(jié)合起來，以隔離和加強視頻中所需的說話者的聲音。這項技術(shù)可以支持許多應(yīng)用，從視頻中的語音增強和識別、視頻會議，到改進(jìn)的助聽器，尤其是可以應(yīng)用于多人講話的場景。

在計算資源有限的平臺上實現(xiàn)感知變得越來越重要。MobileNetV2是谷歌的下一代移動計算機視覺模型，被廣泛應(yīng)用于學(xué)術(shù)界和工業(yè)界。MorphNet提出了一種學(xué)習(xí)深度網(wǎng)絡(luò)結(jié)構(gòu)的有效方法，在計算資源限制的條件下，可以全面提高圖像和音頻模型的性能。最近有關(guān)自動生成移動網(wǎng)絡(luò)架構(gòu)的研究也表明，繼續(xù)提高性能是可能的。

計算攝影

在過去的幾年里，手機攝像頭的質(zhì)量和功能都有了顯著的提高。部分原因是手機中實際使用的物理傳感器有所改進(jìn)，但更大的原因是計算攝影這一科學(xué)領(lǐng)域的進(jìn)步。

我們的研究團(tuán)隊發(fā)布了最新研究技術(shù)，并與谷歌的Android團(tuán)隊和消費硬件團(tuán)隊緊密合作，將最新技術(shù)應(yīng)用在最新的Pixel和Android手機及其他設(shè)備中。2014年，我們提出了HDR+技術(shù)，通過該技術(shù)，攝像機捕捉到一組幀，然后在軟件中對齊這些幀，并將它們與計算軟件合并在一起。HDR+的工作最初是為了使圖片具有比單次曝光更高的動態(tài)范圍。然而，通過捕獲大量的幀，然后對這些幀進(jìn)行計算分析成為了一種通用的方法，這種方法在2018年使相機中的許多進(jìn)步成為可能。例如，它允許在Pixel 2中開發(fā)動態(tài)照片功能，在Motion Stills中實現(xiàn)增強現(xiàn)實模式。

Pixel 2 拍攝的運動照片

Motion Stills 的AR模式

今年，我們在計算攝影研究方面的主要工作之一是創(chuàng)造一種稱為“夜視”(Night Sight)的新能力，它使 Pixel 手機相機能夠“在黑暗中觀看”。

左：iPhone XS(全分辨率)。右: Pixel 3 的夜視能力(全分辨率)

算法和理論

算法是谷歌系統(tǒng)的支柱，觸及我們所有的產(chǎn)品，從Google trips背后的routing算法到Google cloud的consistent hashing 算法。在過去的一年里，我們繼續(xù)在算法和理論方面進(jìn)行研究，涵蓋了從理論基礎(chǔ)到應(yīng)用算法，從圖挖掘到隱私保護(hù)計算的廣泛領(lǐng)域。

我們在優(yōu)化方面的工作涉及從機器學(xué)習(xí)的連續(xù)優(yōu)化到分布式組合優(yōu)化的各個領(lǐng)域。在前者，我們研究用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)的隨機優(yōu)化算法的收斂性(獲得了ICLR 2018年最佳論文)，展示了流行的基于梯度的優(yōu)化方法(如ADAM的一些變體)存在的問題，為新的基于梯度的優(yōu)化方法提供了堅實的基礎(chǔ)。

ADAM和AMSGRAD在一個簡單的一維凸問題上的性能比較

軟件系統(tǒng)

我們在軟件系統(tǒng)方面的大部分研究仍然與構(gòu)建機器學(xué)習(xí)模型有關(guān)，特別是與TensorFlow有關(guān)。例如，我們發(fā)表了TensorFlow 1.0動態(tài)控制流的設(shè)計和實現(xiàn)。我們的一些新研究引入了一個稱為Mesh TensorFlow的系統(tǒng)，它使得使用模型并行性來指定大規(guī)模分布式計算變得很容易。另一個例子是，我們發(fā)布了一個使用TensorFlow的可擴展深度神經(jīng)排序庫TF-Ranking library。

TF-Ranking庫

我們還發(fā)布了JAX，這是一個加速器支持的NumPy變體，支持Python函數(shù)按照任意順序自動區(qū)分。雖然JAX不是TensorFlow的一部分，但它利用了與TensorFlow相同的底層軟件基礎(chǔ)結(jié)構(gòu)(例如XLA)，它的一些思想和算法對TensorFlow項目很有幫助。

另一個重要的研究方向是ML在軟件系統(tǒng)中的應(yīng)用。例如，我們繼續(xù)使用分層模型將計算部署到設(shè)備上，并有助于學(xué)習(xí)內(nèi)存訪問模式。我們還繼續(xù)探索如何使用學(xué)習(xí)的索引來替代數(shù)據(jù)庫系統(tǒng)和存儲系統(tǒng)中的傳統(tǒng)索引結(jié)構(gòu)。正如我去年所寫的，我們認(rèn)為在計算機系統(tǒng)中使用機器學(xué)習(xí)方面，我們只是觸及了皮毛。

在一個NMT模型(4層)中Hierarchical Planner的放置

AutoML

AutoML，也稱為meta-learning，是利用機器學(xué)習(xí)來自動化機器學(xué)習(xí)的某些方面的方法。我們已經(jīng)在這個領(lǐng)域進(jìn)行了多年的研究，我們的長期目標(biāo)是開發(fā)一種學(xué)習(xí)系統(tǒng)，這種系統(tǒng)能夠利用從以前已經(jīng)解決的其他問題中獲得的見解和能力，自動地解決一個新問題。

我們在這個領(lǐng)域的早期工作主要是使用強化學(xué)習(xí)，但我們也對進(jìn)化算法的使用感興趣。去年，我們展示了如何使用進(jìn)化算法為各種視覺任務(wù)自動發(fā)現(xiàn)最先進(jìn)的神經(jīng)網(wǎng)絡(luò)架構(gòu)。

我們也探討了強化學(xué)習(xí)如何應(yīng)用于神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索之外的其他問題，我們的研究證明它可用于1)自動生成圖像變換序列，以提高各種圖像模型的準(zhǔn)確性；以及2)尋找新的符號優(yōu)化表達(dá)式，比常用的優(yōu)化更新規(guī)則更有效。我們在AdaNet上的工作展示了如何得到具有學(xué)習(xí)能力的快速靈活的AutoML算法。

AdaNet自適應(yīng)地生成神經(jīng)網(wǎng)絡(luò)的集合。在每次迭代中，它都度量每個候選者的集成損失，并選擇最佳的一個進(jìn)行下一次迭代。

TPU

張量處理器(TPU)是谷歌內(nèi)部開發(fā)的ML硬件加速器，從一開始就設(shè)計為支持大規(guī)模的訓(xùn)練和推理。TPU幫助谷歌的研究取得許多突破性進(jìn)展，例如BERT(前面已經(jīng)討論過)，同時也使世界各地的研究人員能夠通過開放源碼在谷歌的研究基礎(chǔ)上進(jìn)行構(gòu)建，并追求自己的新突破。例如，任何人都可以通過Colab在TPU上免費調(diào)優(yōu)BERT, TensorFlow Research Cloud讓成千上萬的研究人員有機會從更大量的免費云TPU計算能力中獲益。

單個TPU v3設(shè)備(左)和TPU v3 Pod的一部分(右)

開源軟件和數(shù)據(jù)集

發(fā)布開源軟件和創(chuàng)建新的公共數(shù)據(jù)集是我們?yōu)檠芯亢蛙浖こ躺鐓^(qū)做出貢獻(xiàn)的兩種主要方式。我們在這個領(lǐng)域最大的努力之一是TensorFlow，這是2015年11月發(fā)布的一個非常流行的ML計算系統(tǒng)。我們在2018年慶祝了TensorFlow的三周年，在這段時間里，TensorFlow的下載量已經(jīng)超過3000萬次，超過1700個貢獻(xiàn)者增加了4.5萬個提交。在2018年，TensorFlow發(fā)布了8個主要版本，并增加了一些主要功能，如eager execution。隨著TensorFlow Lite、TensorFlow.js和TensorFlow Probability的推出，TensorFlow生態(tài)系統(tǒng)在2018年有了大幅增長。

除了繼續(xù)開發(fā)現(xiàn)有的開源生態(tài)系統(tǒng)，在2018年，我們還開發(fā)了一個用于靈活、可復(fù)現(xiàn)的強化學(xué)習(xí)研究的新框架，一個用于快速理解數(shù)據(jù)集的特征的新可視化工具(無需編寫任何代碼)，一個使用TensorFlow.js在瀏覽器中進(jìn)行實時t-SNE可視化的庫，以及用于處理電子醫(yī)療數(shù)據(jù)的FHIR工具和軟件等。

完整 MNIST 數(shù)據(jù)集的 tSNE 嵌入的實時演變，該數(shù)據(jù)集包含60000個手寫數(shù)字的圖像

我們發(fā)布了Open Images V4，這是一個包含1540萬個邊界框的數(shù)據(jù)集，包含600個類別的190萬張圖像，以及19794個類別的3010萬個經(jīng)過人工檢查的圖像級標(biāo)簽。

我們還探索了一些技術(shù)，可以使用Fluid Annotation更快地創(chuàng)建可視化數(shù)據(jù)集。

COCO數(shù)據(jù)集圖像上的Fluid Annotation界面

機器人技術(shù)

2018年，我們在理解 ML 如何教會機器人在現(xiàn)實世界里行動方面取得了重大進(jìn)展，該研究教機器人抓取從來沒見過的物體，相關(guān)論文獲得CoRL’18最佳論文。我們還通過結(jié)合ML和基于采樣的方法(ICRA'18最佳論文)，在學(xué)習(xí)機器人運動方面取得了進(jìn)展。我們第一次能夠在真實機器人上成功地在線訓(xùn)練深度強化學(xué)習(xí)模型，并且正在尋找新的、基于理論的方法，來學(xué)習(xí)穩(wěn)定的機器人控制方法。

人工智能在其他領(lǐng)域的應(yīng)用

2018年，我們已經(jīng)將ML應(yīng)用于物理和生物科學(xué)中的各種問題。使用ML，我們可以為科學(xué)家提供相當(dāng)于數(shù)百或數(shù)千名研究助理的數(shù)據(jù)挖掘，從而解放科學(xué)家，使他們變得更有創(chuàng)造力和生產(chǎn)力。

我們在Nature Methods上發(fā)表的一篇關(guān)于神經(jīng)細(xì)胞高精度自動重建的論文提出了一種新的模型，與以往的深度學(xué)習(xí)技術(shù)相比，該模型將連接組學(xué)數(shù)據(jù)自動解釋的準(zhǔn)確性提高了一個數(shù)量級。

我們的算法在鳴禽大腦中追蹤單個神經(jīng)突的3D過程

將 ML 應(yīng)用于科學(xué)的其他一些例子包括：

通過數(shù)據(jù)挖掘恒星的光曲線，尋找新的太陽系外行星

認(rèn)識到短DNA序列的起源或功能

自動檢測失焦顯微鏡圖片

自動將質(zhì)譜輸出映射到肽鏈

經(jīng)過預(yù)訓(xùn)練的 TensorFlow 模型可以對Fiji (ImageJ)細(xì)胞顯微鏡圖像斑塊的蒙太奇進(jìn)行聚焦質(zhì)量評估。

醫(yī)療AI

在過去的幾年里，我們一直致力于將ML應(yīng)用于醫(yī)療領(lǐng)域，這是一個影響我們每個人的領(lǐng)域，也是一個我們相信ML可以通過增強醫(yī)療專業(yè)人員的直覺和經(jīng)驗而產(chǎn)生巨大影響的領(lǐng)域。我們在這個領(lǐng)域的一般方法是與醫(yī)療機構(gòu)合作解決基礎(chǔ)研究問題(利用臨床專家的反饋使我們的結(jié)果更加可靠)，然后將結(jié)果發(fā)表在科學(xué)和臨床雜志上。一旦該研究得到臨床和科學(xué)驗證，我們將進(jìn)行用戶和HCI研究，以了解如何將其應(yīng)用于實際的臨床環(huán)境。2018年，我們將工作范圍擴大到計算機輔助診斷和臨床任務(wù)預(yù)測。

在2016年底，我們發(fā)表的一項研究表明，經(jīng)過訓(xùn)練的用于評估視網(wǎng)膜眼底圖像以檢測糖尿病視網(wǎng)膜病變跡象的模型，其表現(xiàn)與美國醫(yī)學(xué)委員會認(rèn)證的眼科醫(yī)生相當(dāng)，甚至略好于后者。

2018年，我們進(jìn)一步表明，通過使用由視網(wǎng)膜專家標(biāo)記的圖像進(jìn)行訓(xùn)練，模型的表現(xiàn)已經(jīng)與視網(wǎng)膜專家相媲美。后來，我們發(fā)表了一項評估，顯示了眼科醫(yī)生與ML模型協(xié)同判斷，如何比單獨做決定更準(zhǔn)確。我們與Verily的同事合作，在印度的Aravind眼科醫(yī)院和泰國衛(wèi)生部下屬的Rajavithi醫(yī)院等10多個地方部署了這個糖尿病視網(wǎng)膜病變檢測系統(tǒng)。

ML評估糖尿病視網(wǎng)膜病變

我們還發(fā)表了一項關(guān)于機器學(xué)習(xí)模型通過視網(wǎng)膜圖像評估心血管風(fēng)險的研究，這是一項醫(yī)學(xué)專家和眼科專家都認(rèn)為相當(dāng)了不起的研究。這為一種新的、非侵入性的生物標(biāo)志物提供了早期有希望的跡象，這種標(biāo)志物可以幫助臨床醫(yī)生更好地了解患者的健康狀況。

我們今年也繼續(xù)病理學(xué)，展示了如何使用ML提高前列腺癌分級的準(zhǔn)確度、利用深度學(xué)習(xí)檢測轉(zhuǎn)移性乳腺癌，并開發(fā)了一個原型的增強現(xiàn)實顯微鏡，可以通過來自計算機視覺模型的視覺信息幫助病理學(xué)家和其他科學(xué)家。

在過去的四年里，我們進(jìn)行了一項重大的研究，利用電子健康記錄來進(jìn)行臨床相關(guān)的預(yù)測。2018年，我們與芝加哥大學(xué)、加州大學(xué)舊金山分校和斯坦福大學(xué)合作，在Nature Digital Medicine上發(fā)表了一篇論文，展示了ML模型如何應(yīng)用于識別電子病歷，能夠?qū)Ω鞣N臨床相關(guān)任務(wù)做出比當(dāng)前臨床最佳實踐準(zhǔn)確性更高的預(yù)測。作為這項工作的一部分，我們開發(fā)了一些工具，使得即使在完全不同的任務(wù)和完全不同的基礎(chǔ)EHR數(shù)據(jù)集上創(chuàng)建這些模型變得非常容易。我們還改進(jìn)了基于深度學(xué)習(xí)的變量調(diào)用DeepVariant的準(zhǔn)確性、速度和實用性。該團(tuán)隊最近在《自然-生物技術(shù)》雜志上發(fā)表了一篇同行評議的論文。

研究推廣

我們以多種不同方式與外部研究社區(qū)進(jìn)行交流，包括教師參與和學(xué)生支持。我們很榮幸在本學(xué)年招收了數(shù)百名本科生、碩士生和博士生作為實習(xí)生，并為北美、歐洲和中東的學(xué)生提供多年的博士生獎研金(Ph.D. fellowships)。

作為這個獎學(xué)金項目補充的是Google AI Residency項目，這個項目允許想要進(jìn)入深度學(xué)習(xí)研究的人在谷歌與研究人員一起工作并接受他們的指導(dǎo)。如今，Google AI Residency已進(jìn)入第三個年頭，學(xué)員們被安插在谷歌全球的各個團(tuán)隊中，從事機器學(xué)習(xí)、感知、算法和優(yōu)化、語言理解、醫(yī)療保健等領(lǐng)域的研究。

每年，我們也通過Google Faculty Research Awards program支持一些教師和學(xué)生進(jìn)行研究項目。

我們認(rèn)為，公開地為更廣泛的研究社區(qū)作出貢獻(xiàn)是支持健康和富有成效的研究生態(tài)系統(tǒng)的關(guān)鍵部分。除了開源和公開數(shù)據(jù)集之外，我們的許多研究都在頂級會議和期刊上公開發(fā)表，并積極參與、組織和贊助各種不同學(xué)科的會議。