NeurIPS 2018最佳論文公布，4篇最佳論文中有一篇一作是陳天琦。本屆大會參會人數(shù)超過了8000人次，錄取率為21%，三個最熱門投稿領(lǐng)域依次為算法、深度學(xué)習(xí)和應(yīng)用。

NeurIPS 2018終于開始，主會場排滿了6500人的座位，旁邊還有能容納1500人的房間。

今年的大會主席是谷歌大腦的Samy Bengio，他也是“深度學(xué)習(xí)三巨頭”之一Yoshua Bengio的弟弟。程序主席是微軟研究院的Hanna Wallach，同樣擔(dān)任聯(lián)席程序主席的還有谷歌大腦的Hugo Larochelle、奧斯汀大學(xué)及Facebook AI的Kristen Grauman，以及米蘭大學(xué)的Nicolò Cesa-Bianchi。幸與不幸，這屆NIPS——“NeurIPS”，中國或者華人學(xué)者并無出任大會組織或管理層。

全新的NeurIPS大會Logo

但是，中國公司依然活躍在大會贊助商名單里，無論怎么說，畢竟是人工智能領(lǐng)域一年一度最負(fù)盛譽(yù)的學(xué)術(shù)會議之一。

根據(jù)大會主席在Opening Remarks透露，本屆會議參會（注冊）人數(shù)直逼9000人大關(guān)，投稿超過5000篇，論文錄取率為21%，最熱門的投稿領(lǐng)域是算法，其次是深度學(xué)習(xí)，再次是應(yīng)用。

本屆大會有一天的Expo Day，9場Tutorial，39個Workshop（從118個提交方案中選出），8場競賽（提交了21個），20個Demo（提交了76個），還有專為女性、拉丁人、黑人和LGBT人群設(shè)立的分會場。

陳天琦等人獲得最佳論文獎

還是先來看最佳論文獎。今年的最佳論文一共有4篇。值得慶賀的是，陳天琦等人的Neural Ordinary Differential Equations也在其中。

Neural Ordinary Differential Equations

Tian Qi Chen · Yulia Rubanova · Jesse Bettencourt · David Duvenaud

鏈接：https://arxiv.org/abs/1806.07366

摘要：我們提出一種新的深度神經(jīng)網(wǎng)絡(luò)模型。我們使用神經(jīng)網(wǎng)絡(luò)參數(shù)化隱藏狀態(tài)的導(dǎo)數(shù)，而不是指定一個離散的隱藏層序列。利用黑盒微分方程求解器計算網(wǎng)絡(luò)的輸出。這些連續(xù)深度模型具有恒定的存儲成本，可以根據(jù)每個輸入調(diào)整其評估策略，并且可以顯式地以數(shù)值精度換取速度。我們在連續(xù)深度殘差網(wǎng)絡(luò)和連續(xù)時間潛在變量模型中證明了這些性質(zhì)。我們還構(gòu)建了continuous normalizing flows，這是一個可以通過最大似然進(jìn)行訓(xùn)練、而無需對數(shù)據(jù)維度進(jìn)行分區(qū)或排序的生成模型。對于訓(xùn)練，我們展示了如何在不訪問任何ODE求解器內(nèi)部操作的情況下，可擴(kuò)展地反向傳播。這允許在更大的模型中對ODE進(jìn)行端到端訓(xùn)練。

Non-delusional Q-learning and Value-iteration

Tyler Lu · Dale Schuurmans · Craig Boutilier

鏈接：https://papers.nips.cc/paper/8200-non-delusional-q-learning-and-value-iteration.pdf

摘要：在Q-learning和其它形式的動態(tài)規(guī)劃中，我們確定了一個基本的誤差來源。當(dāng)近似體系結(jié)構(gòu)限制了可表達(dá)的貪婪策略類時，就會產(chǎn)生偏差。由于標(biāo)準(zhǔn)Q-updates對可表達(dá)的策略類做出了全局不協(xié)調(diào)的動作選擇，因此可能導(dǎo)致不一致甚至沖突的Q值估計，從而導(dǎo)致病態(tài)行為，如過高/過低估計、不穩(wěn)定甚至分歧。

為了解決這個問題，我們引入了新的策略一致性概念，并定義了一個本地備份流程，該流程通過使用信息集來確保全局一致性，這些信息集記錄了與備份后的Q值一致的策略約束。我們證明使用此備份的基于模型和無模型的算法都可消除妄想（delusional）偏差，從而產(chǎn)生第一種已知算法，可在一般條件下保證最佳結(jié)果。此外，這些算法僅需要多項式的一些信息集即可。最后，我們建議嘗試減少妄想偏差的Value-iteration和Q-learning的其它實用啟發(fā)式方法。

Optimal Algorithms for Non-Smooth Distributed Optimization in Networks

Kevin Scaman · Francis Bach · Sebastien Bubeck · Laurent Massoulié · Yin Tat Lee

鏈接：https://arxiv.org/abs/1806.00291

摘要：在這行工作中，我們利用計算單元網(wǎng)絡(luò)，研究了非光滑凸函數(shù)的分布優(yōu)化問題。我們在兩個正則性假設(shè)下研究這個問題：(1)全局目標(biāo)函數(shù)的Lipschitz連續(xù)性，(2)局部單個函數(shù)的Lipschitz連續(xù)性。在局部正則性假設(shè)下，我們提出第一個最優(yōu)一階分散算法——多步原對偶算法(MSPD)，并給出了相應(yīng)的最優(yōu)收斂速度。值得注意是，對于非光滑函數(shù)，雖然誤差的主導(dǎo)項在中，但是通信網(wǎng)絡(luò)的結(jié)構(gòu)只影響的二階項，其中?t?為時間。也就是說，即使在非強(qiáng)凸目標(biāo)函數(shù)的情況下，由于通信資源的限制而產(chǎn)生的誤差也會快速減小。在全局正則性假設(shè)下，我們提出了一種基于目標(biāo)函數(shù)局部平滑的簡單而有效的分布式隨機(jī)平滑算法(distributed smooth, DRS)，并證明了DRS在最優(yōu)收斂率的乘因子范圍內(nèi)，其中d為底層維數(shù)。

Nearly Tight Sample Complexity Bounds for Learning Mixtures of Gaussians via Sample Compression Schemes

Hassan Ashtiani · Shai Ben-David · Nick Harvey · Christopher Liaw · Abbas Mehrabian · Yaniv Plan

鏈接：https://papers.nips.cc/paper/7601-nearly-tight-sample-complexity-bounds-for-learning-mixtures-of-gaussians-via-sample-compression-schemes.pdf

摘要：我們證明樣本對于學(xué)習(xí)中的k高斯混合是必要且充分的，直到整體偏差距離誤差ε。這改善了該問題已知的上限和下限。對于軸對齊高斯分布的混合，我們證明樣本足夠，匹配已知的下界。上限是基于一種基于樣本壓縮概念的分布式學(xué)習(xí)新技術(shù)。任何一類允許這種樣本壓縮方案的分布也可以通過很少的樣本來學(xué)習(xí)。我們的主要結(jié)果是證明了中的高斯類具有有效的樣本壓縮。

權(quán)衡近似最優(yōu)化算法獲經(jīng)典論文獎（Test Of Time Award）

The Tradeoffs of Large-Scale Learning

Leon Bottou, Olivier Bousquet

獲得經(jīng)典論文獎的這篇論文發(fā)表于2007年，作者是普林斯頓NEC實驗室的Leon Bottou和Google的Olivier Bousquet。

Léon Bottou 因在機(jī)器學(xué)習(xí)和數(shù)據(jù)壓縮方面的工作而著名，他提出了 Stochastic gradient descent 這個最基本的機(jī)器學(xué)習(xí)算法，這個算法本身就是一種近似最優(yōu)化算法，他也是 DjVu 圖像壓縮技術(shù)的發(fā)明者之一。Olivier Bousquet 任職于 Google，從事機(jī)器學(xué)習(xí)的相關(guān)研究。

這篇論文主要提出了一種理論框架，來衡量機(jī)器學(xué)習(xí)中近似最優(yōu)化方法的效果。分析結(jié)論發(fā)現(xiàn)，對于小規(guī)模數(shù)據(jù)和大規(guī)模數(shù)據(jù)，近似最優(yōu)化算法的 tradeoff 是不相同的。

論文摘要

這篇論文的貢獻(xiàn)是開發(fā)了一個理論框架，該框架考慮了近似優(yōu)化對學(xué)習(xí)算法的影響。分析表明，對于小規(guī)模和大規(guī)模的學(xué)習(xí)問題，有明顯的權(quán)衡。小規(guī)模學(xué)習(xí)問題受制于近似-估計的權(quán)衡，大規(guī)模學(xué)習(xí)問題需要在質(zhì)量上作出不同的權(quán)衡，涉及底層優(yōu)化算法的計算復(fù)雜性。例如，一個普通的優(yōu)化算法——隨機(jī)梯度下降，已經(jīng)被證明在大規(guī)模學(xué)習(xí)問題上表現(xiàn)得很好。

12年論文數(shù)據(jù)：最強(qiáng)機(jī)構(gòu)是MIT，最高引用作者是喬丹

看完今年的NeurIPS論文數(shù)據(jù)，接下來自然想知道歷年來的數(shù)據(jù)。正好，微軟學(xué)術(shù)（Microsoft Academic）對12年的NeurIPS做了分析。

NeurIPS論文產(chǎn)出

下表顯示了會議從1996年開始，每年論文的數(shù)量：

在下圖中，黑色條形代表了每年論文的平均參考文獻(xiàn)數(shù)量，從數(shù)據(jù)中可以看出，參考文獻(xiàn)數(shù)量呈增長趨勢；綠色條形代表了每年論文被引用的平均次數(shù)：

Memory of references

例如，在下表中，2016年，NeurIPS論文共引用了2015年發(fā)表的2033篇論文；2014年發(fā)表論文1392篇，以此類推。

Outgoing Conferences

下表顯示了NeurIPS論文被引用的十大“場所”。NeurIPS、ICML、Journal of Machine Learning Research和CVPR名列前四。下面的餅狀圖顯示，在NeurIPS的論文中，最常被引用的10個“場所”幾乎占了全部被引用文獻(xiàn)的40%。

Incoming Citations

下表顯示了按地點劃分的引用分布情況。

下面的餅狀圖顯示，引用NeurIPS論文最多的前10個場所占全部引用量的24%。下面的條形圖顯示了引用NeurIPS論文最多的十大“場所”。同樣，NeurIPS位于頂部，其次是CVPR和ICML。

學(xué)術(shù)機(jī)構(gòu)排名

下面的氣泡圖通過NeurIPS論文中的引用計數(shù)，來可視化NeurIPS的頂級學(xué)術(shù)機(jī)構(gòu)排名。

作者排名

接下來的三個圖表顯示了不同標(biāo)準(zhǔn)下的作者排名。

氣泡圖顯示了按引用計數(shù)排序的NeurIPS作者，氣泡顏色飽和度相對于發(fā)表計數(shù)。

下面的氣泡圖將作者排名進(jìn)行了可視化。

作者排名是根據(jù)Microsoft Academic的一個公式計算出來的。X軸代表作者的級別。作者的排名越高，他們就越靠右。Y軸按發(fā)表次數(shù)對排名進(jìn)行了標(biāo)準(zhǔn)化，夠發(fā)現(xiàn)那些可能沒有發(fā)表過大量文章但卻有影響力的作者。作者離頂端越近，其標(biāo)準(zhǔn)化排名就越高。當(dāng)然，圖表區(qū)域的右上角代表了“最高等級”。

NeurIPS論文引用最多的學(xué)者

下表對被引用最多的學(xué)者進(jìn)行了排名。

在NeurIPS被引用最多的學(xué)者中，誰將是后起之秀？

下面100%堆疊的條形圖顯示了前20位學(xué)者每年的NeurIPS被引用的情況。

7場受邀報告看今年大會關(guān)鍵：AI Safey

受邀報告在一定程度上反映了大會組織者對會議主題及重點的判斷。從以下7場報告中不難看出，在追求技術(shù)進(jìn)步的同時關(guān)注可靠性，強(qiáng)調(diào)研究的程序正義，例如對開發(fā)魯棒的AI以及AI Safety相關(guān)問題，是如今學(xué)界關(guān)注的焦點。

1、技術(shù)創(chuàng)新中多樣性和包容性的必要性(The Necessity of Diversity and Inclusivity In Tech）

演講人：Laura Gomez (Founder, Atipica)

Laura Gomez

2、機(jī)器學(xué)習(xí)遇到公共政策：期望什么和如何應(yīng)對（Machine Learning Meets Public Policy: What to Expect and How to Cope）

演講人：Edward Felton，普林斯頓大學(xué)

Edward Felton

AI和機(jī)器學(xué)習(xí)已經(jīng)對世界產(chǎn)生了巨大的影響。政策制定者已經(jīng)注意到這點，開始制定法律法規(guī)，并開始討論社會應(yīng)當(dāng)如何管理這些技術(shù)的發(fā)展。本演講將概述決策者如何應(yīng)對新技術(shù)和AI/ML的發(fā)展過程，以及為什么建設(shè)性地參與政策過程將為該領(lǐng)域、政府和社會帶來更好的結(jié)果。

3、身體在想什么：神經(jīng)系統(tǒng)外的生物電計算，原始認(rèn)知和合成形態(tài)學(xué)

(What Bodies Think About: Bioelectric Computation Outside the Nervous System, Primitive Cognition, and Synthetic Morphology)

演講人：Michael Levin，塔夫茨大學(xué)

Michael Levin

大腦的計算能力并非獨一無二。細(xì)菌、植物和單細(xì)胞生物都表現(xiàn)出學(xué)習(xí)能力和可塑性；神經(jīng)系統(tǒng)加速了信息處理的優(yōu)化，這些信息處理在生命之樹中無處不在，在神經(jīng)元進(jìn)化之前就已經(jīng)存在了。在這次演講中，我將介紹發(fā)展生物電學(xué)(developmental bioelectricity)的基礎(chǔ)知識，并展示新的概念和方法的進(jìn)步如何使重寫模式記憶成為可能，指導(dǎo)形態(tài)形成而無需基因組編輯。實際上，這些策略允許重新編程實現(xiàn)多細(xì)胞模式目標(biāo)狀態(tài)的生物電軟件。我將展示再生醫(yī)學(xué)和認(rèn)知神經(jīng)可塑性的應(yīng)用實例，并說明未來對合成生物工程、機(jī)器人和機(jī)器學(xué)習(xí)的影響。

4、可重復(fù)、可重用和可靠的強(qiáng)化學(xué)習(xí)(Reproducible, Reusable, and Robust Reinforcement Learning)

演講人：Joelle Pineau，麥吉爾大學(xué)

Joelle Pineau

近年來，我們在深度強(qiáng)化學(xué)習(xí)方面取得了顯著的成績。然而，最先進(jìn)的深度RL方法的復(fù)現(xiàn)結(jié)果很少是直接的。當(dāng)環(huán)境或獎勵具有很強(qiáng)的隨機(jī)性時，一些方法的高度差異會使學(xué)習(xí)變得特別困難。此外，在特定領(lǐng)域或?qū)嶒炦^程中，即使是很小的擾動，結(jié)果也可能是脆弱的。在這次演講中，我將回顧在deep RL中實驗技術(shù)和報告過程中出現(xiàn)的挑戰(zhàn)。我還將描述一些最近的結(jié)果和指導(dǎo)方針，旨在使未來的結(jié)果更具可重復(fù)性、可重用性和可靠性。

5、人類-AI信任現(xiàn)象的調(diào)查(Investigations into the Human-AI Trust Phenomenon)

演講人：Ayanna Howard，佐治亞理工學(xué)院

Ayanna Howard

隨著智能系統(tǒng)在日?；顒又信c人類的互動越來越充分，信任的作用必須得到更仔細(xì)的審視。信任傳達(dá)了這樣的概念：當(dāng)與智能系統(tǒng)交互時，人類往往表現(xiàn)出與其他人類交互時相似的行為，因此可能會誤解遵從機(jī)器的決策所帶來的風(fēng)險。偏見會進(jìn)一步影響信任或過度信任的潛在風(fēng)險，因為這些系統(tǒng)通過模仿我們自己的思維過程、繼承我們自己的隱含偏見來學(xué)習(xí)。在這個演講中，我將透過智能系統(tǒng)的鏡頭來討論這一現(xiàn)象。

6、使算法值得信賴：統(tǒng)計科學(xué)可以為透明度、解釋和驗證做出哪些貢獻(xiàn)？

(Making Algorithms Trustworthy: What Can Statistical Science Contribute to Transparency, Explanation and Validation?)

演講人：David Spiegelhalter，劍橋大學(xué)

David Spiegelhalter

對自動化咨詢系統(tǒng)的透明度、可解釋性和經(jīng)驗驗證的要求并不新鮮。早在上世紀(jì)80年代，基于規(guī)則的系統(tǒng)的支持者與基于統(tǒng)計模型的系統(tǒng)的支持者之間就有過激烈的討論，爭論的焦點就是哪個系統(tǒng)更加透明。

7、為軟件2.0設(shè)計計算機(jī)系統(tǒng)（Designing Computer Systems for Software 2.0）

演講人：Kunle Olukotun，斯坦福大學(xué)

Kunle Olukotun

使用機(jī)器學(xué)習(xí)從數(shù)據(jù)生成模型正在取代許多應(yīng)用程序的傳統(tǒng)軟件開發(fā)。我們開發(fā)軟件的方式發(fā)生了根本性的變化，稱為Software 2.0，它極大地提高了這些應(yīng)用程序的質(zhì)量和部署的易用性。Software 2.0方法的持續(xù)成功和擴(kuò)展必須得到為機(jī)器學(xué)習(xí)應(yīng)用程序量身定制的強(qiáng)大、高效和靈活的計算機(jī)系統(tǒng)的支持。這個演講將描述一種優(yōu)化計算機(jī)系統(tǒng)以滿足機(jī)器學(xué)習(xí)應(yīng)用需求的設(shè)計方法。全棧設(shè)計方法集成了針對應(yīng)用程序特性和現(xiàn)代硬件優(yōu)勢進(jìn)行優(yōu)化的機(jī)器學(xué)習(xí)算法，為可編程性和性能設(shè)計的領(lǐng)域特定語言和高級編譯技術(shù)，以及同時具備高靈活性和高能效的硬件架構(gòu)。

贊助商覆蓋行業(yè)明顯增多，傳統(tǒng)企業(yè)和創(chuàng)業(yè)企業(yè)數(shù)量增多

介紹贊助商也成了會議報道的慣例，畢竟是一票難求、人才濟(jì)濟(jì)的會議。今年的贊助商如果說有變化，那么最大的變化就是——公司覆蓋的行業(yè)類型增多了。可以發(fā)現(xiàn)，除了谷歌、微軟、亞馬遜、Facebook和BAT等傳統(tǒng)的AI巨頭，越來越多的傳統(tǒng)企業(yè)，比如投行、銀行，以及創(chuàng)業(yè)企業(yè)出現(xiàn)在了贊助商名單里，這說明AI的影響確實擴(kuò)大了。

鉆石贊助商：

鉑金贊助商：

黃金贊助商：

白銀贊助商：