隨著AI行業(yè)發(fā)展如此之快，機器學習從業(yè)者很難找到時間來策劃，分析和實施正在發(fā)表的新研究。為了幫助您快速掌握最新的ML趨勢，我們將介紹我們的研究系列，其中我們整理2019年的關鍵AI研究論文并以易于理解的要點格式對其進行總結。

我們將從最重要的10篇AI研究論文開始，這些論文代表了最新的研究趨勢。這些論文將為您提供有關神經網絡體系結構，優(yōu)化技術，無監(jiān)督學習，語言建模，計算機視覺等方面的研究進展的廣泛概述。我們已根據技術影響，專家意見和行業(yè)好評選擇了這些研究論文。當然，還有更多的研究值得您注意，但是我們希望這將是一個好的起點。

我們還將發(fā)布自然語言處理，對話式AI，計算機視覺，強化學習和AI倫理方面的前十大關鍵研究論文列表。

神經網絡修剪技術可以將經過訓練的網絡的參數數量減少90%以上，減少存儲需求并提高推理的計算性能，而不會影響準確性。但是，當代的經驗是，修剪產生的稀疏架構從一開始就很難進行訓練，這同樣會提高訓練效果。

我們發(fā)現(xiàn)標準的修剪技術自然會發(fā)現(xiàn)子網，這些子網的初始化使它們能夠有效地進行訓練。根據這些結果，我們闡明“彩票假設”：密集的，隨機初始化的前饋網絡包含子網（“中獎彩票”），這些子網經過單獨訓練后，可達到與原始網絡類似的測試精度迭代次數。我們發(fā)現(xiàn)中獎的彩票已經贏得了初始彩票：它們的連接具有初始權重，使培訓特別有效。

我們提出了一種識別中獎彩票的算法，以及一系列支持彩票假說和這些偶然初始化的重要性的實驗。我們始終發(fā)現(xiàn)中獎票證的大小不到MNIST和CIFAR10的幾種全連接和卷積前饋體系結構的大小的10-20%。超過此大小，我們發(fā)現(xiàn)的中獎彩票比原始網絡學習得更快，并且達到更高的測試準確性。