自2017年以來，人工智能（AI）研究人員一直用AI神經(jīng)網(wǎng)絡來設計更好、更快的AI神經(jīng)網(wǎng)絡。迄今為止，學界一直在追求用人工智能促進人工智更好地發(fā)展。這主要是因為，這種方法能達到數(shù)萬小時的GPU時間。 如果真可以實現(xiàn)這一點，那么設計AI應用程序時，可能會更快、更簡單。

今年5月，麻省理工學院的一個研究團隊將展示一種名為“神經(jīng)架構(gòu)搜索”（ “neural architecture search” ）的算法，該算法可以使被AI優(yōu)化過的AI設計過程加速240多倍。 這有利于人工智能更快、更準，并且在實際范圍內(nèi)廣泛應用于圖像識別算法和其他相關(guān)應用。

自2017年以來，人工智能（AI）研究人員一直用AI神經(jīng)網(wǎng)絡來設計更好、更快的AI神經(jīng)網(wǎng)絡。迄今為止，學界一直在追求用人工智能促進人工智更好地發(fā)展。這主要是因為，這種方法能達到數(shù)萬小時的GPU時間。 如果真可以實現(xiàn)這一點，那么設計AI應用程序時，可能會更快、更簡單。

麻省理工學院電子工程和計算機科學助理教授韓松說：“在模型大小、應用延遲、準確性和模型容量之間存在各種權(quán)衡。把所有的東西權(quán)衡起來就會產(chǎn)生一個巨大的設計空間。 以前人們設計的神經(jīng)網(wǎng)絡采用的是啟發(fā)式算法。神經(jīng)架構(gòu)搜索的目的在于減輕算法的工作量，將基于人類啟發(fā)式的探索轉(zhuǎn)化為算法自主學習的，更符合AI的設計邏輯。 就像AI可以學習下圍棋一樣，去學習如何設計一個神經(jīng)網(wǎng)絡。”

就像人工智能曾戰(zhàn)勝李世石與柯潔，甚至可以教這些圍棋國手新的圍棋路數(shù)， 通過AI來優(yōu)化AI可以提供新的AI設計思路。

麻省理工用的AI算法類型是一種卷積神經(jīng)網(wǎng)絡（CNN）。（CNN通常是用于圖像識別的首選神經(jīng)網(wǎng)絡。除此之外，它還被應用于自然語言處理和藥物研發(fā)。）

韓松說，這種被AI優(yōu)化過的CNN的圖像分類速度將是其他AI的1.8倍。

他補充說團隊能將CNN提速至此，主要緣于以下三點：

首先，他們減少了運行神經(jīng)架構(gòu)搜索的GPU內(nèi)存負載。標準神經(jīng)架構(gòu)搜索可以同時檢查網(wǎng)絡中神經(jīng)層之間所有可能的連接。而韓松團隊的算法每次只在CPU的內(nèi)存中保存一條路徑。這個技巧可以只用十分之一的內(nèi)存完成對所有參數(shù)空間的搜索，從而使搜索能夠覆蓋更多的網(wǎng)絡配置而不會耗盡芯片上的空間。

第二，該團隊通過刪減掉冗余的神經(jīng)網(wǎng)絡來精簡路徑，這樣明顯加快了神經(jīng)網(wǎng)絡搜索進程。通常，神經(jīng)架構(gòu)搜索只丟棄單個“神經(jīng)元”，因為它會修剪掉所有次優(yōu)的神經(jīng)網(wǎng)絡連接。

第三，這個算法使神經(jīng)網(wǎng)絡搜索意識到AI系統(tǒng)在正在運行的硬件中可能的延遲時間 ，不管這個硬件是GPU或CPU。

韓松說，令人驚訝的是，通過新的算法，我們發(fā)現(xiàn)，傳統(tǒng)AI中某些圖像識別神經(jīng)網(wǎng)絡是錯的。從某種意義上說，當前大家已經(jīng)在用GPU運行算法了，但有些做AI的人的設計思維仍然處于CPU時代。

CNN在其圖像識別算法中使用的是3×3、5×5或7×7像素的正方形網(wǎng)格濾波器，不過此前，大家很少使用7×7像素的濾波器，因為人們一直認為運行多層3×3像素的濾波器比單個7×7像素的濾波器更快。

然而，被AI優(yōu)化的AI卻使用了不少7×7像素的濾波器。韓松表示，當前用于人工智能計算的硬件中，GPU仍然占主導地位。他說：“GPU本身有很大的并行性，而且大型內(nèi)核調(diào)用比調(diào)用幾個小內(nèi)核調(diào)用效率更高，因此7×7層的濾波器更適用于GPU?！?/p>