谷歌AI研究部門華人科學家再發(fā)論文《EfficientNet：重新思考CNN模型縮放》，模型縮放的傳統(tǒng)做法是任意增加CNN的深度和寬度，或使用更大的輸入圖像分辨率進行訓練，而使用EfficientNet使用一組固定額縮放系數(shù)統(tǒng)一縮放每個維度，超越了當先最先進圖像識別網絡的準確率，效率提高了10倍，而且更小。

目前提高CNN精度的方法，主要是通過任意增加CNN深度或寬度，或使用更大的輸入圖像分辨率進行訓練和評估。

以固定的資源成本開發(fā)，然后按比例放大，以便在獲得更多資源時實現(xiàn)更好的準確性。例如ResNet可以通過增加層數(shù)從ResNet-18擴展到ResNet-200。

再比如開源大規(guī)模神經網絡模型高效訓練庫GPipe，通過將基線CNN擴展四倍來實現(xiàn)84.3％ ImageNet top-1精度。

這種方法的優(yōu)勢在于確實可以提高精度，但劣勢也很明顯。這個時候往往需要進行繁瑣的微調。一點點的摸黑去試、還經常的徒勞無功。這絕對不是一件能夠讓人身心愉快的事情，對于谷歌科學家們也一樣。

這就是為什么，谷歌人工智能研究部門的科學家們正在研究一種新的“更結構化”的方式，來“擴展”卷積神經網絡。他們給這個新的網絡命名為：EfficientNet（效率網絡）。

代碼已開源，論文剛剛上線arXiv，并將在6月11日，作為poster亮相ICML 2019。

比現(xiàn)有卷積網絡小84倍，比GPipe快6.1倍

為了理解擴展網絡的效果，谷歌的科學家系統(tǒng)地研究了縮放模型不同維度的影響。模型縮放并確定仔細平衡網絡深度后，發(fā)現(xiàn)只要對網絡的深度、寬度和分辨率進行合理地平衡，就能帶來更好的性能?；谶@一觀察，科學家提出了一種新的縮放方法，使用簡單但高效的復合系數(shù)均勻地縮放深度、寬度和分辨率的所有尺寸。

據悉，EfficientNet-B7在ImageNet上實現(xiàn)了最先進精度的84.4％ Top 1/97.1％ Top 5，同時比最好的現(xiàn)有ConvNet小84倍，推理速度快6.1倍；在CIFAR-100（91.7％），F(xiàn)lower（98.8％）和其他3個遷移學習數(shù)據集上，也能很好地傳輸和實現(xiàn)最先進的精度。參數(shù)減少一個數(shù)量級，效率卻提高了10倍（更小，更快）。

與流行的ResNet-50相比，另一款EfficientNet-B4使用了類似的FLOPS，同時將ResNet-50的最高精度從76.3％提高到82.6％。

這么優(yōu)秀的成績是如何做到的

這種復合縮放方法的第一步是執(zhí)行網格搜索，在固定資源約束下找到基線網絡的不同縮放維度之間的關系（例如，2倍FLOPS），這樣做的目的是為了找出每個維度的適當縮放系數(shù)。然后應用這些系數(shù)，將基線網絡擴展到所需的目標模型大小或算力預算。

與傳統(tǒng)的縮放方法相比，這種復合縮放方法可以持續(xù)提高擴展模型的準確性和效率，和傳統(tǒng)方法對比結果：MobileNet（+ 1.4％ imagenet精度），ResNet（+ 0.7％）。

新模型縮放的有效性，很大程度上也依賴基線網絡。

為了進一步提高性能，研究團隊還通過使用AutoML MNAS框架執(zhí)行神經架構搜索來開發(fā)新的基線網絡，該框架優(yōu)化了準確性和效率（FLOPS）。

由此產生的架構使用移動倒置瓶頸卷積（MBConv），類似于MobileNetV2和MnasNet，但由于FLOP預算增加而略大。然后，通過擴展基線網絡以獲得一系列模型，被稱為EfficientNets。

不僅局限于ImageNet

EfficientNets在ImageNet上的良好表現(xiàn)，讓谷歌的科學家希望將其應用于更廣泛的網絡中，造福更多的人。

在8個廣泛使用的遷移學習數(shù)據集上測試之后，EfficientNet在其中的5個網絡實現(xiàn)了最先進的精度。例如，在參數(shù)減少21倍的情況下，實現(xiàn)了CIFAR-100（91.7％）和Flowers（98.8％）。

看到這樣的結果，谷歌科學家預計EfficientNet可能成為未來計算機視覺任務的新基礎，因此將EfficientNet開源。