（文章來源：雷鋒網(wǎng)）

關(guān)于標(biāo)準(zhǔn)的神經(jīng)網(wǎng)絡(luò)，普遍認(rèn)為包括用于圖像預(yù)測和變換的卷積神經(jīng)網(wǎng)絡(luò)、用于化學(xué)領(lǐng)域的圖神經(jīng)網(wǎng)絡(luò)、專長于序列數(shù)據(jù)的transformer。最基本的深度神經(jīng)網(wǎng)絡(luò)當(dāng)屬多層感知器，模型設(shè)置非常簡單，只有一堆非線性函數(shù)組成的全連接層。

雖然簡單，但是對付數(shù)據(jù)可能由一組截然不同的特征組成的問題很有用，例如表格數(shù)據(jù)。這個(gè)模型比邏輯回歸和線性回歸有更強(qiáng)的表達(dá)能力。但是在用的時(shí)候，需要對數(shù)據(jù)進(jìn)行預(yù)處理，選擇一些特征集進(jìn)行計(jì)算，并將其用作輸入。最近的一項(xiàng)研究是用在了藥物開發(fā)上面，研究機(jī)構(gòu)是中藥質(zhì)量研究國家重點(diǎn)實(shí)驗(yàn)室。

多層感知機(jī)只是簡單的深度網(wǎng)絡(luò)，在它的基礎(chǔ)上，卷積神經(jīng)網(wǎng)絡(luò)發(fā)展了起來，成為了最廣為人知的神經(jīng)網(wǎng)絡(luò)家族，其特有的卷積層允許許神經(jīng)網(wǎng)絡(luò)在圖像的不同空間位置重復(fù)使用參數(shù)。作為一種對圖像數(shù)據(jù)非常有用的歸納偏差，能夠幫助更加有效地學(xué)習(xí)一些好特征以應(yīng)用層面來分，卷積神經(jīng)網(wǎng)絡(luò)派生了圖像分類、目標(biāo)檢測、語義分割和實(shí)例分割、圖像超分辨率、圖像配準(zhǔn)、姿勢估計(jì)。

其中四個(gè)的分類的區(qū)別大致可以用上圖表示他們之間的區(qū)別可以大致用上圖表示，在分類的時(shí)候整個(gè)圖像只有一個(gè)氣球標(biāo)簽，而在目標(biāo)檢測中，每個(gè)氣球都用一個(gè)邊界框進(jìn)行定位。而在語義分割中，算法識(shí)別的是氣球?qū)?yīng)的所有像素，在實(shí)例分割中分別識(shí)別每個(gè)單獨(dú)的氣球。簡單來看，圖像分類是經(jīng)過一個(gè)函數(shù)，輸入一個(gè)圖形，輸出一個(gè)類別。在醫(yī)學(xué)上將胸部X圖片映射到二進(jìn)制疾病標(biāo)簽，就是圖像分類的應(yīng)用。

常見的用于圖像分類的神經(jīng)網(wǎng)絡(luò)有：VGG，這個(gè)模型在多個(gè)遷移學(xué)習(xí)任務(wù)中的表現(xiàn)要優(yōu)于googLeNet，缺點(diǎn)在于參數(shù)量有140M之多，需要更大的存儲(chǔ)空間；Resnet，能夠?qū)Ω短荻认Ш吞荻缺▎栴}；DenseNet，其特色在于能夠通過特征在channel上的連接來實(shí)現(xiàn)特征重用；還有最新的ResNeXt和EfficientNets，其能夠?qū)W(wǎng)絡(luò)深度、寬度和輸入圖像的空間分辨率有單獨(dú)的縮放系數(shù)。圖像分類算法已經(jīng)應(yīng)用于了許多不同的科學(xué)項(xiàng)目，例如分析低溫電子顯微鏡技術(shù)，但主要還是在醫(yī)學(xué)上應(yīng)用廣泛，因?yàn)閺难劭频椒派淇贫夹枰ㄟ^圖像預(yù)測疾病標(biāo)簽。

如果說圖像分類是對圖像做一個(gè)大致的總結(jié)，那么目標(biāo)檢測就深入到圖像的一些細(xì)節(jié)中了。例如給定一張戶外圖片，里面有樹、人、狗，目標(biāo)檢測算法的任務(wù)是分別同時(shí)識(shí)別出這三個(gè)物體，并用“圈圈”標(biāo)記他們。

有很多卷積框架在目標(biāo)檢測方向表現(xiàn)優(yōu)異，包括最早期的Faster R-CNN，后來在他基礎(chǔ)上改進(jìn)的 Mask R-CNN斬獲了 ICCV2017 年的最佳論文，在實(shí)例分割、目標(biāo)檢測、人體關(guān)鍵點(diǎn)檢測三個(gè)任務(wù)都取得了很好的效果。除此之外，很多改進(jìn)的模型例如，YOLOv3、EfficientDets?以及剛剛開源的?YOLOv4?也是做目標(biāo)檢測的很好選擇。

目標(biāo)檢測也是醫(yī)學(xué)方向大愛，在跨模式的腫瘤細(xì)胞識(shí)別，放射學(xué)中的骨折判斷都已經(jīng)有相關(guān)研究發(fā)布。如果更加深入到圖像的底層細(xì)節(jié)，對圖像的像素進(jìn)行分類，那么這就涉及到語義分割技術(shù)了。如果有一張街道圖片，里面有道路、車輛、行人等，語義分割算法的目的是確定圖片中像素的歸屬，即是屬于車輛，還是屬于道路，亦或者屬于行人。而實(shí)例分割則更加復(fù)雜，它要弄明白的是這個(gè)像素是屬于行人一，還是行人二，還是行人三。

綜上，分割模型需要對每個(gè)像素進(jìn)行分類，所以它們輸出的不是單個(gè)類別的標(biāo)簽和邊界框，而是完整的圖像。設(shè)計(jì)分割模型時(shí)要求算法能夠保存圖片的空間信息。當(dāng)前比較常用的架構(gòu)是U-net，主要由卷積層、最大池化層（下采樣）、反卷積層（上采樣）以及ReLU非線性激活函數(shù)組成。

FCN，此架構(gòu)不含全連接層的全卷積網(wǎng)絡(luò)，可適應(yīng)任意尺寸輸入；增大數(shù)據(jù)尺寸的反卷積層，能夠輸出精細(xì)的結(jié)果；結(jié)合不同深度層結(jié)果的skip結(jié)構(gòu)，同時(shí)確保魯棒性和精確性。此外，還有Segnet模型，它在FCN的語義分割任務(wù)基礎(chǔ)上，搭建編碼器-解碼器對稱結(jié)構(gòu)，實(shí)現(xiàn)端到端的像素級(jí)別圖像分割。

最后，做實(shí)例分割，首選 Mask R-CNN和最近的Detectron2框架。值得一提的是Detectron2?與其他框架不同，其還包含了全景分割這一任務(wù)。分割任務(wù)在醫(yī)學(xué)界應(yīng)用也非常廣泛，分割大腦MR圖像，識(shí)別不同組織中細(xì)胞的關(guān)鍵區(qū)域，甚至研究骨骼結(jié)構(gòu)等方向已經(jīng)發(fā)表了許多論文。

除了上述四個(gè)，圖像超分辨率也是卷積神經(jīng)網(wǎng)絡(luò)的一個(gè)分支應(yīng)用。對于低分辨率圖像，傳統(tǒng)的解決方案是想法辦在圖片上思佳一些約束條件，如稀疏度等。卷積神經(jīng)網(wǎng)絡(luò)家族中的SRCNN找到了稀疏編碼和卷積神經(jīng)網(wǎng)絡(luò)之間的對應(yīng)關(guān)系。RDN網(wǎng)絡(luò)已經(jīng)成為實(shí)現(xiàn)超分辨率的流行方法。此外，預(yù)測濾波流（Predictive Filter Flow）在圖像去噪和去模糊化方向也非常棒。

圖像配準(zhǔn)是數(shù)字圖像處理的一種重要應(yīng)用，用于對齊兩幅或多幅相同場景的圖片。圖像配準(zhǔn)需要輸入圖像與參考圖像。輸入圖像是我們希望變換的圖像，參考圖像是想要配準(zhǔn)輸入圖像的圖像。這種需要讓兩幅圖像對齊的技術(shù)核心是卷積神經(jīng)網(wǎng)絡(luò)，通常需要的是編碼器-解碼器結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)，例如U-net。

姿勢估計(jì)也能看做卷積神經(jīng)網(wǎng)絡(luò)的應(yīng)用，重點(diǎn)在于圖片中人物的關(guān)鍵節(jié)點(diǎn)，例如膝蓋、手肘、頭部等。2D的姿勢估計(jì)是計(jì)算機(jī)的核心問題，此類的數(shù)據(jù)集和卷積架構(gòu)也比較多，早期的堆疊沙漏網(wǎng)絡(luò)結(jié)構(gòu)衍生的各種變種算法，牢牢占據(jù)了姿態(tài)檢測的半壁江山。

最近的網(wǎng)絡(luò) HRNet，能夠通過并行連接高分辨率到低分辨率卷積來保持高分辨率表示，并通過重復(fù)跨并行卷積執(zhí)行多尺度融合來增強(qiáng)高分辨率表示。另外，卡內(nèi)基梅隴大學(xué)也提供了端到端的多人姿勢檢測系統(tǒng)，用自監(jiān)督學(xué)習(xí)實(shí)現(xiàn)了人類3D動(dòng)作追蹤。值得一提的是，姿勢估計(jì)已經(jīng)在助力動(dòng)物行為研究的相關(guān)項(xiàng)目了。
? ? ?（責(zé)任編輯：fqj）