ChatGPT近期成為了全球話題中心。短短兩個月，ChatGPT注冊用戶數(shù)已經(jīng)破億，成為史上用戶破億速度最快的軟件之一。它不但可以回答問題，還能寫詩，寫代碼，提供旅游攻略…而ChatGPT的核心結(jié)構(gòu)正是Transformer模型。

Transformer是一種能夠同時處理所有輸入數(shù)據(jù)的深度學(xué)習(xí)模型，最初是為翻譯和自動問答等自然語言處理應(yīng)用開發(fā)的。計算機視覺應(yīng)用領(lǐng)域過去主要采用卷積神經(jīng)網(wǎng)絡(luò)（CNN），現(xiàn)在Transformer模型則更為流行，但它不會取代CNN，而是與之配合來提高視覺處理應(yīng)用的準(zhǔn)確度。

為何Transformer是嵌入式計算機視覺的理想選擇呢？Transformer又將如何改變深度學(xué)習(xí)架構(gòu)的發(fā)展方向？哪些技術(shù)可以優(yōu)化這些模型來獲得更出色的結(jié)果？本文將帶著這些問題與大家共同探討。

更專注的注意力機制

更好的情景感知

10多年來，CNN一直是視覺處理的首選深度學(xué)習(xí)模型。隨著技術(shù)的不斷發(fā)展，CNN現(xiàn)已能夠準(zhǔn)確地完成圖像分類、物體檢測、語義分割（對圖像中的每個像素進(jìn)行分組或標(biāo)記）和全景分割（識別物體位置以及對每個物體中的每個像素進(jìn)行分組和標(biāo)記）。

但Transformer除了需要將語言塊替換為圖像塊外，不需要任何其他修改就可以在準(zhǔn)確性方面超越CNN。

2017年，Google Research將Transformer定義為一種基于自注意力機制的新型神經(jīng)網(wǎng)絡(luò)架構(gòu)，特別適合用于語言理解。到2020年，Google Research的科學(xué)家們發(fā)表了一篇關(guān)于Vision Transformer（ViT）的文章，ViT是一個基于原始Transformer架構(gòu)的模型。據(jù)該文章表示，當(dāng)有足夠的數(shù)據(jù)進(jìn)行訓(xùn)練時，ViT表現(xiàn)出了優(yōu)異的性能，超過了先進(jìn)的CNN，而所需的計算資源卻只有CNN的四分之一。這些Transformer雖然需要龐大的數(shù)據(jù)集進(jìn)行訓(xùn)練，但確實非常擅于處理圖像分類和物體檢測等視覺任務(wù)。

Transformer之所以能夠在視覺應(yīng)用中游刃有余，其專有的注意力機制是關(guān)鍵，該機制讓模型能夠?qū)μ囟ㄇ榫秤懈钊氲睦斫?。Transformer和CNN一樣都可以檢測到前方道路上的物體是行人，而不是電線桿或者一棵樹，但不同的是，Transformer并不會同等處理所有像素，它更多關(guān)注的是數(shù)據(jù)中微小但重要的部分，比如那個行人，而不太會去過多關(guān)注代表道路其余部分的那些不重要像素。

在處理每幀數(shù)據(jù)時，CNN通常并不會考慮該幀之前和之后的數(shù)據(jù)。而相比CNN，Transformer更擅于學(xué)習(xí)較為復(fù)雜的模式，因此所需的計算也就更多，所以在速度方面Transformer沒有CNN快，但它也在努力的奮起直追了。

GPU目前可以支持這二種模型，但如果在實際應(yīng)用中需要以更小的尺寸和更低的功耗來實現(xiàn)更高的性能，那么NPU或神經(jīng)處理單元等專用AI加速器將會是更好的選擇。

為了提高推理效率，視覺處理應(yīng)用可同時使用CNN和Transformer。要想實現(xiàn)全方位視覺感知，僅靠純視覺模型可能無法輕松獲得所需的信息，而多模態(tài)學(xué)習(xí)可以提供更詳盡的視覺信息。此外，Transformer等基于注意力機制的神經(jīng)網(wǎng)絡(luò)非常適合像汽車應(yīng)用這種集成了多個傳感器的應(yīng)用。

利用NPUIP優(yōu)化

Transformer和CNN的性能

Transformer包括以下幾種運算：

• 矩陣乘法

• 逐元素加法

• Softmax數(shù)學(xué)函數(shù)

• L2歸一化

• 激活函數(shù)

目前大多數(shù)AI加速器都針對CNN進(jìn)行了優(yōu)化，但它們并非全都適合Transformer。Transformer需要龐大的計算能力來執(zhí)行大量計算并支持其注意力機制。

ChatGPT安全嗎？

在ChatGPT爆火的背后，我們也要知道，ChatGPT或者其他AI軟件所產(chǎn)出的內(nèi)容或做出的決策并不是無懈可擊的。這些工具提供的結(jié)果往往會和現(xiàn)實有所偏差，而只有人類才能基于現(xiàn)實去對結(jié)果進(jìn)行檢查和驗證。

而且是否會有人利用ChatGPT編寫惡意代碼來進(jìn)行網(wǎng)絡(luò)攻擊呢？自從人類開始編寫代碼以來，開發(fā)人員一直都在無意或者有意地編寫出可被利用的代碼。幸運的是，有很多安全測試工具可以幫助開發(fā)者們進(jìn)行安全防護(hù)。無論編碼者是誰，都應(yīng)該使用安全工具掃描源代碼發(fā)現(xiàn)漏洞。

總結(jié)