ChatGPT近期成為了全球話題中心。短短兩個月，ChatGPT注冊用戶數(shù)已經(jīng)破億，成為史上用戶破億速度最快的軟件之一。它不但可以回答問題，還能寫詩，寫代碼，提供旅游攻略…而ChatGPT的核心結(jié)構(gòu)正是Transformer模型。

Transformer是一種能夠同時處理所有輸入數(shù)據(jù)的深度學(xué)習模型，最初是為翻譯和自動問答等自然語言處理應(yīng)用開發(fā)的。計算機視覺應(yīng)用領(lǐng)域過去主要采用卷積神經(jīng)網(wǎng)絡(luò)（CNN），現(xiàn)在Transformer模型則更為流行，但它不會取代CNN，而是與之配合來提高視覺處理應(yīng)用的準確度。

比如，當自動駕駛汽車在行駛過程中遇到障礙物，它是如何判斷馬路中間的是人，而不是電線桿呢？自動駕駛汽車的物體檢測和防撞系統(tǒng)必須正確識別前方路況并給車輛發(fā)出相應(yīng)的指令。在現(xiàn)代汽車的計算機視覺處理應(yīng)用中，深度學(xué)習模型就發(fā)揮著重要作用。

除了汽車會采用AI驅(qū)動的計算機視覺技術(shù)外，攝像頭如今已經(jīng)在很多系統(tǒng)中都普及開了，手機和安防系統(tǒng)等大量基于攝像頭的設(shè)備都已經(jīng)在使用神經(jīng)網(wǎng)絡(luò)來提高圖像質(zhì)量和準確性了。

為何Transformer是嵌入式計算機視覺的理想選擇呢？Transformer又將如何改變深度學(xué)習架構(gòu)的發(fā)展方向？哪些技術(shù)可以優(yōu)化這些模型來獲得更出色的結(jié)果？本文將帶著這些問題與大家共同探討。

更專注的注意力機制

更好的情景感知

10多年來，CNN一直是視覺處理的首選深度學(xué)習模型。隨著技術(shù)的不斷發(fā)展，CNN現(xiàn)已能夠準確地完成圖像分類、物體檢測、語義分割（對圖像中的每個像素進行分組或標記）和全景分割（識別物體位置以及對每個物體中的每個像素進行分組和標記）。

但Transformer除了需要將語言塊替換為圖像塊外，不需要任何其他修改就可以在準確性方面超越CNN。

2017年，Google Research將Transformer定義為一種基于自注意力機制的新型神經(jīng)網(wǎng)絡(luò)架構(gòu)，特別適合用于語言理解。到2020年，Google Research的科學(xué)家們發(fā)表了一篇關(guān)于Vision Transformer（ViT）的文章，ViT是一個基于原始Transformer架構(gòu)的模型。據(jù)該文章表示，當有足夠的數(shù)據(jù)進行訓(xùn)練時，ViT表現(xiàn)出了優(yōu)異的性能，超過了先進的CNN，而所需的計算資源卻只有CNN的四分之一。這些Transformer雖然需要龐大的數(shù)據(jù)集進行訓(xùn)練，但確實非常擅于處理圖像分類和物體檢測等視覺任務(wù)。

Transformer之所以能夠在視覺應(yīng)用中游刃有余，其專有的注意力機制是關(guān)鍵，該機制讓模型能夠?qū)μ囟ㄇ榫秤懈钊氲睦斫狻ransformer和CNN一樣都可以檢測到前方道路上的物體是行人，而不是電線桿或者一棵樹，但不同的是，Transformer并不會同等處理所有像素，它更多關(guān)注的是數(shù)據(jù)中微小但重要的部分，比如那個行人，而不太會去過多關(guān)注代表道路其余部分的那些不重要像素。

在處理每幀數(shù)據(jù)時，CNN通常并不會考慮該幀之前和之后的數(shù)據(jù)。而相比CNN，Transformer更擅于學(xué)習較為復(fù)雜的模式，因此所需的計算也就更多，所以在速度方面Transformer沒有CNN快，但它也在努力的奮起直追了。

GPU目前可以支持這二種模型，但如果在實際應(yīng)用中需要以更小的尺寸和更低的功耗來實現(xiàn)更高的性能，那么NPU或神經(jīng)處理單元等專用AI加速器將會是更好的選擇。

為了提高推理效率，視覺處理應(yīng)用可同時使用CNN和Transformer。要想實現(xiàn)全方位視覺感知，僅靠純視覺模型可能無法輕松獲得所需的信息，而多模態(tài)學(xué)習可以提供更詳盡的視覺信息。此外，Transformer等基于注意力機制的神經(jīng)網(wǎng)絡(luò)非常適合像汽車應(yīng)用這種集成了多個傳感器的應(yīng)用。

利用NPUIP優(yōu)化

Transformer和CNN的性能

Transformer包括以下幾種運算：

• 矩陣乘法

• 逐元素加法

• Softmax數(shù)學(xué)函數(shù)

• L2歸一化

• 激活函數(shù)

目前大多數(shù)AI加速器都針對CNN進行了優(yōu)化，但它們并非全都適合Transformer。Transformer需要龐大的計算能力來執(zhí)行大量計算并支持其注意力機制。

新思科技的ARC NPX6 NPU IP就是一款能夠同時處理CNN和Transformer的AI加速器。ARC NPX6 NPU IP的計算單元包括一個用于矩陣乘法（對這兩種深度學(xué)習模型都非常重要）的卷積加速器，以及一個用于處理Transformer運算和激活函數(shù)的張量加速器。該IP提供高達3,500 TOPS的性能和高達30 TOPS/瓦的出色能效。

設(shè)計團隊還可以使用新思科技的MetaWare MX開發(fā)工具包來加速其應(yīng)用軟件開發(fā)。該工具包提供了一個綜合的軟件編程環(huán)境，其中包括神經(jīng)網(wǎng)絡(luò)軟件開發(fā)工具包和對各種虛擬模型的支持。

ChatGPT安全嗎？

在ChatGPT爆火的背后，我們也要知道，ChatGPT或者其他AI軟件所產(chǎn)出的內(nèi)容或做出的決策并不是無懈可擊的。這些工具提供的結(jié)果往往會和現(xiàn)實有所偏差，而只有人類才能基于現(xiàn)實去對結(jié)果進行檢查和驗證。

而且是否會有人利用ChatGPT編寫惡意代碼來進行網(wǎng)絡(luò)攻擊呢？自從人類開始編寫代碼以來，開發(fā)人員一直都在無意或者有意地編寫出可被利用的代碼。幸運的是，有很多安全測試工具可以幫助開發(fā)者們進行安全防護。無論編碼者是誰，都應(yīng)該使用安全工具掃描源代碼發(fā)現(xiàn)漏洞。

總結(jié)

Transformer擁有強大的計算能力，且一直在自然語言處理應(yīng)用中被廣泛采用。現(xiàn)在，因Transformer模型基于其注意力機制的神經(jīng)網(wǎng)絡(luò)擁有更出色的情感感知能力，智能手機、安防系統(tǒng)、自動駕駛汽車等實時視覺處理應(yīng)用也開始采用此模型。以后，各種基于攝像頭的產(chǎn)品會越來越先進，提供的圖像質(zhì)量也越來越高。在深度學(xué)習中加入Transformer后，嵌入式視覺攝像頭系統(tǒng)勢必能夠提供更清晰的圖像和更準確的物體檢測。