智能手機(jī)推動(dòng)了AI的普及，AI美顏、AI夜景、AI語(yǔ)音助手等功能也讓眾多消費(fèi)者感受到了AI的樂(lè)趣，雷鋒網(wǎng)此前的文章《拯救拍照手殘黨，告別選擇困難！手機(jī)AI還有這么多新奇玩法》曾介紹過(guò)。

動(dòng)圖主要展示效果，畫質(zhì)有壓縮

隨著手機(jī)AI引擎的快速提升，旗艦移動(dòng)平臺(tái)的AI體驗(yàn)也達(dá)到了新的高度。

以旗艦移動(dòng)平臺(tái)高通驍龍8系列為例，去年推出的驍龍865的AI性能已經(jīng)達(dá)到了每秒15萬(wàn)億次運(yùn)算（15 TOPS），是驍龍855的2倍，相比驍龍845提升達(dá)5倍。本月最新推出的驍龍888，AI性能高達(dá)26 TOPS，同時(shí)每瓦特性能相比驍龍865提升了3倍。

手機(jī)需要高達(dá)26 TOPS的AI性能嗎？這么高的AI算力能玩出什么新花樣？

高通技術(shù)公司產(chǎn)品管理副總裁Ziad Asghar的答案是：“AI性能大幅提升的主要來(lái)自客戶的需求，他們期待看到AI在新領(lǐng)域?qū)崿F(xiàn)應(yīng)用，比如視頻、游戲、安全等。”

26 TOPS頂級(jí)AI性能讓4K視頻也能再創(chuàng)作

更高的AI性能自然要讓拍照體驗(yàn)再上一個(gè)臺(tái)階，特別是驍龍888已經(jīng)將雙ISP升級(jí)為三ISP，Qualcomm Spectra 580 ISP就讓智能手機(jī)的圖像質(zhì)量達(dá)到全新水平。

比如，在低環(huán)境光下，Spectra 580的速度結(jié)合驍龍888集成的第六代高通AI引擎，僅0.1Lux的照度，也拍攝出細(xì)節(jié)驚人的照片。以往，在近乎黑暗的場(chǎng)景下，即便找到可用的光源，保持手機(jī)穩(wěn)定，拍攝的效果也未必理想，有了驍龍888的三ISP加上高性能AI，就能拍出清晰明亮的照片。

相比極端環(huán)境下的拍照，根據(jù)場(chǎng)景自動(dòng)對(duì)焦、自動(dòng)曝光和自動(dòng)白平衡的3A算法日常使用的頻率更高。同樣是最新推出的高通第十代3A算法，首次融合了AI，能基于特征分析更快、更準(zhǔn)的自動(dòng)對(duì)焦和自動(dòng)曝光。

更方便的是，虹軟基于Spectra 580和第六代高通AI引擎推出的“傻瓜相機(jī)”，可以自動(dòng)跟蹤人物，自動(dòng)縮放帶來(lái)真正的“傻瓜相機(jī)”體驗(yàn)。

虹軟“傻瓜相機(jī)”

能夠讓手機(jī)拍照如此智能的第六代高通AI引擎，非常關(guān)鍵的組成部分是Hexagon 780處理器。Hexagon 780延續(xù)了高通AI引擎標(biāo)量、張量和向量加速器的異構(gòu)架構(gòu)，同時(shí)又進(jìn)行了升級(jí)，讓加速器之間的物理距離幾乎消失。

不僅如此，高通還讓三個(gè)加速器擁有了一個(gè)很大的共享內(nèi)存，讓數(shù)據(jù)可以更快、更高效的共享和移動(dòng)。由此帶來(lái)的是，在某些用例中，數(shù)據(jù)交互時(shí)效最多提高上千倍。

加速器間更小的物理距離和很大的共享內(nèi)存，無(wú)論對(duì)AI性能提升還是降低功耗都非常有利。這是因?yàn)椋贏I計(jì)算中，數(shù)據(jù)搬運(yùn)的耗能遠(yuǎn)大于計(jì)算。而電池供電的手機(jī)對(duì)于用最少能耗實(shí)現(xiàn)最高性能有更迫切的需求。

Hexagon 780的標(biāo)量加速器性能相比前代提升50%，張量加速器速度是前代的2倍。作為第六代AI引擎的一部分，最新的Adreno 660 GPU AI性能也提升了43%。另外，通過(guò)新的指令集，如4輸入混合精度點(diǎn)積，以及波浪矩陣乘法，能夠加快浮點(diǎn)運(yùn)算。

最終，第六代高通AI引擎的性能大幅提升至26 TOPS，并且，每瓦特性能比前代提升3倍。這意味著，第六代高通AI引擎兼顧了高性能和低耗能。

26 TOPS的第六代高通AI引擎，在提升AI拍照體驗(yàn)之余，已經(jīng)能夠再創(chuàng)作4K視頻。無(wú)論是從原始視頻中刪除一個(gè)任務(wù)、重建一個(gè)背景，還是將新的人物插入到視頻場(chǎng)景中，一切看起來(lái)都很自然。

高通與Tetras.AI公司的合作，實(shí)現(xiàn)了以30fps的速度在每一幀畫面中實(shí)時(shí)去除背景，分辨率最高可以達(dá)到4K。

借助Super Movie應(yīng)用，無(wú)論是想和擊劍冠軍對(duì)抗，還是T臺(tái)走秀都變得輕而易舉，還能先預(yù)覽再開(kāi)始表演和錄制。

傳感器中樞讓手機(jī)更智能

26 TOPS的AI性能能讓4K視頻的再創(chuàng)作也變得輕松，也能讓游戲也變得更加流暢。但并非所有的AI功能都需要超強(qiáng)的AI性能，那些隨時(shí)待命的AI功能，像語(yǔ)音助理，對(duì)性能的要求不高，但對(duì)功耗要求苛刻。

去年，驍龍865首次集成了傳感器中樞，今年驍龍888的傳感器中樞升級(jí)到第二代。高通第二代傳感器中樞中集成的專用低功耗AI處理器性能提升達(dá)到5倍，但功耗不到1毫安。傳感器中樞額外的AI性能可以分擔(dān)Hexagon 780處理器80%的工作負(fù)載，滿足各種AI性能需求應(yīng)用的同時(shí)，兼顧低功耗。

一個(gè)很好的例子是，利用高通第二代傳感器中樞，能夠減少Hexagon處理器上“Ok，Google”偵測(cè)算法38%的負(fù)載。

高通第二代傳感器中樞還是讓手機(jī)更加智能的關(guān)鍵所在，因?yàn)樾乱淮膫鞲衅髦袠锌梢詮氖謾C(jī)所有部分，包括麥克風(fēng)等傳感器以及連接功能實(shí)時(shí)收集數(shù)據(jù)，并創(chuàng)建情境感知的應(yīng)用。

有兩個(gè)例子，高通與Audio Analytic的合作讓手機(jī)可以識(shí)別周圍的聲學(xué)場(chǎng)景，根據(jù)所處的環(huán)境調(diào)節(jié)鈴聲音量，這樣從嘈雜的咖啡廳切換到安靜的會(huì)議室就不會(huì)再出現(xiàn)尷尬的情況。

另一個(gè)例子是高通與Mobilize Solutions合作，讓手機(jī)可以根據(jù)所處的位置，推薦適合特殊場(chǎng)景的社交媒體濾鏡。

傳感器中樞還有更多潛能，在沒(méi)有信號(hào)的停車場(chǎng)通過(guò)手機(jī)追蹤停車的位置，或者通過(guò)手機(jī)上的紅外傳感器檢測(cè)皮膚狀態(tài)獲得合適的護(hù)膚品推薦都是很好的探索。高通第二代傳感器中樞還可以結(jié)合5G、Wi-Fi、藍(lán)牙等新增的數(shù)據(jù)源，創(chuàng)造更多智能應(yīng)用。

這就需要更加靈活和易用的軟件。

手機(jī)AI創(chuàng)新的大時(shí)代到來(lái)

高通是首個(gè)將終端側(cè)AI SDK推向市場(chǎng)的公司，高通的神經(jīng)網(wǎng)絡(luò)處理SDK已經(jīng)在全球超過(guò)5億臺(tái)安卓終端上為AI功能提供支持。第六代高通神經(jīng)網(wǎng)絡(luò)處理SDK不僅支持更多模型，對(duì)搭載驍龍平臺(tái)的筆記本的AI用例也實(shí)現(xiàn)了支持。

當(dāng)然，為了讓開(kāi)發(fā)者能夠輕松訪問(wèn)高通的AI引擎，高通與谷歌就最新的TensorFlow Micro框架合作，針對(duì)Hexagon處理器和高通傳感器中樞進(jìn)行優(yōu)化，通過(guò)軟件充分發(fā)揮第六代AI引擎的硬件優(yōu)勢(shì)。

不止于此，此前與驍龍865同時(shí)發(fā)布的Hexagon NN Direct可以讓開(kāi)發(fā)者從應(yīng)用程序直接訪問(wèn)Hexagon，這種讓AI應(yīng)用充分利用硬件加速的做法受到廣泛認(rèn)可。

驍龍888時(shí)代，這個(gè)解決方案也升級(jí)為AI引擎Direct，為整個(gè)移動(dòng)平臺(tái)帶來(lái)統(tǒng)一的Direct應(yīng)用程序接口的能力。也就是說(shuō)，高通AI引擎Direct軟件為開(kāi)發(fā)者提供的直接訪問(wèn)硬件的途徑，不僅針對(duì)Hexagon 780處理器，還包括高通Adreno GPU和Kryo CPU。

降低AI開(kāi)發(fā)難度的同時(shí)，高通也在不斷滿足AI應(yīng)用的定制化需求。去年，“用戶定義算子”是第五代高通AI引擎的一部分，開(kāi)發(fā)人員能夠在OpenCL中或使用Hexagon軟件開(kāi)發(fā)包編寫自定義算子，然后將其插入到高通神經(jīng)網(wǎng)絡(luò)處理SDK中。

但這對(duì)有經(jīng)驗(yàn)的開(kāi)發(fā)者也是一個(gè)復(fù)雜冗余的過(guò)程，為了更容易實(shí)現(xiàn)定制化，如今Hexagon處理器已經(jīng)支持開(kāi)源編譯器TVM，可以用幾行簡(jiǎn)短的Python代碼編寫自定義算子，為Hexagon編譯，直接插入AI引擎Direct框架。

軟件優(yōu)化除了易用性和自定義，針對(duì)AI模型的優(yōu)化也能帶來(lái)顯著提升。高通在去年公布了AI模型增效的成果，Snapchat使用這個(gè)AI模型增效工具包，量化一系列AI鏡頭模型，提高了人臉識(shí)別的準(zhǔn)確性和性能。

今年，高通增加了更多支持以實(shí)現(xiàn)更好的網(wǎng)絡(luò)量化，還增加了循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）和長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)（LSTM）的支持，這有助于在保持準(zhǔn)確性的同時(shí)最大限度提高功耗與性能的平衡。

高性能的硬件和靈活易用的軟件都已經(jīng)準(zhǔn)備好，接下來(lái)AI創(chuàng)新的核心無(wú)疑是開(kāi)發(fā)者。在AI生態(tài)的建設(shè)上，高通的態(tài)度也是開(kāi)放，包括計(jì)劃與開(kāi)源社區(qū)在TVM編譯器方面，以及在GitHub上開(kāi)源AI模型增效工具包。

今年，高通也在中國(guó)舉辦了首屆AI創(chuàng)新挑戰(zhàn)賽。

原文標(biāo)題：驍龍888每秒26萬(wàn)億次運(yùn)算的第六代AI引擎，玩出了什么新花樣？

文章出處：【微信公眾號(hào)：芯片晶圓切割保護(hù)膜】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。

責(zé)任編輯：haq