概述

VS680是一款高性能的片上多媒體系統(tǒng)（SoC），用于新一代智能顯示器消費(fèi)類物聯(lián)網(wǎng)設(shè)備，結(jié)合了增強(qiáng)人工智能功能的智能揚(yáng)聲器/本地觸摸顯示器。這款SoC的目標(biāo)是將傳感、視頻和音頻領(lǐng)域的邊緣應(yīng)用結(jié)合到單個(gè)消費(fèi)設(shè)備中。為了實(shí)現(xiàn)邊緣計(jì)算AI應(yīng)用，它集成了一個(gè)高性能神經(jīng)網(wǎng)絡(luò)處理單元（NPU），支持每秒數(shù)萬億次 操作。 該款SoC附帶了NPU工具包，使客戶能夠?yàn)橐曨l、視覺和音頻AI構(gòu)建優(yōu)化的ML/AI應(yīng)用程序。集成的MIPI-CSI2和ISP為基于邊緣的視覺推理提供相機(jī)輸入，最大限度地減少對(duì)外部組件的需求。遠(yuǎn)場語音和關(guān)鍵詞檢測(cè)算法提供基于邊緣的語音處理。VS680集成了高性能四CPU子系統(tǒng)以及最新一代GPU 、超高清視頻編解碼器處理器、顯示管道和安全處理器，以實(shí)現(xiàn)具有內(nèi)容保護(hù)功能的強(qiáng)大視頻/音頻應(yīng)用程序核心。這種高性能設(shè)備經(jīng)過優(yōu)化，可將功耗和散熱降至最低，使制造商能夠保持較小的外形尺寸。

優(yōu)勢(shì)

安全, 一流的人工智能性能

使人工智能的快速開發(fā)、移植和優(yōu)化成為可能。

內(nèi)部集成的ISP適用于支持?jǐn)z像頭的高級(jí)用例

應(yīng)用

智慧顯示器

回音壁

多攝像頭平臺(tái)

機(jī)頂盒及直播設(shè)備

特性

CPU

四核 Arm? Cortex? A73處理器，帶安全擴(kuò)展。

每個(gè)CPU最高可達(dá) 2.1 GHz，提供高達(dá) 40000 DMIPS

支持功率門控單個(gè)核心以及動(dòng)態(tài)電壓和頻率調(diào)節(jié)

每個(gè)處理器都有 64KB指令緩存和 32KB數(shù)據(jù)緩存。

每個(gè)處理器都有專用的 Arm NEON?技術(shù)/VFPU

32個(gè)128位 SIMD寄存器，加密指令。

1 MB共享二級(jí)緩存。

Arm CoreSight? 技術(shù)兼容的調(diào)試接口，帶4KB跟蹤緩沖區(qū)。

TrustZone? 技術(shù)。

支持標(biāo)準(zhǔn)工具鏈（ARM、GNU）。

存儲(chǔ)器接口

DRAM 控制器

64位 LPDDR4/LPDDR4x-3733

支持可選的32位DDR配置。

支持最高4 GB的內(nèi)存空間。

支持事務(wù)亂序發(fā)布，以最大限度地提高DRAM利用率。

安全控制。

eMMC 5.1 控制器

x1, x4 or x8位 接口

神經(jīng)處理單元(NPU)

專門為本地化神經(jīng)網(wǎng)絡(luò)/機(jī)器學(xué)習(xí)應(yīng)用程序設(shè)計(jì)的硬件。

最高 6.75 TOPs (INT 8)

最高 1.69 TOPs (INT 16)

支持多個(gè)DNN框架，并通過NPU工具包優(yōu)化 TensorFlow? Lite推理。

多標(biāo)準(zhǔn)視頻解碼

視頻解碼

AV1 Main Profile (8位或10位, YUV 4:2:0) 2160p60

H.265 main 8位和10位 (ITU-R BT.2020)

VP9 Profiles 0和2 (8位或10位, YUV 4:2:2)

H.264 Baseline, Main 和 High Profiles; MVC (多視圖視頻編碼)

MPEG-2 Simple 和 Main Profiles

VP8

靈活支持PIP（2160p60/2160p60）和多視圖（1 x 2160p60和3 x 1080p60）。

支持單流2160p H.265/VP9解碼，最高90-100幀/秒。

支持高達(dá)1080p120的單流解碼。

靜止圖像 - H.264、MPEG2 I 圖像解碼。

多標(biāo)準(zhǔn)視頻編碼/轉(zhuǎn)碼

最多支持兩個(gè)流編碼：

1080p60: H.264 or VP8 (每條流)

支持同時(shí)進(jìn)行2160p60解碼和1080p60轉(zhuǎn)碼。

音頻解碼/處理

遠(yuǎn)場語音（FFV）和關(guān)鍵詞檢測(cè)。

支持麥克風(fēng)輸入處理。

支持各種格式的音頻解壓縮。

音頻后處理。

二維和三維圖形

基于GPU的圖形引擎（Imagination? PowerVR? 系列 9XE GE9920）：

HDR-enabled。

包括幾何體著色器和鑲嵌著色器。

支持 OpenGL? ES? 1.1/2.0/3.0/3.1/3.2/ DirectFB/OpenCL? 1.2 / Vulkan? 1.1。

支持Android擴(kuò)展包。

分辨率高達(dá)3840x2160。

支持3D。

5.6 G像素/秒。

200 M多邊形/秒。

89.6個(gè)16位GFLOPS，44.8個(gè)32位GFLOPS。

QDEO? 視頻/圖形顯示管道

兩條獨(dú)立的顯示器輸出路徑：

顯示路徑 #1：

MP/GFX0（或PIP）/GFX1疊加后的輸出。

通過HDMI Tx（高達(dá)2160p60）/DSI（高達(dá)21.60p30）輸出。

支持伽瑪校正和低延遲模式（適用于源/匯設(shè)備）。

顯示路徑 #2：

GFX0（或PIP）/GFPX/GFX2選擇的輸出。

僅通過DSI輸出1080p60。

支持伽瑪校正。

MP：

Dolby Vision? (僅限源) / HDR10+ (僅限源) / HDR10 / HLG。

SDR和HDR之間的任何轉(zhuǎn)換（HDR10、HLG）。

縮放。

細(xì)節(jié)和邊緣增強(qiáng)。

膚色檢測(cè)。

亮度過渡增強(qiáng)。

色度過渡增強(qiáng)。

自適應(yīng)對(duì)比度增強(qiáng)。

智能色彩重映射器（色度增強(qiáng)）。

90/180/270 旋轉(zhuǎn)。

水平和垂直翻轉(zhuǎn)。

壓縮失真抑制。

局部調(diào)光。

伽瑪校正。

GFX0(或 PIP)/GFX1: 支持 Dolby Vision?

僅按比例放大。

SDR和HDR之間的任何轉(zhuǎn)換（HDR10、HLG）。

GFX2：

僅按比例放大。

離線視頻管道（OVP）：

離線影像解交錯(cuò)器

離線縮放器（縮小和放大）

安全

250MHz Secure CPU (Arm Cortex?-M3)。

使用eMMC和 SPI NOR Flash的RSA數(shù)字簽名驗(yàn)證進(jìn)行安全引導(dǎo)。

片上32Kbit OTP。

真隨機(jī)數(shù)生成器。

DRM 引擎 支持：

AES, DES, 3DES, RSA, ECC。

支持以下內(nèi)容保護(hù)方案：

Widevine? (Google)

PlayReady? (Microsoft)

通過身份驗(yàn)證禁用/啟用JTAG。

內(nèi)存和I/O空間訪問控制。

支持DRAM加擾。

音視頻輸出

MIPI DSISM v1.2 輸出：

1 x 4-lane。

支持最高 2160p30。

1個(gè) HDMI v2.1 輸出：

支持遵循 HDMI 2.1的HDR方案, 包括 HDR10+。

支持最高 2160p60 YUV 4:4:4。

支持高達(dá) 1080p60的12b深彩色。

支持 HDCP 2.2。

支持 HBR 輸出。

支持 CEC。

支持 ARC Rx 和 eARC Rx。

支持 Variable Refresh Rate (VRR)。

支持 Auto Lip Sync Correction。

支持 Quick Media Switching (QMS)。

支持 Quick Frame Transport (QFT)。

支持 Auto Low-Latency Mode (ALLM)。

8通道 I2S 輸出。

2通道 I2S/PCM 輸出 或 8通道 TDM 輸出。

S/PDIF 輸出。

音視頻輸入

MIPI CSI2SM v1.2 輸入：

1 x 2-lane, 1 x 4-lane。

最多支持 2160p60（單攝像頭）或 2 x 2160p30（雙攝像頭）。

支持 8MP + 4MP 雙傳感器。

內(nèi)部集成ISP：

最多支持雙攝像頭。

輸入像素格式：RAW（RGGB），每像素10/12位。

輸出像素格式：YUV420/422/444，8/10位；RGB444，8/10位；RAW，10/12位。

1個(gè) HDMI v2.1 輸入：

支持 HDR10 和 HLG。

支持最高 2160p60 YUV 4:4:4。

支持高達(dá) 1080p60 的12b深彩色。

支持HDCP 2.2。

支持 HBR 音頻輸入。

支持 CEC。

支持動(dòng)態(tài) HDR Metadata 功能 / HDR10+。

支持可變刷新率（VRR）。

支持 Auto Lip Sync Correction。

支持 Quick Media Switching (QMS)。

支持 Quick Frame Transport (QFT)。

支持 Auto Low-Latency Mode (ALLM)。

8通道 I2S。

2通道 I2S/PCM 輸入或 8通道 TDM 輸入。

4 個(gè) 2通道 PDM (麥克風(fēng)) 輸入。

S/PDIF 輸入。

待機(jī)模式系統(tǒng)管理器

25MHz Arm? Cortex?-M3 (ARMv7-M 兼容)。

128KB TCM 用于指令/數(shù)據(jù)，4KB安全RAM。

帶有前面板控制I/O、ADC、SPI、UART、溫度傳感器和喚醒事件邏輯的獨(dú)立供電區(qū)。

多個(gè)GPIO處于待機(jī)模式。

Always-on 電源域 支持系統(tǒng)喚醒功能：

Wake-on-Voice

Wake-on-LAN

Wake-on-CEC

IR remote

Front-panel key presses through ADC or GPIO

Wake-on-Wi-Fi through GPIO

Wake-on-Bluetooth? through GPIO

ZigBee through GPIO

Timer

外設(shè)

1個(gè) dual-lane PCI Express? 2.0 root complex。

1個(gè)千兆以太網(wǎng)MAC：

RGMII接口，用于連接到外部千兆以太網(wǎng)PHY或G.hn。

1個(gè) USB 3.0 host 接口。

1個(gè) USB 2.0 On-The-Go (OTG) 接口。

1個(gè)SDIO 3.01 host接口，高達(dá)200 MHz。

4條 TWSI 2-wire 總線 (I2C兼容)。

2個(gè)高速 UART 接口。

2個(gè)低速 UART 接口（在Always-on電源域中）。

2個(gè) SPI 接口（其中1個(gè)帶有 DMA）。

32位管腳復(fù)用的備用域 GPIO。

96位管腳復(fù)用的標(biāo)準(zhǔn)模式 GPIO。

4個(gè) PWM。

單通道100KHz前面板ADC。

IR接收器輸入。

2個(gè)片上溫度傳感器。

電源、封裝和布局

滿載功耗：待定。

封裝: 17mm x 17mm FCBGA, 球距 0.4mm：

Ball pattern支持標(biāo)準(zhǔn)的 PCB fab 規(guī)則(無需HDI規(guī)則)。

VS680 高級(jí)框圖

圖 1. VS680 高級(jí)框圖


審核編輯 黃宇