雖然物聯(lián)網(wǎng)（IoT）從定義上講是一個意味著連接性的概念，但在消費者物聯(lián)網(wǎng)中，對設(shè)備中更多本地或基于邊緣的處理的需求不斷增加，以補充基于云的功能。當(dāng)然，訪問云服務(wù)器對于實時信息（如新聞，股票報價和其他動態(tài)數(shù)據(jù)）是必要的。但出于成本、性能、隱私和安全原因，更多地轉(zhuǎn)向邊緣已成為越來越重要的優(yōu)先事項。

對于消費者來說，人們想要輕松訪問的大部分內(nèi)容（例如個人日歷，備忘錄甚至電子郵件）都可以在本地緩存，從而為我們訪問有用信息的方式提供更高的速度和安全性。此外，天氣等本地化信息可以在本地緩存，有助于提供更快的響應(yīng)，而不必擔(dān)心互聯(lián)網(wǎng)延遲。另一個動機是帶寬：當(dāng)我們安裝新的視頻門鈴時，我們真的想更新我們的數(shù)據(jù)計劃，以支持持續(xù)的直播到云嗎？最后，也許對用戶采用來說最重要的是人類體驗：智能設(shè)備需要以更自然的方式表現(xiàn)和反應(yīng) - 包括能夠理解意圖，而不僅僅是命令，識別個人偏好，以及近乎實時地做出響應(yīng)。由于神經(jīng)網(wǎng)絡(luò)和人工智能的發(fā)展，這些功能現(xiàn)在可以在邊緣實現(xiàn)。這從集中式智能架構(gòu)（云中的AI）中迎來了分布式智能（邊緣和云中的AI）的時代，這在過去幾年中一直是物聯(lián)網(wǎng)設(shè)備的基石。

從供應(yīng)商的角度來看，除了執(zhí)行這些類型的功能所需的原始處理能力之外，智能設(shè)備還顯著增加了云操作所需的成本和帶寬。谷歌就是一個很好的例子。在分析谷歌搜索中語音識別對Android手機的影響時，谷歌工程師得出結(jié)論，如果谷歌語音搜索的每個用戶每天只使用三分鐘，該公司將需要兩倍的數(shù)據(jù)中心。尋找更高效的云處理解決方案，如神經(jīng)網(wǎng)絡(luò)加速器和機器學(xué)習(xí)，有助于在數(shù)據(jù)中心解決這個問題，但從長遠來看，通過將負擔(dān)轉(zhuǎn)移到邊緣（和最終用戶）來減少對云的依賴已成為消費者物聯(lián)網(wǎng)生態(tài)系統(tǒng)的優(yōu)先戰(zhàn)略。

人機界面移至邊緣

人機界面（HMI）是在這個連接設(shè)備的新時代增強用戶體驗的關(guān)鍵因素。能夠理解和預(yù)測性地響應(yīng)我們做什么、說什么或觸摸的東西而又不持續(xù)依賴云的機器，有望徹底改變物聯(lián)網(wǎng)如何在我們的生活中提供前所未有的隱私、便利和生產(chǎn)力。例如，具有更靈敏和更復(fù)雜的語音或視覺界面的智能設(shè)備可以更好地控制照明或溫度或物理訪問，并允許更多的上下文感知，例如用戶個性化，家長控制，運動檢測和安全監(jiān)控。

由于 Synaptics 等公司基于邊緣的技術(shù)的進步，其中許多功能的處理負擔(dān)可以在本地設(shè)備上安全地處理。這在用戶體驗和成本以及數(shù)據(jù)安全性方面都有直接的好處。從開發(fā)人員的角度來看，對于理解邊緣處理與云處理之間的權(quán)衡至關(guān)重要的幾個指標(biāo)是：

·延遲

·安全

·隱私

·權(quán)力

·可靠性

·成本

·內(nèi)容權(quán)利

今天的邊緣處理平臺可以很好地達到所有這些標(biāo)準(zhǔn)，設(shè)備制造商和消費者都同意，在當(dāng)今的智能家居、商業(yè)和工業(yè)環(huán)境中，任何可以在本地完成的事情都應(yīng)該在“設(shè)備上”實現(xiàn)。本地緩存、傳感器融合和來自機器學(xué)習(xí)算法的安全推理都使本地處理的用戶數(shù)量增加，從而在許多方面改善了整體客戶體驗。

神經(jīng)網(wǎng)絡(luò)是關(guān)鍵

對于許多物聯(lián)網(wǎng)方案來說，訪問互聯(lián)網(wǎng)對于流媒體電影和音樂以及實時更新或隨機信息請求等功能始終是必要的。但是，混合云/邊緣物聯(lián)網(wǎng)的新時代將通過更多的“本地智能”來促進，從而減少對始終發(fā)送用戶輸入（可能是語音或視覺）并從云中獲得響應(yīng)的需求（以及成本和風(fēng)險）。在邊緣處理的AI驅(qū)動的神經(jīng)網(wǎng)絡(luò)是解決性能和穩(wěn)健性挑戰(zhàn)以及解決隱私問題的關(guān)鍵。

到目前為止，智能邊緣處理一直被保留用于智能手機等昂貴的設(shè)備，因為它需要大量的計算，而這對于低成本設(shè)備或電器來說是遙不可及的。新一代 SoC 以針對主流消費類設(shè)備的價格點提供安全的神經(jīng)網(wǎng)絡(luò)加速。

現(xiàn)在，具有成本效益的基于AI的解決方案可用于提高性能，以創(chuàng)建更人性化的體驗。真正的智能設(shè)備將利用多傳感器，始終監(jiān)聽功能來學(xué)習(xí)行為模式并將其與設(shè)備交互相關(guān)聯(lián)。這將使設(shè)備能夠利用隱式通信，而不是僅依賴于當(dāng)今設(shè)備所依賴的顯式通信。最值得注意的是，使設(shè)備具有本地智能將使它們能夠以接近人類的速度做出反應(yīng)。通過不進行云調(diào)用來實現(xiàn)的延遲降低對用戶來說幾乎是即時的。

物聯(lián)網(wǎng)人機界面變得多模式

語音代表了增長最快的用戶界面，并不斷被持續(xù)的技術(shù)創(chuàng)新重新定義。隨著使用遠場語音接口的性能和功能的突破，這為支持語音的設(shè)備帶來了更自然的用戶便利性和實用性。另一個令人興奮的領(lǐng)域是設(shè)備上集成的計算機視覺，可提供面部，情感和內(nèi)容識別。計算機視覺現(xiàn)在可以以經(jīng)濟高效的方式在本地啟用，物聯(lián)網(wǎng)界面的下一步是成為多模態(tài)，語音，手勢，凝視和觸摸都將發(fā)揮作用，并且將通過安全的生物識別進一步個性化。

生物識別可以在設(shè)備上實現(xiàn)，而無需注冊配置文件，它只是將您的聲音與另一個聲音區(qū)分開來，并且通過機器學(xué)習(xí)，它可以提供專業(yè)內(nèi)容或個性化。一系列額外的模式與人工智能相結(jié)合，將使HMI能夠更好地學(xué)習(xí)和適應(yīng)個人用戶的行為。它將變得上下文感知。為了增強用戶體驗，除了語音和視覺用戶界面之外，設(shè)備還應(yīng)該能夠通過用戶在設(shè)備上本地觀看的機器學(xué)習(xí)方法來分析內(nèi)容。這將允許設(shè)備個性化其界面，以更好地匹配用戶偏好。

邊緣安全推理解決消費者關(guān)注的問題

邊緣的安全推理解決了更廣泛地采用物聯(lián)網(wǎng)設(shè)備的許多挑戰(zhàn)，并為人機界面開辟了新的可能性，無論是視頻、語音、觸摸還是視覺。同時，邊緣處理增加了隱私，安全性和用戶對自己數(shù)據(jù)的控制，因為個人數(shù)據(jù)在設(shè)備上被處理和使用，并且只有匿名信息被發(fā)送到云端。為了使設(shè)備具有上下文感知能力并實現(xiàn)更無縫的交互，它需要設(shè)備偵聽的不僅僅是一個觸發(fā)詞。

例如，設(shè)備應(yīng)該能夠執(zhí)行復(fù)雜級別的語音到文本和自然語言理解，能夠檢測用戶的人臉并將其與設(shè)備上的數(shù)據(jù)庫進行匹配，而無需云資源。使用以云為中心的體系結(jié)構(gòu)啟用此類上下文感知功能會給消費者帶來隱私和安全問題。新的分布式架構(gòu)通過在邊緣設(shè)備中進行高性能處理來解決這些問題，該設(shè)備可以在沒有云連接的語音識別功能中啟用諸如100，000多個單詞的詞匯表之類的功能。這很重要，因為它可以以非常經(jīng)濟高效的方式在消費者友好的價格點的設(shè)備中實現(xiàn)。

隱私問題

用戶隱私已成為連接設(shè)備的主要問題。以語音為例，我們可以看到隱私風(fēng)險在哪里：在典型的當(dāng)前一代架構(gòu)中，音頻信號要么直接進入CPU或DSP，在那里完成一些處理，然后將實際的音頻信號傳輸?shù)皆贫?。到目前為止，所有的AI處理都是在云中進行的。在這些實現(xiàn)中，所有傳感器信息都被發(fā)送到云端（其中大部分在預(yù)期功能方面是不必要的），并且系統(tǒng)中存在多個漏洞點，可以發(fā)生遠程攻擊 - 無論是利用傳感器數(shù)據(jù)還是提供對個人和敏感信息的直接訪問。即使使用軟件級加密，黑客也需要了解軟件才能繞過它。

需要的是本地（邊緣）硬件級別的企業(yè)級加密。要實現(xiàn)真正安全的方法，需要一個具有正確傳感器接口的集成解決方案、一個具有可信執(zhí)行環(huán)境的強大應(yīng)用處理器、一個具有硬件信任根的防火墻安全處理器和一個神經(jīng)網(wǎng)絡(luò)加速器。這是突觸為其新的智能邊緣AI SoC解決方案系列開發(fā)的SyNAP框架的基礎(chǔ)方法。對于傳感器接口，最低要求是麥克風(fēng)接口，而RGB傳感器接口有利于實現(xiàn)額外的上下文感知。安全處理器和神經(jīng)網(wǎng)絡(luò)引擎是實現(xiàn)安全、可靠且具有提供復(fù)雜用戶體驗的健壯性的語音/視覺 UI 的兩個關(guān)鍵要素。

安全處理器的目標(biāo)是通過防火墻傳感器信息和用戶數(shù)據(jù)來抵御惡意攻擊。即使攻擊成功使黑客能夠在設(shè)備上運行軟件，但重要的是，任何此類軟件都無法訪問傳感器接口，以及存儲在設(shè)備上的可信執(zhí)行環(huán)境或TEE中的所有用戶數(shù)據(jù)。在安全推理中，傳感器信息和其他用戶數(shù)據(jù)可以由應(yīng)用處理器和神經(jīng)網(wǎng)絡(luò)加速器處理，而數(shù)據(jù)仍然受到應(yīng)用處理器上運行的軟件框架以及應(yīng)用處理器上運行的惡意代碼的防火墻的監(jiān)視。

通過能夠在邊緣 SoC 上高效運行神經(jīng)網(wǎng)絡(luò)處理，目前在云中完成的許多 AI 處理現(xiàn)在可以在本地消費者邊緣設(shè)備上完成。這減少了將所有傳感器信息傳輸?shù)皆频男枰?，同時實現(xiàn)了上下文感知的安全“始終偵聽”HMI。

將一切整合在一起

將設(shè)備內(nèi)所有傳感器信息防火墻的能力與運行復(fù)雜機器學(xué)習(xí)算法的能力相結(jié)合，開辟了一系列以前不切實際的新應(yīng)用。由于傳感器數(shù)據(jù)是安全的，設(shè)備制造商和消費者都可以更有信心地使音頻和圖像傳感器都處于始終在線模式，同時為隱私提供可接受的保證。然后，設(shè)備可以使用其機器學(xué)習(xí)功能，通過音頻和/或視頻數(shù)據(jù)變得更加具有上下文感知能力。

例如，該設(shè)備可以在始終收聽模式下運行語音生物識別、大量詞匯和自然語言理解。這允許設(shè)備不斷分解誰在圍繞它說話，并從演講內(nèi)容中確定是否需要其參與。使用這些信息，設(shè)備可以在不使用“嘿Alexa”等觸發(fā)詞的情況下確定它是否正在被尋址，從而使交互更加無縫。在某些情況下，設(shè)備甚至可以決定發(fā)起對話。然后，隨著時間的推移，設(shè)備可以建立與上下文事件相關(guān)的偏好知識，從而允許設(shè)備以最少的交互確定用戶的意圖。所有這些都不需要連接到云。

由于缺乏物聯(lián)網(wǎng)設(shè)備到設(shè)備的通用通信標(biāo)準(zhǔn)，仍然需要通過云到云的連接從另一個設(shè)備控制另一個設(shè)備。但是，隨著神經(jīng)網(wǎng)絡(luò)加速器在物聯(lián)網(wǎng)邊緣設(shè)備中啟用，它將刺激LAN中的設(shè)備在不進入云的情況下相互控制的新趨勢，因為一旦ASR + NLU在設(shè)備上發(fā)生，除了缺乏通信標(biāo)準(zhǔn)之外，沒有真正的理由去云。但是，鑒于 ASR+NLU 是在云上發(fā)生的，因此沒有真正的動力來執(zhí)行可由語音觸發(fā)的真正基于 LAN 的設(shè)備控制。但現(xiàn)在這種情況將會改變，因為在LAN中執(zhí)行此操作具有最低的延遲以及高安全性和隱私性優(yōu)勢。

數(shù)字版權(quán)管理是另一個挑戰(zhàn)。在分析內(nèi)容（用戶從 OTT 源流式傳輸?shù)囊曨l或電影）時，必須考慮與此優(yōu)質(zhì)內(nèi)容關(guān)聯(lián)的內(nèi)容權(quán)利。這些權(quán)限禁止將視頻和音頻軌道的任何部分發(fā)送到集中式服務(wù)器進行分析，因此必須在安全和受信任的環(huán)境中在設(shè)備上完成。新的 SoC 可以實現(xiàn)基于機器學(xué)習(xí)的內(nèi)容權(quán)限分析，從而在安全可信的執(zhí)行環(huán)境中保護視頻內(nèi)容。

通過邊緣實現(xiàn)更高的效率

基于邊緣的處理也是減少需要發(fā)送到云的數(shù)據(jù)量的好方法。例如，能夠在本地運行對象和事件檢測的安全攝像頭將節(jié)省大量的互聯(lián)網(wǎng)數(shù)據(jù)帶寬。以1080p錄制的安全攝像機可以傳輸高達4Mbps的速率。與云記錄服務(wù)一起安裝的安全攝像頭導(dǎo)致數(shù)據(jù)使用量爆炸式增長，這可能導(dǎo)致用戶快速超出其當(dāng)前數(shù)據(jù)計劃的極限，這并不罕見。這可能會給用戶帶來相當(dāng)大的成本。當(dāng)攝像機在本地運行對象和事件檢測時，可以將其配置為僅在發(fā)生有意義的事情時才將視頻發(fā)送到云。這可以顯著節(jié)省數(shù)據(jù)傳輸成本，并為消費者直接節(jié)省成本。

還有許多其他應(yīng)用程序可以在安全攝像頭上啟用。例如，如果攝像機看到的活動僅來自家庭成員，則可以將其配置為不向云發(fā)送視頻。通過減少產(chǎn)生無意義通知的煩人的錯誤觸發(fā)，以及在通知中提供更有意義的描述，可以使通知更加準(zhǔn)確。攝像機還可以使用聲學(xué)事件的檢測來啟動云傳輸和通知。

與前面引用的Google語音示例類似，不必存儲相機生成的所有數(shù)據(jù)可以降低數(shù)據(jù)中心的復(fù)雜性和規(guī)模，從而降低設(shè)備OEM的運營費用。這是這些設(shè)備 OEM 大力推動邊緣機器學(xué)習(xí)和 AI 的一個關(guān)鍵原因。

使用AI進行邊緣處理將擴大消費者物聯(lián)網(wǎng)的使用

物聯(lián)網(wǎng)設(shè)備制造商知道基于邊緣的處理的好處，但到目前為止，成本，性能和安全性方面的許多挑戰(zhàn)使得在消費產(chǎn)品和系統(tǒng)中實施變得不切實際。將邊緣處理與云連接相結(jié)合的更多使用的轉(zhuǎn)變已經(jīng)開始，領(lǐng)先的設(shè)備制造商和平臺供應(yīng)商在這一領(lǐng)域采用Synaptics解決方案就是證明。通過使用先進的基于AI的神經(jīng)網(wǎng)絡(luò)來實現(xiàn)基于邊緣的物聯(lián)網(wǎng)，芯片供應(yīng)商能夠提供廣泛的集成解決方案，以應(yīng)對傳統(tǒng)純云架構(gòu)的挑戰(zhàn)。這種類型的高級人機界面功能可以經(jīng)濟高效地在各種設(shè)備中實現(xiàn)，從而改善和保護我們的生活。

審核編輯：郭婷