作者：ANN STEFFORA MUTSCHLER

音頻和視頻傳感器數(shù)量的激增大大增加了芯片和系統(tǒng)的設計復雜性，迫使工程師做出可能影響性能、功耗和成本的權(quán)衡。

總的來說，這些傳感器生成的數(shù)據(jù)如此之多，以至于設計人員必須考慮在哪里處理不同的數(shù)據(jù)、如何對其進行優(yōu)先級排序以及如何針對特定應用對其進行優(yōu)化。權(quán)衡包括從始終開啟、始終收聽功能、更長的屏幕開啟時間等所有方面，這些都必須與更長電池壽命的需求相平衡。最重要的是，人們對數(shù)據(jù)安全性的擔憂持續(xù)存在，并且對上下文感知人工智能算法的需求不斷增加。

西門子 EDA電源完整性產(chǎn)品管理高級總監(jiān) Joe Davis 表示，到 2025 年底，估計將有 140 億個智能傳感器連接到互聯(lián)網(wǎng)。“這些只是連接到互聯(lián)網(wǎng)的傳感器，它增長最快，因為它可以獲取數(shù)據(jù)并對其進行處理。這不僅僅是觀察它并拍照。它正在對數(shù)據(jù)進行一些處理?！?/p>

恰當?shù)睦樱核髂嵊幸环N設備可以識別亂穿馬路的人而不會侵犯隱私?！八鼒?zhí)行動作識別，然后發(fā)出信號，”戴維斯說?！岸乙驗樗械膫鞲泻吞幚矶际窃诒镜赝瓿傻模运粫ㄟ^互聯(lián)網(wǎng)發(fā)送某人的臉，所以它可以保護他們的隱私。在架構(gòu)方面，該領域的供應商傳統(tǒng)上處于非常成熟的節(jié)點并優(yōu)化了這些技術。許多技術仍然存在，但要獲得現(xiàn)在所需的處理，他們必須將這些傳感器與更先進的技術結(jié)合起來。”

在許多情況下，功率預算極其有限，因為它需要使用一節(jié)或多節(jié)電池運行。Cadence的 Tensilica 音頻/語音 DSP 產(chǎn)品營銷總監(jiān) Prakash Madhvapathy 說：“設備越來越注重電池，因為它們希望使用非常小的電池。 ” “用戶希望看到非常長的電池壽命和全天連續(xù)運行，因此 24/7/365。為了方便用戶，設備需要始終在線。他們還需要聰明地理解用戶在特定時刻的意圖，而不是被明確告知它必須做什么?！?/p>

同時，這些設備需要更多的計算能力，因為它們需要處理更多的數(shù)據(jù)?！斑^去看到的用例現(xiàn)在正在演變成更復雜的用例，最終消費者對設備的期望比以前高得多，”Madhvapathy 說?！斑@是一個積極的反饋循環(huán)，設備本身顯示出更多的功能，這提高了制造商和最終消費者的期望。這推動了設備本身對更多計算能力的需求?！?/p>

Madhvapathy 觀察到這兩個因素似乎相互矛盾?！霸谝环N情況下，你想要永遠在線、長電池壽命。在另一種情況下，您正在尋找更多的計算能力，這將消耗電池壽命。挑戰(zhàn)變成了這兩者如何共存，制造商或原始設備制造商如何才能創(chuàng)造出兩全其美的產(chǎn)品？”

隨著車輛自主性的增加，這一點很明顯，這需要數(shù)百個 TOP（每秒萬億次運算）。產(chǎn)品管理總監(jiān) Amol Borkar 表示：“在這些情況下，對于功率/能源，您需要進行一些權(quán)衡，但您不希望使用與低端產(chǎn)品相同的產(chǎn)品?！?Cadence 的 Tensilica 視覺和 AI DSP 營銷。“在典型的產(chǎn)品開發(fā)周期中，您開始細分市場，以確定低、中、高產(chǎn)品的重點產(chǎn)品范圍，或者好、更好、最好的方法。很難擁有一種可以跨越整個范圍的產(chǎn)品。它可以廣泛地跨越一個范圍，但如果你談論的是一種永遠在線的能力，但隨后還必須可重新配置以運行自動駕駛汽車——這通常不會發(fā)生。如果真的發(fā)生了，它將被過度設計，不符合任何細分市場的要求?！?/p>

這適用于音頻或視頻部分。過去離散的東西越來越多地被集成到一個系統(tǒng)或子系統(tǒng)中。

“隨著人工智能的進一步普及，我們開始看到這些產(chǎn)品系列之間出現(xiàn)了很多合并，”Borkar 說?！霸谟肋h在線的空間中，開發(fā)人員說，‘我只想進行音頻處理，例如關鍵字定位和關鍵字檢測?！?例如，現(xiàn)在他們正在為人類存在檢測添加一些視覺處理。更進一步，開發(fā)人員不希望兩個不同的 IP 進行這種類型的多模式處理。他們想要一個既可以進行視覺處理又可以進行音頻處理的 IP，這是低端的。在高端方面，更多的是，‘我有一個系統(tǒng)可以進行這種基于攝像頭的人員檢測，或 ADAS/行人/街道標志檢測，但同時我也在做短程雷達加工。我不想放置一個單獨的處理塊或 IP 塊來做到這一點。我只想要一個塊來進行處理，即使它是多模式的?！?/p>

通信問題

芯片架構(gòu)師關心的另一個問題是能否為特定應用快速傳輸圖像和視頻。

今天的顯示器具有比過去更高的分辨率，這反過來又需要更高的帶寬。Synopsys移動、汽車和消費類 IP 產(chǎn)品營銷總監(jiān) Hezi Saar 表示，問題在于 PHY 速度跟不上分辨率的提高。隨著 AR/VR 和移動應用的帶寬需求不斷增加，這很明顯，這需要增加 PHY 帶寬。至少目前，該解決方案涉及壓縮標準，例如 VESA DSC 和 VESA VDCM。

“視覺無損壓縮已被引入市場，這將減少對更快 PHY 和更快切換的需求，從而降低功耗，因為您不需要發(fā)送相同的數(shù)據(jù)，”Saar 說?！澳梢詫ζ溥M行壓縮，并且數(shù)據(jù)或多或少地保持在同一個范圍內(nèi)，因此有效地控制了每比特的功率。這種壓縮方式被 HDMI、DisplayPort 和 MIPI 全面采用，用于移動設備和汽車?！?/p>

對這種方法的最初反對是出于對丟失像素的安全影響的擔憂，或者如果像素在一秒或一毫秒內(nèi)沒有看到會發(fā)生什么。盡管對此主題有多種意見，但車輛中的屏幕通常不用于駕駛員安全，并且壓縮可以節(jié)省大量資源。

“然后，架構(gòu)問題變得更簡單，”薩爾說?！皺?quán)衡歸結(jié)為，‘幀緩沖區(qū)將實現(xiàn)什么？您將在 SoC 內(nèi)部使用多少內(nèi)存，而在外部使用多少內(nèi)存？您需要多少條通信通道？功率預算是多少？所有這些都是由驅(qū)動顯示器所需的帶寬量驅(qū)動的?！?/p>

由于應用程序的廣泛性，A/V 芯片和 IP 必須高度依賴工作負載和特定于應用程序，才能實現(xiàn)最佳系統(tǒng)。這意味著當系統(tǒng)架構(gòu)師設計這些芯片時，他們必須考慮將要運行的工作負載的種類，并選擇滿足性能和功率配置文件所需的計算塊。

瑞薩電子副總裁兼總經(jīng)理 Rami Sethi 表示：“我們正在解決的最大挑戰(zhàn)僅涉及更高的數(shù)據(jù)速率?！澳銜吹皆絹碓蕉嗟挠嬎隳芰ο蜻吘壱苿樱谀抢镒霰M可能多的事情，而不是將所有東西都轉(zhuǎn)移到云端。即使在網(wǎng)絡設備內(nèi)部，我們也看到在需要的地方有更多本地化計算。我們甚至看到越來越多的人談論內(nèi)存中的計算，只是讓處理盡可能接近數(shù)據(jù)?！?/p>

與此同時，這些計算元素正變得更加專業(yè)化。“我們讓界面運行得更快、更有效、更可靠，”Sethi 說。“但在未來，有機會在其中添加額外的功能。所有數(shù)據(jù)都通過我們的芯片，在 CPU 和內(nèi)存之間。我們可以通過安全性和潛在的數(shù)據(jù)壓縮算法在數(shù)據(jù)處理方面增加更多價值。”

其他人同意?！叭绻阆胍ㄓ糜布热?CPU，你可以把所有東西都放在 x86 或 Arm CPU 上，”Madhvapathy 說?！暗粫枪?jié)能的，也不會是計算效率的，因為它們不是為特定類別的工作負載設計的。你永遠不會只為一個工作負載設計任何東西。您為一類或兩類工作負載設計它們，這樣您就不會過于狹隘地關注。但至少對于工作負載而言，DSP 最終在處理方面的效率將大大高于主 CPU，無論是在時間還是在功率方面。這就是為什么過去十年的趨勢是將處理從 CPU 轉(zhuǎn)移到 DSP 以實現(xiàn)視覺以及音頻和語音的高效處理。”

同樣的權(quán)衡和變通方法也發(fā)生在消費電子領域，需要更高的計算性能和更長的電池壽命。Codasip的高級營銷總監(jiān) Roddy Urquhart 說：“傳統(tǒng)上，工程師要么針對低功耗進行優(yōu)化，要么針對高性能進行優(yōu)化。 ” “為了滿足特定應用程序的要求，少數(shù)幾種前進方式之一是硬件專業(yè)化。25 年前，這個問題可以通過創(chuàng)建 ASIC 來解決。但 ASIC 缺乏靈活性，許多應用程序需要可編程性來處理不同版本的標準，例如編碼，或處理固件更新。”

因此，雖然通用處理器可以處理范圍廣泛的軟件任務，但它的能效卻低得多?！叭绻鼈兣c專門的軟件一起使用，很可能許多處理器功能——以及電路——將被簡單地未使用或未充分利用，”Urquhart 說。“相比之下，如果對軟件工作負載進行分析以識別計算瓶頸，則可以設計專用處理器來解決計算瓶頸，但不包括不必要的功能。這樣的設計在電路方面應該是精簡的，并提供良好的性能?！?/p>

但是，這會產(chǎn)生其他問題。從頭開始創(chuàng)建專用處理器需要一種多學科方法，這超出了許多公司的技能范圍，這也是 RISC-V 開放指令集受到關注的原因之一。它通過為團隊提供一組基本的整數(shù)指令、可選擴展和用于創(chuàng)建自定義指令的規(guī)定來簡化設計?！傲硪粋€簡化是當處理器使用處理器描述語言獲得許可時，”他說?！昂诵拿枋隹梢栽诟邔舆M行修改和調(diào)優(yōu)，RTL、驗證環(huán)境和軟件工具鏈可以從高層描述中綜合起來?！?/p>

更多工具即將推出

盡管如此，Siemens EDA 的 Davis 堅持認為，在系統(tǒng)級別上并沒有特別好的工具可用，因為其中很多工具發(fā)展得如此之快?！笆袌錾蠜]有機會開發(fā)和部署這些模型。早在那個時候，一切都在數(shù)據(jù)手冊中建模并且一切都在線，您可以很早就將您的系統(tǒng)組合在一起并進行所有系統(tǒng)權(quán)衡。但是這些功能發(fā)展得如此之快，以至于這些模型不可用。人們通常使用電子表格之類的東西來進行這種分析。那里有一些功能，但是當您深入到 IC 級別時，每個制造商、每個設計公司都必須與他們的代工廠聯(lián)系并與其合作，以了解權(quán)衡的環(huán)境。

雖然工具提供商正在開發(fā)工具，但今天需要能夠進行這種分析?！叭藗兊膲粝胧悄軌蜃聛硖岢鲎罴呀鉀Q方案。但與往常一樣，當您向前推進時，您將在今天設計這種芯片架構(gòu)。他們將在明年設計它，并在一年后進行制造和部署。我正在展望未來三年，”戴維斯說。

為了解決這些問題，答案是越來越多地使用某種類型的高級封裝進行異構(gòu)集成。這使得在數(shù)字端擁有低泄漏的最先進處理成為可能，并將其與模擬端相結(jié)合，從而可以以最有意義的工藝幾何形狀開發(fā)電路。

“很多這些歷史上成熟的節(jié)點公司都在做所有這些傳感器、放大器和降噪——所有這些都需要先進的處理，他們必須引入先進的技術來以低功耗獲得計算資源，”戴維斯說?！艾F(xiàn)在我們談論的是系統(tǒng)級集成，因此 2.5D/3D 堆棧變得更具挑戰(zhàn)性。有一個數(shù)字芯片，以及一個或多個模擬芯片，因為如果我要放入傳感器和無線電，我可能會將三種不同的技術放在一個封裝中。我們看到了很多。我們還看到了硅光子學，尤其是在計算中心。只要您不熔化硅，計算中心就可以了。過去的態(tài)度是，‘我們把它插在墻上。誰在乎？‘ 當他們在建筑物中擁有數(shù)十萬到數(shù)百萬個這樣的核心時，他們現(xiàn)在確實很在意，頂部有大型冷卻塔，因為它會產(chǎn)生大量熱量?！?/p>

使用 die-on-die 或 package-on-package 的架構(gòu)將更常見以解決其中一些問題?！斑@取決于您所談論的應用程序，”Synopsys 的 Saar 說。“有時房地產(chǎn)很重要，所以你會使用包裝上的包裝。有時延遲非常重要?；蛘哂袝r你想在本地進行這種計算。然后你把 DDR 放在你的芯片上。這樣做可以提高性能、減少延遲并提高功耗。這意味著當您處理視頻數(shù)據(jù)時，它可以更有效地完成。某種 die-to-die 接口將在更復雜的系統(tǒng)中變得更加普遍。汽車 ADAS 是一個候選者。移動是 SoC 方面的候選者。即使在像 IP 攝像機或網(wǎng)絡錄像機這樣的應用程序中，如果你是一家擁有一切的公司——你在云端擁有人工智能引擎，你提供完整的服務、所有的電子設備，而且你還在制造 SoC——那么你可能會做一個 SoC，它可以去網(wǎng)絡攝像機。您還可以使用 die-to-die 技術連接兩個芯片，這樣您就可以進行將所有 IP 攝像機連接在一起的網(wǎng)絡視頻錄制?！?/p>

為了提高高級音頻/視頻系統(tǒng)的效率，需要非常專業(yè)的硬件。“看看這在智能手機和個人電腦中的做法，以提高所有這些設備的電池壽命——無論是音頻、視頻、個人電腦、ADAS 還是任何這些系統(tǒng)——你不能讓你的系統(tǒng)完全運行Movellus技術營銷主管 Aakash Jani 說，始終保持 100% ?！胺駝t，你只會殺死你的系統(tǒng)。這帶來了切換不同功率域的想法，創(chuàng)建截然不同的功率域，無論您是在前一分鐘進行波前分析，還是在那之后的下一秒進行全面推理。您將很快讓您的系統(tǒng)切換到動態(tài)電源。如果沒有，那將轉(zhuǎn)化為實時延遲?！?/p>

這遠遠超出了音頻/視頻系統(tǒng)?！霸谄胶庑酒显黾拥闹悄軙r，必須平衡電池壽命，”賈尼說?！澳枰鶕?jù)工作負載進行非常精細的電源控制。電源系統(tǒng)和電源管理需要并行處理您可能會看到的不同工作負載，這樣您就不會因為消耗電力而浪費周期?！?/p>

設計人員試圖處理的最大設計限制和問題之一是電壓下降或 IR 下降?！耙驗?a href="http://www.brongaenegriffin.com/tags/時鐘/" target="_blank">時鐘與它們所處的任何系統(tǒng)都如此緊密地交織在一起，并且因為它們是一個如此大的功率貢獻者，所以它們與電壓下降有著非常私人的關系，”他解釋道?！坝捎谶@些系統(tǒng)正在切換，尤其是高頻系統(tǒng)，對于智能手機、PC，甚至在數(shù)據(jù)中心，功率波動很大。時鐘網(wǎng)絡不僅是其中的一個促成因素，它的設計方式也可能是一種解決方案?！?/p>

結(jié)論

大局觀，所有這些低層次的挑戰(zhàn)都必須從長遠的角度出發(fā)，并且設計必須是可擴展的。

“你今天做的不是明天要做的，”Expedera 營銷主管 Paul Karazuba 指出?！皬脑O計的角度來看，大多數(shù)做硬件的公司對一代不感興趣。他們對多代人感興趣，以維持一家成長中的公司。我今天在音頻或視頻領域所做的可能是在 4k 相機上。我可能會在幾代人之后使用 8k 相機。你需要一個可擴展的架構(gòu)——不僅僅是架構(gòu)，還有你工作的底層設計語言和軟件生態(tài)系統(tǒng)。您不希望每一代都采用完全不同的架構(gòu)，因此您需要擁有作為系統(tǒng)工程師、系統(tǒng)架構(gòu)師、

將 AI 添加到組合中，這不僅在音頻/視頻應用程序中廣泛擴散，而且事情變得更加復雜。

“取決于市場，你必須開始為今天不存在的算法進行設計，這完全違反直覺，”Karazuba 說?！袄?，在汽車行業(yè)，如果你今天設計一個芯片，它三年內(nèi)都不會上市。它必須在市場上銷售 10 年。在那 13 年里，它正在處理的神經(jīng)網(wǎng)絡不會保持不變。因此，對于先進的神經(jīng)網(wǎng)絡、定制的神經(jīng)網(wǎng)絡以及今天不存在的網(wǎng)絡，這些都是系統(tǒng)工程師需要做出的決定，因此他們可以嘗試為不存在的東西進行設計。”

— Ed Sperling 為本報告做出了貢獻。