低延遲、實時聲學處理是許多嵌入式的關鍵因素 處理應用程序，其中包括語音預處理、語音識別、 和主動降噪 （ANC）。作為實時性能要求 在這些應用領域內穩(wěn)步增長，開發(fā)人員需要采用 適當適應這些需求的戰(zhàn)略思維。鑒于實質性 許多大型系統(tǒng)在芯片上提供的性能，可能很誘人 只需為這些設備加載出現的任何其他任務，但這很重要 了解延遲和確定性是可以輕松實現的關鍵要素 如果不仔細考慮，會導致重大的實時系統(tǒng)問題。本文 將探討設計人員在 SoC 之間進行選擇時應考慮的問題 和專用的音頻DSP，以避免實時出現不愉快的意外 聲學系統(tǒng)。

低延遲聲學系統(tǒng)涵蓋了廣泛的應用。例如，僅在汽車領域，低延遲對于個人音頻區(qū)域、道路噪聲消除和車載通信系統(tǒng)至關重要，僅舉幾例。

隨著車輛電氣化的新興趨勢，RNC變得更加重要，因為沒有內燃機產生明顯的噪音。因此，與汽車到道路界面相關的聲音變得更加明顯和令人反感。降低這種噪音不僅可以創(chuàng)造更舒適的騎行體驗，還可以減輕駕駛員的疲勞。與在專用音頻 DSP 上相比，在 SoC 上實現低延遲聲學系統(tǒng)存在許多挑戰(zhàn)。其中包括延遲、可擴展性、可升級性、算法注意事項、硬件加速和客戶支持等問題。讓我們依次檢查其中的每一個。

延遲

實時聲學處理系統(tǒng)中的延遲問題是一個重要的問題。如果處理器無法跟上系統(tǒng)的實時數據移動和計算需求，則可能導致不可接受的音頻丟失。

通常，SoC 具有小型片上 SRAM，因此必須依賴緩存進行大多數本地內存訪問。這引入了代碼和數據的不確定可用性，并且還增加了處理延遲。對于像ANC這樣的實時應用，僅此一項就可能破壞交易。但是，SoC運行管理繁重的多任務負載的非實時操作系統(tǒng)。這放大了系統(tǒng)的非確定性操作特性，使得在多任務環(huán)境中支持相對復雜的聲學處理變得非常困難。

圖 1 顯示了運行實時音頻處理負載的 SoC 的具體示例，其中 CPU 負載在處理更高優(yōu)先級的 SoC 任務時達到峰值。例如，由于系統(tǒng)上的媒體呈現、瀏覽或應用執(zhí)行等以 SoC 為中心的活動，可能會出現這些峰值。每當峰值超過 100% CPU 負載時，SoC 不再實時運行，這將導致音頻丟失。

圖1.除了其他任務外，還運行高音頻內存處理的代表性 SoC 的瞬時 CPU 負載。1

另一方面，音頻 DSP 的架構旨在實現從采樣音頻輸入到復合（例如，音頻 + 抗噪聲）揚聲器輸出的整個信號處理路徑的低延遲。L1指令和數據SRAM是最接近處理器內核的單周期存儲器，足以支持許多處理算法，而無需將中間數據卸載到片外存儲器。此外，片上 L2 存儲器（離內核更遠，但訪問速度仍比片外 DRAM 快得多）有助于在超出 L1 SRAM 存儲時為中間數據操作提供緩沖區(qū)。最后，音頻DSP通常運行實時操作系統(tǒng)（RTOS），確保在新輸入數據到達之前處理傳入數據并將其發(fā)送到目標目的地，從而確保數據緩沖區(qū)在實時操作期間不會溢出。

系統(tǒng)啟動的實際延遲（通常由音頻可用性時間來衡量）也是一個重要的指標，特別是在汽車系統(tǒng)中，聲音警告必須在啟動后的某個窗口內廣播。在 SoC 世界中，通常有一個冗長的啟動序列，涉及為整個設備啟動操作系統(tǒng)，因此可能很難或不可能滿足此啟動要求。另一方面，運行自己的RTOS的獨立音頻DSP不受其他無關系統(tǒng)優(yōu)先級的影響，可以針對快速啟動進行優(yōu)化，從而輕松滿足音頻時間要求。

可擴展性

雖然延遲問題對于噪聲控制等應用中的SoC來說是個問題，但有志于執(zhí)行聲學處理的SoC的另一個關鍵缺點是可擴展性。換句話說，控制具有許多不同子系統(tǒng)的大型系統(tǒng)（例如汽車前端單元和集群）的 SoC 無法輕松地從低端音頻需求擴展到高端音頻需求，因為每個子系統(tǒng)組件的可擴展性需求之間存在持續(xù)沖突，需要在整體 SoC 利用率中進行權衡。例如，如果前端SoC連接到遠程調諧器，并且跨汽車模型，該調諧器需要從幾個通道擴展到多個通道，則每個通道配置都會放大前面提到的實時問題。這是由于 SoC 控制下的每個附加功能都會改變 SoC 的實時行為以及多個功能使用的關鍵架構組件的資源可用性。這些資源包括內存帶寬、處理器內核周期和系統(tǒng)總線結構仲裁槽等方面。

除了擔心其他子系統(tǒng)連接到多任務SoC之外，聲學子系統(tǒng)本身也有其自身的可擴展性問題。有低端到高端縮放（例如，增加 ANC 應用程序中麥克風和揚聲器通道的數量），還有音頻體驗縮放，從基本的音頻解碼和立體聲播放到 3D 虛擬化和其他高級功能。雖然這些要求不共享ANC系統(tǒng)的實時約束，但它們仍然與系統(tǒng)的音頻處理器選擇直接相關。

利用單獨的音頻 DSP 作為 SoC 的協處理器是音頻可擴展性問題的完美解決方案，可實現模塊化系統(tǒng)設計和成本優(yōu)化解決方案。SoC 可以更少地關注大型系統(tǒng)的實時聲學處理需求，而是將該處理卸載到低延遲音頻 DSP。此外，音頻 DSP 在全面的代碼兼容和引腳兼容路線圖中提供多種不同的性價比/內存級別，為系統(tǒng)設計人員提供了最大的靈活性，以針對給定產品層調整音頻性能產品的規(guī)模。

圖2.ADSP-2156x DSP，說明高度可擴展的音頻處理器。

可升級性

隨著無線固件更新在當今的車輛中變得越來越普遍，發(fā)布關鍵補丁或提供新功能的可升級性變得越來越重要。這可能會給 SoC 帶來重大問題，因為其各個子系統(tǒng)之間的依賴關系增加。首先，在SoC上，多個處理和數據移動線程正在爭奪資源。當添加新功能時，這增加了對處理器MIPS和內存的競爭，尤其是在峰值活動突發(fā)期間。從音頻角度來看，其他 SoC 控制域中的功能添加可能會對實時聲學性能產生不可預測的影響。這種情況的一個副作用是，必須在所有操作平面上交叉測試新功能，從而導致競爭子系統(tǒng)的各種操作模式之間存在無數排列。因此，每個升級包的軟件驗證呈指數級增長。

從另一個角度來看，可以說SoC音頻性能的改進取決于可用的SoC MIPS，以及由SoC控制的其他子系統(tǒng)的功能路線圖。

算法開發(fā)和性能

很明顯，在開發(fā)實時聲學算法時，音頻DSP是專門為這項任務而構建的。作為SoC的一個重要區(qū)別，獨立音頻DSP可以提供圖形開發(fā)環(huán)境，使DSP編碼經驗最少的工程師能夠將高質量的聲學處理添加到其設計中。這種類型的工具可以通過在不犧牲質量或性能的情況下縮短開發(fā)時間來降低開發(fā)成本。

例如，ADI公司的SigmaStudio圖形音頻開發(fā)環(huán)境提供了集成到直觀圖形用戶界面（GUI）中的多種信號處理算法，允許創(chuàng)建復雜的音頻信號流。它還支持圖形 A?2B配置用于音頻傳輸，極大地促進了實時聲學系統(tǒng)的發(fā)展。

音頻友好型硬件功能

除了專為高效并行浮點計算和數據訪問而設計的處理器內核架構外，音頻 DSP 通常還具有專用的多通道加速器，用于常見音頻基元，例如快速傅里葉變換 （FFT）、有限和無限脈沖響應 （FIR 和 IIR） 濾波以及異步采樣率轉換 （ASRC）。這些允許在內核CPU之外進行實時音頻濾波、采樣和頻域轉換，從而提高內核的有效性能。此外，由于其優(yōu)化的體系結構和數據流管理功能，它們可以促進靈活且用戶友好的編程模型。

由于音頻通道數、濾波器流、采樣率等激增，因此擁有一個最大可配置的引腳接口非常重要，該接口允許在線采樣率轉換、精密時鐘和同步高速串行端口，以有效地路由數據并避免增加延遲或外部接口邏輯。ADI公司SHARC系列處理器的數字音頻互連（DAI）體現了這種能力，如圖4所示。?

圖3.ADI公司的SigmaStudio圖形開發(fā)環(huán)境。

圖4.數字音頻互連 （DAI） 框圖。

客戶支持

使用嵌入式處理器進行開發(fā)時經常被忽視的一個方面是設備對客戶的支持。

盡管SoC供應商在其集成DSP產品上提倡運行聲學算法，但這在實踐中會帶來一些責任。首先，供應商的支持通常更為復雜，因為聲學專業(yè)知識通常不是SoC應用開發(fā)的領域。因此，對于尋求在SoC的片上DSP技術上開發(fā)自己的聲學算法的客戶來說，支持往往很弱。相反，供應商可能會提供標準算法并收取大量 NRE 費用，以將聲學算法移植到 SoC 的一個或多個內核。即便如此，也不能保證成功，特別是如果供應商不提供成熟的低延遲框架軟件。最后，基于 SoC 的聲學處理的第三方生態(tài)系統(tǒng)往往相當脆弱，因為它不是 SoC 的重點，而是一個機會主義支持的功能。

顯然，專用音頻 DSP 具有更強大的生態(tài)系統(tǒng)，用于開發(fā)復雜的聲學系統(tǒng)，從優(yōu)化的算法庫和設備驅動程序到實時操作系統(tǒng)和易于使用的開發(fā)工具。此外，以音頻為中心的參考平臺（如ADI公司的SHARC音頻模塊平臺，如圖5所示）可加快上市時間，這對于SoC來說是罕見的，但在獨立音頻DSP領域卻很常見。

圖5.SHARC音頻模塊（SAM）開發(fā)平臺。

總之，很明顯，設計實時聲學系統(tǒng)涉及對系統(tǒng)資源的深思熟慮的戰(zhàn)略規(guī)劃，不能簡單地通過在多任務SoC上分配剩余的處理余量來管理。相反，針對低延遲處理進行優(yōu)化的獨立音頻 DSP 可能會提高穩(wěn)健性、縮短開發(fā)時間和最佳可擴展性，以適應未來的系統(tǒng)需求和性能層。

審核編輯：郭婷