隨著移動(dòng)互聯(lián)網(wǎng)技術(shù)的發(fā)展,智能手機(jī)上基于無(wú)線網(wǎng)絡(luò)的可視對(duì)講功能的應(yīng)用開始逐步興起。在Android上的此類應(yīng)用程序的開發(fā)過(guò)程中,都會(huì)遇到聲學(xué)回聲難題。AEC技術(shù)非常復(fù)雜,需要非常專業(yè)的聲學(xué)和音頻處理技術(shù)。WebRTC的發(fā)布改變了這一局面，而QttAudio SDK的誕生，則完全將回聲消除、聲學(xué)音頻處理等復(fù)雜技術(shù)難度降至最低，使任何開發(fā)者都可以快速的開發(fā)出音視頻對(duì)講功能應(yīng)用。

• WebRTC介紹

WebRTC是谷歌公司2011年發(fā)布的一項(xiàng)技術(shù)。WebRTC技術(shù)主要用于在支持HTML5的瀏覽器上實(shí)現(xiàn)實(shí)時(shí)音視頻對(duì)話。功能包括會(huì)話初始化協(xié)議SIP的實(shí)現(xiàn)、音視頻編解碼和音視頻數(shù)據(jù)處理等等。經(jīng)過(guò)源代碼分析,將AEC部分的代碼單獨(dú)摘取出來(lái),并編譯成動(dòng)態(tài)鏈接庫(kù),通過(guò)jni技術(shù)使Java代碼調(diào)用動(dòng)態(tài)鏈接庫(kù),實(shí)現(xiàn)高質(zhì)量回聲消除。

WebRTC的AEC模塊采用自適應(yīng)濾波算法實(shí)現(xiàn)回聲消除。該算法以輸出到揚(yáng)聲器的音頻數(shù)據(jù)為依據(jù),根據(jù)現(xiàn)場(chǎng)的回聲路徑特征,模擬出回聲信號(hào)。以模擬回聲信號(hào)為依據(jù),從麥克風(fēng)采集到的音頻數(shù)據(jù)中濾除模擬回聲信號(hào)。算法的實(shí)現(xiàn)原理如圖1所示。y(n)代表遠(yuǎn)端語(yǔ)音數(shù)據(jù),y(n)在交給近端揚(yáng)聲器播放的同時(shí),還送到自適應(yīng)濾波器,產(chǎn)生回聲估計(jì)值d^(n)。x(n)代表近端有用語(yǔ)音,麥克風(fēng)采集的數(shù)據(jù)是x(n)和y(n)產(chǎn)生的回聲d(n)的疊加,即x(n)+d(n)。經(jīng)濾波處理,最終近端語(yǔ)音數(shù)據(jù)為:u(n)=x(n)+d(n)-d^(n)。其中e(n)=d(n)-d^(n),稱為回聲消除誤差。理想狀態(tài)下,e(n)應(yīng)為0。但現(xiàn)實(shí)中e(n)不可能為0。濾波器會(huì)根據(jù)e(n)的值自動(dòng)調(diào)整濾波系數(shù)。

• ?WebRTC的移植

我們將AEC模塊分成了兩個(gè)大塊,第一個(gè)大塊是音頻處理的通用模塊WebTRC_audio(該模塊編譯成功后生成“l(fā)ibwebrtc_spl.so”動(dòng)態(tài)庫(kù),供第二大塊調(diào)用),源代碼位于WebRTC源代碼根路徑下的“common_audio\signal_processing”中。第二大塊是WebRTC_aec(該模塊編譯成功后生成“l(fā)ibwebrtc_aec.so”動(dòng)態(tài)庫(kù)),源代碼位于WebRTC源代碼根路徑下的“modules\audio_processing\aec”中。
如下是WebRTC_aec模塊的編譯腳本主要部分:
LOCAL_PATH:=$(call my-dir)
include $(CLEAR_VARS)
LOCAL_MODULE:=signal_prebuilt
LOCAL_SRC_FILES:=webrtc_signal/libwebrtc_spl.so
include $(PREBUILT_SHARED_LIBRARY)
include $(CLEAR_VARS)
LOCAL_MODULE := libwebrtc_aec
LOCAL_SHARED_LIBRARIES := signal_prebuilt
include $(BUILD_SHARED_LIBRARY)
先看編譯腳本的前五行,定義了一個(gè)預(yù)編譯模塊,即WebRTC_
a u d i o 塊, 然后通過(guò)L O C A L _ S H A R E D _ L I B R A R I E S :=signal_prebuilt來(lái)導(dǎo)入該模塊。

• 應(yīng)用層多線程實(shí)現(xiàn)回聲消除

如果想要成功消除回聲,必須將近端數(shù)據(jù)和遠(yuǎn)端數(shù)據(jù)之間的時(shí)間差控制在合理范圍內(nèi)。在Android應(yīng)用開發(fā)中,使用AudioRecord進(jìn)行音頻采集,使用AudiorTrack進(jìn)行遠(yuǎn)端音頻播放。協(xié)調(diào)好這兩個(gè)類的輸入輸出時(shí)間同步,是回聲消除功能實(shí)現(xiàn)的重要保障。為了保證時(shí)間上的連續(xù)性和時(shí)間差,需要使用兩個(gè)單獨(dú)線程ReadThread和WriteThread來(lái)分別進(jìn)行音頻采集和音頻播放。另外還有兩個(gè)單獨(dú)的線程InTrhead和OutThread來(lái)完成數(shù)據(jù)的接收和發(fā)送,還有一個(gè)線程AecThread完成回聲消除操作。線程之間的數(shù)據(jù)交換使用隊(duì)列來(lái)完成。

• QttAudio SDK解決回聲消除問題

上文可以看出，使用webrtc消除回音是一個(gè)很復(fù)雜的工作，編譯復(fù)雜，使用復(fù)雜，很不好控制近端與遠(yuǎn)端時(shí)間差值，而且如何跨平臺(tái)的使用，同時(shí)滿足android，ios, linux, windows等平臺(tái)的需求，對(duì)于需要開發(fā)可視對(duì)講、音視頻通話等應(yīng)用的企業(yè)來(lái)說(shuō)，太難了。使用QttAudio SDK就簡(jiǎn)單得多，跨平臺(tái)使用，10分鐘就可輕松集成，無(wú)需擔(dān)心回音、噪音、混音等問題，節(jié)約時(shí)間，提高開發(fā)效率，讓產(chǎn)品盡早上市。