風(fēng)吹麥浪，靜夜蟲(chóng)鳴，人耳能聽(tīng)到的聲音大約有40多萬(wàn)種，頻率在20至20000赫茲之間；不僅如此，借助大腦，人類還具有分辨噪音和過(guò)濾干擾的能力。那么對(duì)于機(jī)器呢？

麥克風(fēng)陣列是什么？

麥克風(fēng)陣列（Microphone Array），從字面上，指的是麥克風(fēng)的排列。也就是說(shuō)由一定數(shù)目的聲學(xué)傳感器（一般是麥克風(fēng)）組成，用來(lái)對(duì)聲場(chǎng)的空間特性進(jìn)行采樣并處理的系統(tǒng)。

早在20世紀(jì)70、80年代，麥克風(fēng)陣列已經(jīng)被應(yīng)用于語(yǔ)音信號(hào)處理的研究中，進(jìn)入90年代以來(lái)，基于麥克風(fēng)陣列的語(yǔ)音信號(hào)處理算法逐漸成為一個(gè)新的研究熱點(diǎn)。而到了“聲控時(shí)代”，這項(xiàng)技術(shù)的重要性顯得尤為突出。

麥克風(fēng)陣列能干什么？

1.語(yǔ)音增強(qiáng)（Speech Enhancement）

語(yǔ)音增強(qiáng)是指當(dāng)語(yǔ)音信號(hào)被各種各樣的噪聲(包括語(yǔ)音)干擾甚至淹沒(méi)后，從含噪聲的語(yǔ)音信號(hào)中提取出純凈語(yǔ)音的過(guò)程。所以DingDong在嘈雜環(huán)境下，也能準(zhǔn)確識(shí)別語(yǔ)音指令。

通過(guò)麥克風(fēng)陣列波束形成進(jìn)行語(yǔ)音增強(qiáng)示意圖

從20世紀(jì)60年代開(kāi)始，Boll等研究者先后提出了針對(duì)使用一個(gè)麥克風(fēng)的語(yǔ)音增強(qiáng)技術(shù)，稱為單通道語(yǔ)音增強(qiáng)。因?yàn)樗褂玫柠溈孙L(fēng)個(gè)數(shù)最少，并且充分考慮到了語(yǔ)音譜和噪聲譜的特性，使得這些方法在某些場(chǎng)景下也具有較好的噪聲抑制效果，并因其方法簡(jiǎn)單、易于實(shí)現(xiàn)的特點(diǎn)廣泛應(yīng)用于現(xiàn)有語(yǔ)音通信系統(tǒng)與消費(fèi)電子系統(tǒng)中。

但是，在復(fù)雜的聲學(xué)環(huán)境下，噪聲總是來(lái)自于四面八方，且其與語(yǔ)音信號(hào)在時(shí)間和頻譜上常常是相互交疊的，再加上回波和混響的影響，利用單麥克風(fēng)捕捉相對(duì)純凈的語(yǔ)音是非常困難的。而麥克風(fēng)陣列融合了語(yǔ)音信號(hào)的空時(shí)信息，可以同時(shí)提取聲源并抑制噪聲。

目前基于線性陣列、平面陣列以及空間立體陣列的波束形成和降噪技術(shù)，效果均達(dá)到業(yè)界一流水平。

2013年科大訊飛車載降噪產(chǎn)品和國(guó)際競(jìng)爭(zhēng)對(duì)手效果對(duì)比

2.聲源定位（Source Localization）

現(xiàn)實(shí)中，聲源的位置是不斷變化的，這對(duì)于麥克風(fēng)收音來(lái)說(shuō)，是個(gè)障礙。麥克風(fēng)陣列則可以進(jìn)行聲源定位，聲源定位技術(shù)是指使用麥克風(fēng)陣列來(lái)計(jì)算目標(biāo)說(shuō)話人的角度和距離，從而實(shí)現(xiàn)對(duì)目標(biāo)說(shuō)話人的跟蹤以及后續(xù)的語(yǔ)音定向拾取，是人機(jī)交互、音視頻會(huì)議等領(lǐng)域非常重要的前處理技術(shù)。所以麥克風(fēng)陣列技術(shù)不限制說(shuō)話人的運(yùn)動(dòng)，不需要移動(dòng)位置以改變其接收方向，具有靈活的波束控制、較高的空間分辨率、高的信號(hào)增益與較強(qiáng)的抗干擾能力等特點(diǎn)，因而成為智能語(yǔ)音處理系統(tǒng)中捕捉說(shuō)話人語(yǔ)音的重要手段。

混響產(chǎn)生原因示意圖

3.去混響（Dereverberation）

一般我們聽(tīng)音樂(lè)時(shí)，希望有混響的效果，這是聽(tīng)覺(jué)上的一種享受。合適的混響會(huì)使得聲音圓潤(rùn)動(dòng)聽(tīng)、富有感染力?；祉懀≧everberation）現(xiàn)象指的是聲波在室內(nèi)傳播時(shí)，要被墻壁、天花板、地板等障礙物形成反射聲，并和直達(dá)聲形成疊加，這種現(xiàn)象稱為混響。

但是，混響現(xiàn)象對(duì)于識(shí)別就沒(méi)有什么好處了。由于混響則會(huì)使得不同步的語(yǔ)音相互疊加，帶來(lái)了音素的交疊掩蔽效應(yīng)（Phoneme Overlap Effect），從而嚴(yán)重影響語(yǔ)音識(shí)別效果。

影響語(yǔ)音識(shí)別的部分一般是晚期混響部分，所以去混響的主要工作重點(diǎn)是放在如何去除晚期混響上面，多年來(lái)，去混響技術(shù)抑制是業(yè)界研究的熱點(diǎn)和難點(diǎn)。利用麥克風(fēng)陣列去混響的主要方法有以下幾種：

(1)基于盲語(yǔ)音增強(qiáng)的方法（Blind signal enhancement approach），即將混響信號(hào)作為普通的加性噪聲信號(hào)，在這個(gè)上面應(yīng)用語(yǔ)音增強(qiáng)算法。

(2)基于波束形成的方法（Beamforming based approach），通過(guò)將多麥克風(fēng)對(duì)收集的信號(hào)進(jìn)行加權(quán)相加，在目標(biāo)信號(hào)的方向形成一個(gè)拾音波束，同時(shí)衰減來(lái)自其他方向的反射聲。

(3)基于逆濾波的方法（An inverse filtering approach），通過(guò)麥克風(fēng)陣列估計(jì)房間的房間沖擊響應(yīng)（Room Impulse Response, RIR），設(shè)計(jì)重構(gòu)濾波器來(lái)補(bǔ)償來(lái)消除混響。

現(xiàn)在科大訊飛實(shí)現(xiàn)的基于麥克風(fēng)陣列的去混響技術(shù)能很好的對(duì)房間的混響情況進(jìn)行自適應(yīng)的估計(jì)，從而很好的進(jìn)行純凈信號(hào)的還原，顯著的提升了語(yǔ)音聽(tīng)感和識(shí)別效果，在測(cè)試對(duì)比中，多種混響時(shí)間下識(shí)別效果接近手機(jī)近講水平。

混響語(yǔ)音信號(hào)頻譜

經(jīng)過(guò)去混響后的語(yǔ)音信號(hào)頻譜

4.聲源信號(hào)提?。ǚ蛛x）

家里人說(shuō)話太多，DingDong聽(tīng)誰(shuí)的呢。這個(gè)時(shí)候就需要DingDong聰明的辨別出哪個(gè)聲音才是指令。而麥克風(fēng)陣列可以實(shí)現(xiàn)聲源信號(hào)提取，聲源信號(hào)的提取就是從多個(gè)聲音信號(hào)中提取出目標(biāo)信號(hào)，聲源信號(hào)分離技術(shù)則是將需要將多個(gè)混合聲音全部提取出來(lái)。

通過(guò)麥克風(fēng)陣列波束形成做語(yǔ)音提取和分離

利用麥克風(fēng)陣列做信號(hào)的提取和分離主要有以下幾種方式：

(1)基于波束形成的方法，即通過(guò)向不同方向的聲源分別形成拾音波束，并且抑制其他方向的聲音，來(lái)進(jìn)行語(yǔ)音提取或分離；

(2)基于傳統(tǒng)的盲源信號(hào)分離（Blind Source Separation）的方法進(jìn)行，主要包括主成分分析（Principal Component Analysis，PCA）和基于獨(dú)立成分分析（Independent Component Analysis，ICA）的方法。

當(dāng)下的麥克風(fēng)陣列

麥克風(fēng)陣列技術(shù)雖然已經(jīng)可以達(dá)到相當(dāng)?shù)募夹g(shù)水平，但是總體上還是存在一些問(wèn)題的，比如當(dāng)麥克風(fēng)和信號(hào)源距離太遠(yuǎn)時(shí)（比如10m、20m距離），錄制信號(hào)的信噪比會(huì)很低，算法處理難度很大；對(duì)于便攜設(shè)備來(lái)說(shuō)，受設(shè)備尺寸以及功耗的限制，麥克風(fēng)的個(gè)數(shù)不能太多，陣列尺寸也不能太大。而分布式麥克風(fēng)陣列技術(shù)則是解決當(dāng)前問(wèn)題的一個(gè)可能途徑。所謂分布式陣列就是將子陣元或子陣列布局到更大的范圍內(nèi)，相互之間通過(guò)有線或者無(wú)線的方式進(jìn)行數(shù)據(jù)的交換和共享，并在此基礎(chǔ)上進(jìn)行廣義上的聲源定位、波束形成等技術(shù)實(shí)現(xiàn)信號(hào)處理。

相對(duì)于目前集中式的麥克風(fēng)陣列，分布式陣列的優(yōu)勢(shì)也是非常明顯的。首先分布式麥克風(fēng)陣列（尤其無(wú)線傳輸）的尺寸的限制就不存在了；另外，陣列的節(jié)點(diǎn)可以覆蓋很大的面積——總會(huì)有一個(gè)陣列的節(jié)點(diǎn)距離聲源很近，錄音信噪比大幅度提升，算法處理難度也會(huì)降低，總體的信號(hào)處理的效果也會(huì)有非常顯著的提升，因此分布式陣列有可能是未來(lái)智能家居和會(huì)議系統(tǒng)中的主流方案。目前科大訊飛已經(jīng)開(kāi)始了相關(guān)技術(shù)研究的布局工作。

在萬(wàn)物互聯(lián)的今天，麥克風(fēng)陣列技術(shù)已經(jīng)深刻的走進(jìn)了我們的日常生活。在智能車載、智能家居、機(jī)器人、可穿戴設(shè)備等應(yīng)用熱潮正興起的時(shí)代，語(yǔ)音交互由于其便捷性，成了人機(jī)交互入口的第一選擇，麥克風(fēng)陣列自然也成為其中非常重要的前端技術(shù)。

在美國(guó)當(dāng)?shù)貢r(shí)間2016年9月13日，國(guó)際多通道語(yǔ)音分離和識(shí)別大賽（CHiME）組委會(huì)在美國(guó)舊金山Google公司揭曉了第四屆CHiME-4的大賽結(jié)果，在公布結(jié)果之前，我們先來(lái)看看這個(gè)CHiME是什么？CHiME（Computational Hearing in Multisource Environments）始辦于2011年，由法國(guó)計(jì)算機(jī)科學(xué)與自動(dòng)化研究所、英國(guó)謝菲爾德大學(xué)、美國(guó)三菱電子研究實(shí)驗(yàn)室等知名研究機(jī)構(gòu)所發(fā)起，比賽的目的是希望學(xué)術(shù)界和工業(yè)屆針對(duì)高噪聲和混響等現(xiàn)象影響下的實(shí)際場(chǎng)景提出全新的語(yǔ)音識(shí)別解決方案，以進(jìn)一步提升語(yǔ)音識(shí)別的實(shí)用性和普適性，屬于國(guó)際語(yǔ)音識(shí)別評(píng)測(cè)中的高難度比賽。

今年科大訊飛首次參加該項(xiàng)賽事，通過(guò)和中國(guó)科學(xué)技術(shù)大學(xué)杜俊教授團(tuán)隊(duì)、西北工業(yè)大學(xué)陳景東教授、佐治亞理工學(xué)院李錦輝教授等國(guó)內(nèi)外知名專家的深入合作，斬獲全部三個(gè)項(xiàng)目的桂冠并大幅刷新了各項(xiàng)目的歷史最好記錄，三個(gè)項(xiàng)目分別是六麥克風(fēng)、雙麥克風(fēng)和單麥克風(fēng)場(chǎng)景下的語(yǔ)音分離和英文識(shí)別任務(wù)。雖然比賽的語(yǔ)種是英文，但無(wú)論中文還是英文，在語(yǔ)音技術(shù)上是相通的。