以下文章來源于FPGA算法工程師，作者18線工程師

前言

前面我們介紹了匹配濾波器，本文將介紹維納濾波器。首先我們回顧了維納濾波的主人公Norbert Wiener，然后描述了維納濾波的基本原理和推導，最后給出一個簡單的維納濾波應用。

1. 維納生平

維納濾波的主人公便是Norbert Wiener，美國應用數(shù)學家，控制論的創(chuàng)始人。

1894年11月26日，諾伯特·維納（Norbert Wiener）出生在美國密蘇里州哥倫比亞市的一個猶太人家庭。維納成名后出版過兩部自傳，第一本是1953年的《昔日神童》，記述了自己一些童年往事；第二本是1956年的《我是一個數(shù)學家》，主要說的是他后半生的事情。

1913年是青年維納學術成績燦爛斐然的一年。他以一篇哲學論文贏得哈佛大學授予Bowdoin獎，并申請取劍橋大學留學，師從邏輯哲學大師羅素（Bertrand Russell），維納接收老師的建議，接收數(shù)學方面的訓練，選讀了許多數(shù)學課程，接受了哈代（G.H. Hardy）等順序額大師的直接指導。

維納原計劃在劍橋訪學一年，但第二學期羅素要去哈佛講學，便建議他到德國哥廷根大學去修讀希爾伯特（David Hilbert）和朗道（Edmund Landau）的課程。

在哥廷根大學，維納修完了朗道的一門代數(shù)群論課，并在希爾伯特指導下研究微分方程。在哥廷根所受的教育使維納受益非淺。

事實上，正是劍橋和哥廷根讓神童維納轉變成一名青年數(shù)學家。維納在其后五十多年的科學生涯中，先后涉足哲學、數(shù)學、物理學、工程學和生物學，在各個領域中都取得了豐碩成果，成為學識淵博、多才多藝的科學巨匠?；厥淄聲r，他常常感激羅素并十分懷念劍橋與哥廷根。

第一次世界大戰(zhàn)爆發(fā)后他從德國返回美國，于1919年到麻省理工學院（MIT）任職講師，從此開始了他的學術生涯，并在那里工作和生活直至去世。

1920年，維納將法國數(shù)學家Fréchet關于極限和微分的廣義理論推廣到矢量空間（維納稱之為“Differential Space”），并給出了一套完整的公理集合，后來被稱為維納空間理論。維納的研究成果為馮·諾依曼（John von Neumann）在1927年提出希爾伯特空間中的算子公理方法打下了基礎。

維納是第一個從數(shù)學上嚴格而深刻地研究隨機布朗運動的數(shù)學家。1921年，他發(fā)表了一篇關于布朗運動的重要論文，出發(fā)點是函數(shù)空間中的測度論。1923年，他第一次給出了隨機函數(shù)的嚴格定義，并指出它是布朗運動的理論模型。其后，數(shù)學文獻上把定義在連續(xù)函數(shù)空間中的一種描述布朗運動的測度稱為維納測度，相應的隨機過程稱為維納過程，在這個測度上的積分稱為維納積分。

1923-1925年間，維納對數(shù)學上的位勢理論作出了重要貢獻。1926年，維納再次訪學來到德國哥廷根和英國劍橋。隨后幾年間，他在調和分析的研究上有了重大突破。維納從物理學借來各種函數(shù)作為調和分析的工具，把它們寫成Fourier變換的形式，然后把它們同通訊理論聯(lián)系起來，并獲得了現(xiàn)代光譜分布。

1929年，維納還指導當時在貝爾電話公司實習的MIT博士生李郁榮（Yuk-Wing Lee）研制了“Lee—Wiener網絡”并獲得一項專利。

1932年，維納與天文學家霍普夫（Eberhard Hopf）合作，把霍普夫關于輻射平衡態(tài)的研究推廣到一類給定在半無窮區(qū)間上帶差核的奇異積分方程。此類方程后來被稱為維納—霍普夫方程。

1935-1936年間，維納接受了已學成回國在清華大學電機系任職的李郁榮的建議和推薦，并獲得了北京清華大學校長梅貽琦以及數(shù)學系主任熊慶來的邀請，來到了北京，在清華大學同時出任數(shù)學系和電機系客座教授。期間，他在數(shù)學系和李郁榮合作研究Fourier變換數(shù)學濾波器，于是后來有了維納濾波器，這項研究還讓他獲得了一項發(fā)明專利。維納濾波器是當時線性濾波和預測理論中最為重要的科學成果，成為后來通信理論及其工程應用發(fā)展的關鍵。他又和李郁榮一道與工學院院長、另一名MIT博士海歸顧毓琇（Yu-Hsiu Ku）合作，研究模擬計算機的數(shù)字化。

1940年，基于在清華與李郁榮和顧毓琇的合作研究成果，維納給羅斯?？偨y(tǒng)的科學顧問范內瓦·布什（Vannevar Bush）寫了一封長信，提出了設計新型電子計算機的幾條原則：不采用模擬程式而利用數(shù)字程式；使用電子元件而非機械部件；采用二進制而不是十進制；在機內存放數(shù)據(jù)和計算表格，等等。布什當年在MIT任職，是李郁榮的博士導師。1944年，布什撰寫了美國科學政策的報告：《科學：無盡的前沿》。

第二次世界大戰(zhàn)期間，維納和俄羅斯數(shù)學家柯爾莫哥洛夫（A. N. Kolmogorov）同時獨立地發(fā)展了平穩(wěn)時間序列估計理論。1959年，在維納的倡導下MIT建立了世界上第一個人工智能研究小組和實驗室，開始了早期智能機器人的研究。

1960年，維納應邀參加了IFAC（International Federation of Automatic Control）在莫斯科舉行的第一屆國際會議，以新興科學控制論創(chuàng)始人的姿態(tài)參會。而在1954年，錢學森的《工程控制論》英文版于1954年由美國麥格勞-希爾集團出版，中文版1958年由科學出版社發(fā)行，該書將控制論應用于工程技術領域，建立受控工程系統(tǒng)分析、設計與運行的理論體系，提出系統(tǒng)辨識、最優(yōu)控制、容錯系統(tǒng)等核心理論。

維納一生發(fā)表論文240多篇，著作14本，內容涵蓋數(shù)學、物理、工程、生物和哲學等多個領域。

1964年1月，維納榮獲由美國總統(tǒng)約翰遜頒發(fā)的國家科學勛章，表彰他“在純粹數(shù)學和應用數(shù)學方面并且勇于深入到工程和生物科學中去的多種令人驚異的貢獻以及在這些領域中具有深遠意義的開創(chuàng)性工作”。同年3月18日，維納在瑞典斯德哥爾摩訪問時不幸病世，享年70歲。

維納一生發(fā)表論文240多篇，著作14本，內容涵蓋數(shù)學、物理、工程、生物和哲學等多個領域。維納參與了香農（Claude Shannon）信息論的開創(chuàng)工作。維納從直流電路出發(fā)來理解和詮釋信息論，把消息看作可測事件的時間序列并用統(tǒng)計方法來處理通信問題，在數(shù)學上采取平穩(wěn)隨機過程理論及各種變換技術進行研究。他在信息論方面與香農并行工作時亦有合作?？墒牵c香農相反，在信息論的研究中維納堅持走模擬而非數(shù)字路線，即使用連續(xù)而非離散的數(shù)學理論和工具，最后沒有成功。

維納闡明了現(xiàn)代系統(tǒng)控制思想和反饋調節(jié)原理。第二次世界大戰(zhàn)開始后，維納參與了火炮控制研究，進而建立了Cybernetics理論。

2 維納濾波基本原理

維納發(fā)表的《控制論》和《平穩(wěn)時間序列的外推、內插和平滑問題》,建立了維納濾波理論。維納濾波器的求解，要求知道隨機信號的統(tǒng)計分布規(guī)律(自相關函數(shù)或功率譜密度),得到的結果是封閉公式。采用譜分解的方法求解,簡單易行，具有一定的工程實用價值,并且物理概念清楚，但不能實時處理，維納濾波的最大缺點是僅適用于一維平穩(wěn)隨機信號。

現(xiàn)在考慮使用濾波器h(t)對接收/觀測信號y(t)=x(t)+n(t)對原信號x(t)進行估計：

由于估計誤差e(t)=x(t)-x(t)是隨機變量，不適合作為估計器的性能評價標準，考慮采用均方誤差作為測度，衡量濾波器的性能。

均方誤差可表示為：

當均方誤差J最小時，即為最小均方誤差MMSE準則。于是，線性最優(yōu)濾波器的沖激響應為：

為了真正實現(xiàn)維納濾波，需要滿足系統(tǒng)是線性的，并且是離散時間（便于數(shù)字系統(tǒng)實現(xiàn)）的因果系統(tǒng)。

考慮線性離散系統(tǒng)：

線性離散時間濾波器

輸入信號序列x(n)，濾波器沖激響應序列w(n)，期望信號序列d(n)，y(n)為濾波器輸出的估計值，估計誤差e(n)。估計誤差表示為e(n)=d(n)一y(n)。

要設計出最優(yōu)濾波器，信號處理領域的前輩門總結出MMSE統(tǒng)計優(yōu)化準則：使估計誤差均方值最小化的統(tǒng)計優(yōu)化準則。

那么怎么去量化這一統(tǒng)計準則，需要滿足什么條件？

考慮上圖所示的濾波器輸出，有：

估計誤差：e(n)=d(n)一y(n)。

采用MMSE準則設計最有濾波器，定義代價函數(shù)為均方誤差：

在通信系統(tǒng)中，調制波形一般是IQ復數(shù)信號，濾波器抽頭系數(shù)wk一般也是復數(shù)。這里我們將抽頭系數(shù)wk定義實部+虛部的形式：

為了求解代價函數(shù)j(n)的最小值，需要用到微分計算方法，求導。

定義梯度算符：

于是，對代價函數(shù)j(n)計算共軛梯度，有：

我們知道，某個曲線函數(shù)在斜率為0時，可取得極值。為了使得代價函數(shù)j(n)最小，我們需要

于是，得到：

求出偏導數(shù)：

于是我們可以得到

令eopt(n)表示濾波器在最有條件下的估計誤差，于是

我們可以看到，代價函數(shù)最小化的充要條件是估計誤差eopt(n)與輸入信號x(n)正交，這便是著名的正交性原理。

但到這一步，我們依然沒有解出濾波器的系數(shù)w(n)。

進一步，我們可以得到：

令yopt(n)是在最小均方誤差下濾波器的輸出，則正交性原理等價為：

這便是正交性原理引理。

再根據(jù)正交性原理，我們可以得到：

w(opt,i)表示最優(yōu)濾波器響應的第i個系數(shù)，進一步展開得到：

上式中，數(shù)學期望項E{x(n一k)x*(n-i)}代表輸入信號在滯后i-k的自相關函數(shù)，記為：

數(shù)學期望項E{x(n一k)x*(n-i)}代表輸入信號x(n一k)與期望信號d(n)在滯后-k的互相關函數(shù)，記為：

于是我們可以得到著名的Wiener-Hopf方程：

觀察上式，要求解濾波器系數(shù)w(opt,i)，無窮多個方程求解，是不可能實現(xiàn)的。

于是，工程師們從設計實現(xiàn)的角度出發(fā)，假設濾波器系數(shù)為有限的M個，則濾波器的輸出可表示為：

這時候，Wiener-Hopf方程可以簡化為M個齊次方程。

定義輸入信號的自相關矩陣為：

輸入信號與期望信號的互相關向量：

于是，Wiener-Hopf方程的矩陣表達式可以寫為：

Wopt即為M階的維納濾波器抽頭系數(shù)。

到此刻，我們雖然得到了維納濾波器系數(shù)的表達式，可是在實際情況下，我們可能無法提前得到期望信號d(n)。

進一步，我們根據(jù)正交性原理的引理，得到：

利用Z變換，得到

考慮輸入信號與噪聲不相關，可以得到

在平穩(wěn)條件下，我們可以轉換到頻域進行計算。

3 維納濾波的應用

雖然理論上，維納濾波的推導得到了最優(yōu)線性濾波器的解，但由于信號的隨機性和信號譜分解困難，實際應用中比較困難。一些比較簡單的應用，如圖像去噪，通信中對于非高速移動場景的信道估計可用于濾波去噪和抑制干擾。

下面舉例，在頻域通過維納濾波對正弦信號進行去噪。

%Frequency domain Wiener filtering
% sine signal + noise
fx=1; %signal frequencyinHz
wx=2*pi*fx; %signal frequencyinrad/s
fs=60; %sampling frequencyinHz
tiv=1/fs; %time interval between samples;
t=0(3-tiv); %time intervalsset
x=sin(wx*t); %signal dataset
Nx=length(x);
v=randn(1,Nx); %normal noise
y=x+v; %sine+noise
%Wiener computations
X=fft(x); %Fourier transform of x
Sxx=abs(X).^2; %Sxx
V=fft(v); %Fourier transform of v
Svv=abs(V).^2; %Svv
WH=Sxx./(Sxx+Svv); %Fourier transform of the Wiener filter
Y=fft(y); %Fourier transform of y
fly=real(ifft(Y.*WH)); %apply the Wiener filter
%display---------------------------
figure(1)
plot(t,y,'k'); %plots figure
axis([0 3 -3.5 3.5]);
xlabel('seconds'); title('sine+noise signal');
figure(2)
plot(t,fly,'k'); %plots figure
axis([0 3 -3.5 3.5]);
xlabel('seconds'); title('filtered signal');

加噪正弦信號

維納濾波后的信號

關于維納濾波，就介紹到這里，下一篇，我們將介紹更為實用的Kalman濾波。