? ?線性回歸是最經(jīng)典的最小二乘法、卡爾曼、維納濾波器的基礎(chǔ)，也是我在研究生階段接觸的第一個算法，第一次使用也是給導(dǎo)師做項目的時候用到的，工作之后發(fā)現(xiàn)這些算法在工程中無處不在，但是不幸的是很多朋友不會用這些數(shù)學(xué)算法，只會用滑動均值濾波、平均值濾波、低通、高通、帶通、陷波這些簡單的算法，這些算法雖然簡單，但是它的作用確實沒有最小二乘、卡爾曼濾波這些算法的效果好。前提是要正確運用這些算法，否則用了還不如不用。

其實回歸算法是相對分類算法而言的，與我們想要預(yù)測的目標(biāo)變量y的值類型有關(guān)。如果目標(biāo)變量y是分類型變量，如預(yù)測用戶的性別（男、女），預(yù)測月季花的顏色（紅、白、黃……），預(yù)測是否患有肺癌（是、否），那我們就需要用分類算法去擬合訓(xùn)練數(shù)據(jù)并做出預(yù)測，學(xué)術(shù)上一般用SVM(支持向量機)、粒子群算法、神經(jīng)網(wǎng)絡(luò)算法等。但是在嵌入式開發(fā)尤其是單片機開發(fā)過程中，這些復(fù)雜算法因其復(fù)雜程度和運算量的關(guān)系，無法得到工程化應(yīng)用，一般則用計算量較小更容易實現(xiàn)的卡爾曼或最小二乘法，然而一元線性回歸則是最簡單、理解起來最容易接受，也是應(yīng)用最廣泛的算法，當(dāng)然也是現(xiàn)在比較火熱的機器學(xué)習(xí)行業(yè)的入門算法。

? ? ??一元線性回歸

一元線性回歸顧名思義就是一個自變量（可以是ADC采集到的電壓值、DS18B20采集到的溫度值、也可以是光敏傳感器采集的光照強度值）。下面我們以工作中最常見的電壓采集為例，用一元線性回歸的方法來預(yù)測我們的電壓采集的線性方程，以我們物聯(lián)網(wǎng)開發(fā)板的電壓采集系統(tǒng)為例：

圖1 輸入電壓12VADC電壓采集電路

因為單片機可以采集的電壓范圍是0-3.3V（基本上采集滿量程電壓百分之六十是最準確的，往往硬件工程師在設(shè)計電路的時候也是這么考慮的），大家可以看到硬件電路采用分壓電阻，將12V的電壓分成1/11，將這個值送給單片機ADC，單片機采集到這個電壓值，乘以11就是我們采集的電壓值，這個我們很容易能夠理解，因為輸入電壓基本上在12V上位微笑波動的數(shù)值，很容易我們能夠反向回推。現(xiàn)實中我們也可以這么做，當(dāng)然前提是我們要求采集的精度不高。但是在工控領(lǐng)域或者要求精度較高的測控領(lǐng)域，我們就要用到線性回歸的的方法了。

假設(shè)電壓輸入范圍是4-12V，因為ADC模塊采集會有各種各樣的誤差（積分誤差、微分誤差、零漂、電路中電阻的精度誤差）導(dǎo)致我們采集到的電壓值有一定的誤差，此時要很好地解決這個問題，我們就可以用最小二乘法來預(yù)測線性方程（用到的就是一元線性回歸）。當(dāng)然假設(shè)我們的系統(tǒng)是線性系統(tǒng)，這個要我們硬件設(shè)計的小伙伴盡量從硬件角度多考慮（電路阻抗匹配的設(shè)計、PCB的走線、ADC參考電壓等方面去考慮），保證系統(tǒng)最大化接近線性就可以，系統(tǒng)不可能完全線性的。硬件偏差太大，軟件也是有心殺賊無力回天了，從這個角度可以說軟件是輔助硬件，加上算法是最大化輔助硬件。

圖2輸入電壓6V-12VADC電壓采集電路

假設(shè)線性方程（1）所示：

y=β0+β1*x? ? ? ? （1）

這就是我們是我們平常所說的正比例函數(shù)。x是ADC采集到的電壓值，Y是電源輸入的電壓值（6V-12V）β0、β1就是線性回歸系數(shù)，也是我們用數(shù)學(xué)方法要預(yù)測的系數(shù)。

當(dāng)我們只用一個x來預(yù)測y，就是一元線性回歸，也就是在找一個直線來擬合數(shù)據(jù)。比如，我采集到的一組數(shù)據(jù)畫出來的散點圖，y代表輸入電壓，x是單片機ADC模塊采集的值，線性回歸就是要找一條直線，并且讓這條直線盡可能地擬合圖中的數(shù)據(jù)點。

圖3?線性回歸擬合圖

這里我們得到的擬合方程是：y =β^0+β^1*X。計算?圖3輸入電壓（黃色的離散點）與用擬合函數(shù)（綠色線）計算出來電壓之間的誤差ei（ei=yi-y^i）的值，再將其平方（為了消除負號），對于我們數(shù)據(jù)中的每個點如此計算一遍，再將所有的 e

相加，就能量化出擬合的直線和實際之間的誤差。

用公式表示就是：

（2）

這個公式是殘差平方和。也就是我們對“直線”的評價標(biāo)準。這個函數(shù)的值越小，說明直線越能擬合我們的數(shù)據(jù)。

最小二乘估計

我們知道了直線擬合的評價標(biāo)準，接下來我們目的是怎么用這個標(biāo)準來預(yù)測β^0和β^1這兩個系數(shù)的值。

公式（2）是一個二次方程，我們知道一元二次方程差不多長下圖這樣：

上面公式中β^0?和?β^1?未知，有兩個未知參數(shù)的二次方程，這個方程開口向上，那么倒數(shù)為0就是圖的極點，就是所說的殘差和最小，滿足了我們的評價標(biāo)準。還記得微積分知識的話，就知道導(dǎo)數(shù)為0時，Q取最小值，因此我們分別對β^0和β^1求偏導(dǎo)并令其為0：

（3）

xi，yi（i=1,2,…n）都是已知的（xi單片機采集的，yi高精度萬用表采集的），全部代入上面兩個式子，就可求得β^0和β^1的值啦。這就是最小二乘法，“二乘”是平方的意思。

上面（3）求解得到

（4）

飛魚上學(xué)那會用matlab采集的部分數(shù)據(jù)做了個簡單的擬合如下圖所示：

大家最關(guān)注的還是單片機如何編程，下面是該算法的核心實現(xiàn)。

代碼實現(xiàn)

該算法可以對多個ADC通道進行最小二乘最優(yōu)估計，這個也是經(jīng)過飛魚反復(fù)驗證的，因為家里條件有限，就不給大家做實驗現(xiàn)象的展示了，最小二乘用途廣泛，用法靈活，它還可以估計傳感器的量測誤差。

編輯：黃飛

?