概述

線性回歸是利用數(shù)理統(tǒng)計中回歸分析，來確定兩種或兩種以上變量間相互依賴的定量關(guān)系的一種統(tǒng)計分析方法，運用十分廣泛。其表達形式為y = w’x+e，e為誤差服從均值為0的正態(tài)分布。

回歸分析中，只包括一個自變量和一個因變量，且二者的關(guān)系可用一條直線近似表示，這種回歸分析稱為一元線性回歸分析。如果回歸分析中包括兩個或兩個以上的自變量，且因變量和自變量之間是線性關(guān)系，則稱為多元線性回歸分析。

通過線性回歸構(gòu)造出來的函數(shù)一般稱之為了線性回歸模型。線性回歸模型的函數(shù)一般寫作為：

損失函數(shù)

把每條小豎線的長度加起來就是預(yù)測值與真實值的差距。那每條小豎線的長度的加和怎么算？其實就是歐式距離加和，公式如下：

通過線性回歸算法，我們可能會得到很多的線性回歸模型，但是不同的模型對于數(shù)據(jù)的擬合或者是描述能力是不一樣的。我們的目的最終是需要找到一個能夠最精確地描述數(shù)據(jù)之間關(guān)系的線性回歸模型。這是就需要用到代價函數(shù)。代價函數(shù)就是用來描述線性回歸模型與正式數(shù)據(jù)之前的差異。如果完全沒有差異，則說明此線性回歸模型完全描述數(shù)據(jù)之前的關(guān)系。如果需要找到最佳擬合的線性回歸模型，就需要使得對應(yīng)的代價函數(shù)最小，相關(guān)的公式描述如下：

Hypothesis：表示的就是線性回歸模型

Cost Function：代價函數(shù)

Goal：就是要求對應(yīng)的代價函數(shù)最小

線性回歸模型求解

假設(shè)在線性回歸模型中僅僅只存在一個函數(shù)，就是斜率參數(shù)。即theta-0是0。如果存在如下的數(shù)據(jù)：

圖中對應(yīng)的3個點分別為（1，1），（2，2），（3，3）那么很明顯，最佳線性回歸模型就是h（x）=x。如果通過實驗證明呢？我們畫出在theta-1處于不同值的代價函數(shù)。

線性回歸模型的特點

① 建模速度快，不需要很復(fù)雜的計算，在數(shù)據(jù)量大的情況下依然運行速度很快。

② 可以根據(jù)系數(shù)給出每個變量的理解和解釋。

③ 對異常值很敏感。