因為支持向量機算是通過所有數(shù)據(jù)尋找最優(yōu)分類方式的算法，而感知機算法是尋找某一分類方式的算法，所以，多數(shù)情況下，支持向量機求得的分類超平面優(yōu)于感知機算法求得的分類超平面。



圖片來源：中國慕課大學(xué)《機器學(xué)習(xí)概論》

因為感知機算法的性能較差，所以感知機算法已經(jīng)不再被使用。但感知機算法對于機器學(xué)習(xí)算法的發(fā)展具有如下意義。

一、提出機器學(xué)習(xí)算法框架

假設(shè)某系統(tǒng)的輸入為X，輸出為Y。機器學(xué)習(xí)算法的目的尋找預(yù)測函數(shù)f(X,θ)，預(yù)測函數(shù)的形式通過人為設(shè)定的方式確定，機器學(xué)習(xí)算法的求解過程是通過訓(xùn)練數(shù)據(jù)集(Xi,yi)，i=1~N求解θ。



圖片來源：中國慕課大學(xué)《機器學(xué)習(xí)概論》

在感知機算法中，待估及參數(shù)θ=(W,b)，f(X,θ)=sgn(WTX+b)，其中，sgn代表符號函數(shù)（x>0,sgn(x)=1；x=0,sgn(x)=0；x<0,sgn(x)=-1）。若X的維度為M，則θ的維度為M+1。此機器學(xué)習(xí)框架可應(yīng)用于強化學(xué)習(xí)、無監(jiān)督學(xué)習(xí)等機器學(xué)習(xí)領(lǐng)域。 ?

當(dāng)訓(xùn)練數(shù)據(jù)的分布較復(fù)雜，所選取的f(X,θ)較簡單時，無論θ為何值均不可全面模擬訓(xùn)練數(shù)據(jù)的分布。此種訓(xùn)練數(shù)據(jù)比預(yù)測函數(shù)復(fù)雜的情況被稱為模型欠擬合（Underfit）。

當(dāng)訓(xùn)練數(shù)據(jù)的復(fù)雜度和f(X,θ)的復(fù)雜度相匹配時，模型預(yù)測能力最佳。

當(dāng)訓(xùn)練數(shù)據(jù)的分布較簡單，所選取的f(X,θ)較復(fù)雜時，預(yù)測函數(shù)可以準(zhǔn)確擬合數(shù)據(jù)，但在沒有訓(xùn)練數(shù)據(jù)的區(qū)域，預(yù)測函數(shù)也會出現(xiàn)復(fù)雜函數(shù)值分布，不能反映訓(xùn)練數(shù)據(jù)分布的真實情況。此種預(yù)測函數(shù)比訓(xùn)練數(shù)據(jù)復(fù)雜的情況被稱為模型過擬合（Overfit）。模型過擬合時，預(yù)測函數(shù)可以精確預(yù)測訓(xùn)練數(shù)據(jù)，但無法精確預(yù)測測試數(shù)據(jù)。



圖片來源：中國慕課大學(xué)《機器學(xué)習(xí)概論》

二、感知機算法是消耗較少內(nèi)存資源算法的先驅(qū)

2014年，Meta（Facebook）公司的DeepFace人臉識別系統(tǒng)需要通過超過400萬張的人臉圖片求解維度超過1800萬的參數(shù)θ（個人理解：需要求解一個未知數(shù)超過1800萬個的問題）。

上述求解問題若采用支持向量機算法進行求解，需要將超過400萬張的人臉圖片的數(shù)據(jù)均輸入至計算機，并需要計算機求解全局優(yōu)化問題，此全局優(yōu)化問題對計算機的存儲資源和計算資源消耗較大。



圖片來源：中國慕課大學(xué)《機器學(xué)習(xí)概論》

相比較而言，感知機算法只需存儲W和b，并通過訓(xùn)練數(shù)據(jù)調(diào)整W和b的值（感知機算法通過加減法的方式調(diào)整W和b的值，此方式需要的計算資源較少），再循環(huán)調(diào)整W和b值過程，即可完成求解。其所需要的存儲資源和計算資源較小。 目前，機器學(xué)習(xí)領(lǐng)域的訓(xùn)練數(shù)據(jù)量較大，類似感知機算法的求解方式，即每次輸送小部分?jǐn)?shù)據(jù)訓(xùn)練并循環(huán)的算法逐漸受到歡迎。而類似支持向量機，即針對所有數(shù)據(jù)進行全局優(yōu)化的算法逐漸不占優(yōu)勢。

審核編輯：劉清