所謂Underfitting，即模型沒有學到數(shù)據(jù)內(nèi)在關(guān)系，如下圖左一所示，產(chǎn)生分類面不能很好的區(qū)分X和O兩類數(shù)據(jù)；產(chǎn)生的深層原因，就是模 型假設空間太小或者模型假設空間偏離。所謂Overfitting，即模型過渡擬合了訓練數(shù)據(jù)的內(nèi)在關(guān)系，如下圖右一所示，產(chǎn)生分類面過好地區(qū)分X和O兩 類數(shù)據(jù)，而真實分類面可能并不是這樣，以至于在非訓練數(shù)據(jù)上表現(xiàn)不好；產(chǎn)生的深層原因，是巨大的模型假設空間與稀疏的數(shù)據(jù)之間的矛盾。

在實戰(zhàn)中，可以基于模型在訓練集和測試集上的表現(xiàn)來確定當前模型到底是Underfitting還是Overfitting，判斷方式如下表：

訓練集表現(xiàn)測試集表現(xiàn)問題
< 期望目標值 ? < 期望目標值 ? Underfitting ?
> 期望目標值 ? 接近或略遜于訓練集 ? 合適 ?
> 期望目標值 ? 遠差于訓練集 ? Overfitting ?
怎么解決Underfitting和Overfitting問題？問題數(shù)據(jù)特征模型
Underfitting ? 清洗數(shù)據(jù) ? 1. 增加特征2. 刪除噪音特征 ? 1. 調(diào)低正則項的懲罰參數(shù)

2. 換更“復雜”的模型（如把線性模型換為非線性模型）

3. 多個模型級聯(lián)或組合 ?
Overfitting ? 增加數(shù)據(jù) ? 1. 進行特征選擇

2. 降維（如對特征進行聚類、主題模型進行處理等） ? 1. 提高正則項的懲罰參數(shù)

2. 減少訓練迭代次數(shù)

3. 換更“簡單”的模型（如把非線性模型換為線性模型） ?
總結(jié)

綜上所述，機器學習解決問題涉及到問題建模、準備訓練數(shù)據(jù)、抽取特征、訓練模型和優(yōu)化模型等關(guān)鍵環(huán)節(jié)，有如下要點：

理解業(yè)務，分解業(yè)務目標，規(guī)劃模型可預估的路線圖。

數(shù)據(jù)：

y數(shù)據(jù)盡可能真實客觀；

訓練集/測試集分布與線上應用環(huán)境的數(shù)據(jù)分布盡可能一致。

特征：

利用Domain Knowledge進行特征抽取和選擇；

針對不同類型的模型設計不同的特征。

模型：

針對不同業(yè)務目標、不同數(shù)據(jù)和特征，選擇不同的模型；

如果模型不符合預期，一定檢查一下數(shù)據(jù)、特征、模型等處理環(huán)節(jié)是否有bug；

考慮模型Underfitting和Qverfitting，針對性地優(yōu)化。