訓(xùn)練集用來訓(xùn)練模型，驗(yàn)證集用于模型的選擇，而測試集用于最終對學(xué)習(xí)方法的評估。

在學(xué)習(xí)到不同的復(fù)雜度的模型中，選擇對驗(yàn)證集有最小預(yù)測誤差的模型，由于驗(yàn)證集有足夠多的數(shù)據(jù)，用它對模型進(jìn)行選擇也是有效的。

但是，在許多實(shí)際應(yīng)用中數(shù)據(jù)是不充足的，為了選擇好的模型，可以采用交叉驗(yàn)證方法，交叉驗(yàn)證的基本思想是重復(fù)地使用數(shù)據(jù)；把給定的數(shù)據(jù)進(jìn)行切分，將切分的數(shù)據(jù)組合為訓(xùn)練集和測試集，在此基礎(chǔ)上反復(fù)地進(jìn)行訓(xùn)練、測試以及模型選擇。

機(jī)器學(xué)習(xí)

1、簡單交叉驗(yàn)證

簡單交叉驗(yàn)證是：首先隨機(jī)地將已給數(shù)據(jù)分成兩部分，一部分作為訓(xùn)練集，另一部分作為測試集（比如，70%的數(shù)據(jù)為訓(xùn)練集，30%的數(shù)據(jù)為測試集）；然后用訓(xùn)練集在各種情況下（例如，不同的參數(shù)個(gè)數(shù)）訓(xùn)練模型，從而得到不同的模型；在測試集上評價(jià)各個(gè)模型的測試誤差，選出測試誤差最小的模型。

2、S折交叉驗(yàn)證

應(yīng)用最多是S折交叉驗(yàn)證，方法如下：首先隨機(jī)地將已給數(shù)據(jù)切分為S個(gè)互不相交的大小相同的子集；然后利用S-1個(gè)子集的數(shù)據(jù)訓(xùn)練模型，利用余下的子集測試模型；將這一過程對可能的S種選擇重復(fù)進(jìn)行；最后選出S次評測中平均測試誤差最小的模型。

3、留一交叉驗(yàn)證

S折交叉驗(yàn)證的特殊情形是S==N，稱為留一交叉驗(yàn)證，往往在數(shù)據(jù)缺乏的情況下使用，這里，N是給定數(shù)據(jù)集的容量。