此外，xgboost還支持候選分位點切割，特征并行等，可以提升性能。

二、XGBoost原理概述

下面從假設(shè)空間，目標(biāo)函數(shù)，優(yōu)化算法3個角度對xgboost的原理進(jìn)行概括性的介紹。

1，假設(shè)空間

2，目標(biāo)函數(shù)

3，優(yōu)化算法

基本思想：貪心法，逐棵樹進(jìn)行學(xué)習(xí)，每棵樹擬合之前模型的偏差。

三、第t棵樹學(xué)什么？

要完成構(gòu)建xgboost模型，我們需要確定以下一些事情。

1，如何boost? 如果已經(jīng)得到了前面t-1棵樹構(gòu)成的加法模型，如何確定第t棵樹的學(xué)習(xí)目標(biāo)？

2，如何生成樹？已知第t棵樹的學(xué)習(xí)目標(biāo)的前提下，如何學(xué)習(xí)這棵樹？具體又包括是否進(jìn)行分裂？選擇哪個特征進(jìn)行分裂？選擇什么分裂點位？分裂的葉子節(jié)點如何取值？

我們首先考慮如何boost的問題，順便解決分裂的葉子節(jié)點如何取值的問題。

四、如何生成第t棵樹？

xgboost采用二叉樹，開始的時候，全部樣本都在一個葉子節(jié)點上。然后葉子節(jié)點不斷通過二分裂，逐漸生成一棵樹。

xgboost使用levelwise的生成策略，即每次對同一層級的全部葉子節(jié)點嘗試進(jìn)行分裂。對葉子節(jié)點分裂生成樹的過程有幾個基本的問題：是否要進(jìn)行分裂？選擇哪個特征進(jìn)行分裂？在特征的什么點位進(jìn)行分裂？以及分裂后新的葉子上取什么值？葉子節(jié)點的取值問題前面已經(jīng)解決了。我們重點討論幾個剩下的問題。

1，是否要進(jìn)行分裂？

根據(jù)樹的剪枝策略的不同，這個問題有兩種不同的處理。如果是預(yù)剪枝策略，那么只有當(dāng)存在某種分裂方式使得分裂后目標(biāo)函數(shù)發(fā)生下降，才會進(jìn)行分裂。但如果是后剪枝策略，則會無條件進(jìn)行分裂，等樹生成完成后，再從上而下檢查樹的各個分枝是否對目標(biāo)函數(shù)下降產(chǎn)生正向貢獻(xiàn)從而進(jìn)行剪枝。xgboost采用預(yù)剪枝策略，只有分裂后的增益大于0才會進(jìn)行分裂。

2，選擇什么特征進(jìn)行分裂？

xgboost采用特征并行的方法進(jìn)行計算選擇要分裂的特征，即用多個線程，嘗試把各個特征都作為分裂的特征，找到各個特征的最優(yōu)分割點，計算根據(jù)它們分裂后產(chǎn)生的增益，選擇增益最大的那個特征作為分裂的特征。

3，選擇什么分裂點位？

xgboost選擇某個特征的分裂點位的方法有兩種，一種是全局掃描法，另一種是候選分位點法。

全局掃描法將所有樣本該特征的取值按從小到大排列，將所有可能的分裂位置都試一遍，找到其中增益最大的那個分裂點，其計算復(fù)雜度和葉子節(jié)點上的樣本特征不同的取值個數(shù)成正比。

而候選分位點法是一種近似算法，僅選擇常數(shù)個（如256個）候選分裂位置，然后從候選分裂位置中找出最優(yōu)的那個。