1. 支持向量機（SVM）

關(guān)鍵點：C參數(shù)

SVM創(chuàng)建一個決策邊界，以區(qū)分兩個或多個類。

軟裕量支持向量機嘗試解決具有以下目標(biāo)的優(yōu)化問題：

增加決策邊界與類（或支持向量）的距離

最大化在訓(xùn)練集中正確分類的點數(shù)

這兩個目標(biāo)之間顯然需要權(quán)衡取舍。決策邊界可能必須非常接近某一特定類才能正確標(biāo)記所有數(shù)據(jù)點。但是，在這種情況下，由于決策邊界對噪聲和自變量的微小變化過于敏感，因此新觀測值的準(zhǔn)確性可能會降低。

另一方面，可能會為每個類別設(shè)置盡可能大的決策邊界，但要付出一些錯誤分類的例外的代價。這種權(quán)衡由c參數(shù)控制。

C參數(shù)為每個錯誤分類的數(shù)據(jù)點增加了懲罰。如果c小，則對錯誤分類的點的懲罰較低，因此以較大數(shù)量的錯誤分類為代價選擇了具有較大余量的決策邊界。

如果c大，由于高罰分，SVM會嘗試最大程度地減少誤分類示例的數(shù)量，從而導(dǎo)致決策邊界的邊距較小。對于所有錯誤分類的示例，懲罰都不相同。它與到?jīng)Q策邊界的距離成正比。

2. 決策樹

關(guān)鍵點：信息獲取

選擇要分割的特征時，決策樹算法會嘗試實現(xiàn)：

更具預(yù)測性

雜質(zhì)少

較低的熵

熵是不確定性或隨機性的量度。變量具有的隨機性越多，熵就越高。具有均勻分布的變量具有最高的熵。例如，擲骰子有6個概率相等的可能結(jié)果，因此它具有均勻的分布和較高的熵。

Entropy vs Randomness

選擇導(dǎo)致更多純節(jié)點的拆分。所有這些都表明“信息增益”，基本上是分裂前后的熵之差。

3. 隨機森林

關(guān)鍵點：自舉和功能隨機性

隨機森林是許多決策樹的集合。隨機森林的成功很大程度上取決于使用不相關(guān)的決策樹。如果我們使用相同或非常相似的樹，則總體結(jié)果將與單個決策樹的結(jié)果相差無幾。隨機森林通過自舉和特征隨機性來實現(xiàn)具有不相關(guān)的決策樹。

自舉是從訓(xùn)練數(shù)據(jù)中隨機選擇樣本進行替換。它們稱為引導(dǎo)程序樣本。

通過為隨機森林中的每個決策樹隨機選擇特征來實現(xiàn)特征隨機性?？梢酝ㄟ^max_features參數(shù)控制用于隨機森林中每棵樹的特征數(shù)量。

Feature randomness

4. 梯度提升決策樹

關(guān)鍵點：學(xué)習(xí)率和n_estimators

GBDT是決策樹與boosting方法的結(jié)合體，意味著決策樹是順序連接的。

學(xué)習(xí)率和n_estimator是用于梯度提升決策樹的兩個關(guān)鍵超參數(shù)。

學(xué)習(xí)率僅表示模型學(xué)習(xí)的速度。學(xué)習(xí)速度較慢的優(yōu)點是模型變得更健壯和更通用。但是，學(xué)習(xí)緩慢需要付出一定的代價。訓(xùn)練模型需要更多時間，這將我們帶到另一個重要的超參數(shù)。

n_estimator參數(shù)是模型中使用的樹數(shù)。如果學(xué)習(xí)率低，我們需要更多的樹來訓(xùn)練模型。但是，我們在選擇樹數(shù)時需要非常小心。使用過多樹木會產(chǎn)生過度擬合的高風(fēng)險。

5. 樸素貝葉斯分類器

關(guān)鍵點：樸素假設(shè)有什么好處？

樸素貝葉斯（Naive Bayes）是一種用于分類的監(jiān)督式機器學(xué)習(xí)算法，因此任務(wù)是在給定要素值的情況下找到觀測的類別。樸素貝葉斯分類器在給定一組特征值（即p（yi | x1，x2，…，xn））的情況下計算類的概率。

樸素貝葉斯假設(shè)要素彼此獨立，要素之間沒有關(guān)聯(lián)。但是，現(xiàn)實生活中并非如此。特征不相關(guān)的這種天真假設(shè)是將該算法稱為“天真”的原因。

與復(fù)雜算法相比，所有功能都是獨立的這一假設(shè)使其變得非?？臁Ｔ谀承┣闆r下，速度比精度更高。

它適用于高維數(shù)據(jù)，例如文本分類，電子郵件垃圾郵件檢測。

6. K最近鄰居

關(guān)鍵點：何時使用和不使用

K近鄰（kNN）是一種受監(jiān)督的機器學(xué)習(xí)算法，可用于解決分類和回歸任務(wù)。kNN的主要原理是，數(shù)據(jù)點的值由其周圍的數(shù)據(jù)點確定。

隨著數(shù)據(jù)點數(shù)量的增加，kNN算法變得非常慢，因為模型需要存儲所有數(shù)據(jù)點以便計算它們之間的距離。這個原因也使該算法的存儲效率不高。

另一個缺點是kNN對異常值敏感，因為異常值會影響最近的點（即使距離太遠(yuǎn)）。

在積極方面：

簡單易懂

不做任何假設(shè)，因此可以在非線性任務(wù)中實施。

在多個類別的分類上效果很好

適用于分類和回歸任務(wù)

7. K-Means聚類

關(guān)鍵點：何時使用和不使用

K-均值聚類旨在將數(shù)據(jù)劃分為k個聚類，以使同一聚類中的數(shù)據(jù)點相似，而不同聚類中的數(shù)據(jù)點相距更遠(yuǎn)。

K-均值算法無法猜測數(shù)據(jù)中存在多少個簇。群集的數(shù)量必須預(yù)先確定，這可能是一項艱巨的任務(wù)。

該算法隨著樣本數(shù)量的增加而減慢速度，因為在每個步驟中，它都會訪問所有數(shù)據(jù)點并計算距離。

K均值只能繪制線性邊界。如果存在將數(shù)據(jù)中的組分開的非線性結(jié)構(gòu)，則k均值將不是一個很好的選擇。

在積極方面：

容易解釋

比較快

可擴展用于大型數(shù)據(jù)集

能夠以智能方式選擇初始質(zhì)心的位置，從而加快收斂速度

保證融合
責(zé)任編輯人：CC