1. 支持向量機(jī)（SVM）

關(guān)鍵點(diǎn)：C參數(shù)

SVM創(chuàng)建一個(gè)決策邊界，以區(qū)分兩個(gè)或多個(gè)類。

軟裕量支持向量機(jī)嘗試解決具有以下目標(biāo)的優(yōu)化問(wèn)題：

增加決策邊界與類（或支持向量）的距離

最大化在訓(xùn)練集中正確分類的點(diǎn)數(shù)

這兩個(gè)目標(biāo)之間顯然需要權(quán)衡取舍。決策邊界可能必須非常接近某一特定類才能正確標(biāo)記所有數(shù)據(jù)點(diǎn)。但是，在這種情況下，由于決策邊界對(duì)噪聲和自變量的微小變化過(guò)于敏感，因此新觀測(cè)值的準(zhǔn)確性可能會(huì)降低。

另一方面，可能會(huì)為每個(gè)類別設(shè)置盡可能大的決策邊界，但要付出一些錯(cuò)誤分類的例外的代價(jià)。這種權(quán)衡由c參數(shù)控制。

C參數(shù)為每個(gè)錯(cuò)誤分類的數(shù)據(jù)點(diǎn)增加了懲罰。如果c小，則對(duì)錯(cuò)誤分類的點(diǎn)的懲罰較低，因此以較大數(shù)量的錯(cuò)誤分類為代價(jià)選擇了具有較大余量的決策邊界。

如果c大，由于高罰分，SVM會(huì)嘗試最大程度地減少誤分類示例的數(shù)量，從而導(dǎo)致決策邊界的邊距較小。對(duì)于所有錯(cuò)誤分類的示例，懲罰都不相同。它與到?jīng)Q策邊界的距離成正比。

2. 決策樹(shù)

關(guān)鍵點(diǎn)：信息獲取

選擇要分割的特征時(shí)，決策樹(shù)算法會(huì)嘗試實(shí)現(xiàn)：

更具預(yù)測(cè)性

雜質(zhì)少

較低的熵

熵是不確定性或隨機(jī)性的量度。變量具有的隨機(jī)性越多，熵就越高。具有均勻分布的變量具有最高的熵。例如，擲骰子有6個(gè)概率相等的可能結(jié)果，因此它具有均勻的分布和較高的熵。

Entropy vs Randomness

選擇導(dǎo)致更多純節(jié)點(diǎn)的拆分。所有這些都表明“信息增益”，基本上是分裂前后的熵之差。

3. 隨機(jī)森林

關(guān)鍵點(diǎn)：自舉和功能隨機(jī)性

隨機(jī)森林是許多決策樹(shù)的集合。隨機(jī)森林的成功很大程度上取決于使用不相關(guān)的決策樹(shù)。如果我們使用相同或非常相似的樹(shù)，則總體結(jié)果將與單個(gè)決策樹(shù)的結(jié)果相差無(wú)幾。隨機(jī)森林通過(guò)自舉和特征隨機(jī)性來(lái)實(shí)現(xiàn)具有不相關(guān)的決策樹(shù)。

自舉是從訓(xùn)練數(shù)據(jù)中隨機(jī)選擇樣本進(jìn)行替換。它們稱為引導(dǎo)程序樣本。

通過(guò)為隨機(jī)森林中的每個(gè)決策樹(shù)隨機(jī)選擇特征來(lái)實(shí)現(xiàn)特征隨機(jī)性。可以通過(guò)max_features參數(shù)控制用于隨機(jī)森林中每棵樹(shù)的特征數(shù)量。

Feature randomness

4. 梯度提升決策樹(shù)

關(guān)鍵點(diǎn)：學(xué)習(xí)率和n_estimators

GBDT是決策樹(shù)與boosting方法的結(jié)合體，意味著決策樹(shù)是順序連接的。

學(xué)習(xí)率和n_estimator是用于梯度提升決策樹(shù)的兩個(gè)關(guān)鍵超參數(shù)。

學(xué)習(xí)率僅表示模型學(xué)習(xí)的速度。學(xué)習(xí)速度較慢的優(yōu)點(diǎn)是模型變得更健壯和更通用。但是，學(xué)習(xí)緩慢需要付出一定的代價(jià)。訓(xùn)練模型需要更多時(shí)間，這將我們帶到另一個(gè)重要的超參數(shù)。

n_estimator參數(shù)是模型中使用的樹(shù)數(shù)。如果學(xué)習(xí)率低，我們需要更多的樹(shù)來(lái)訓(xùn)練模型。但是，我們?cè)谶x擇樹(shù)數(shù)時(shí)需要非常小心。使用過(guò)多樹(shù)木會(huì)產(chǎn)生過(guò)度擬合的高風(fēng)險(xiǎn)。

5. 樸素貝葉斯分類器

關(guān)鍵點(diǎn)：樸素假設(shè)有什么好處？

樸素貝葉斯（Naive Bayes）是一種用于分類的監(jiān)督式機(jī)器學(xué)習(xí)算法，因此任務(wù)是在給定要素值的情況下找到觀測(cè)的類別。樸素貝葉斯分類器在給定一組特征值（即p（yi | x1，x2，…，xn））的情況下計(jì)算類的概率。

樸素貝葉斯假設(shè)要素彼此獨(dú)立，要素之間沒(méi)有關(guān)聯(lián)。但是，現(xiàn)實(shí)生活中并非如此。特征不相關(guān)的這種天真假設(shè)是將該算法稱為“天真”的原因。

與復(fù)雜算法相比，所有功能都是獨(dú)立的這一假設(shè)使其變得非常快。在某些情況下，速度比精度更高。

它適用于高維數(shù)據(jù)，例如文本分類，電子郵件垃圾郵件檢測(cè)。

6. K最近鄰居

關(guān)鍵點(diǎn)：何時(shí)使用和不使用

K近鄰（kNN）是一種受監(jiān)督的機(jī)器學(xué)習(xí)算法，可用于解決分類和回歸任務(wù)。kNN的主要原理是，數(shù)據(jù)點(diǎn)的值由其周圍的數(shù)據(jù)點(diǎn)確定。

隨著數(shù)據(jù)點(diǎn)數(shù)量的增加，kNN算法變得非常慢，因?yàn)槟Ｐ托枰鎯?chǔ)所有數(shù)據(jù)點(diǎn)以便計(jì)算它們之間的距離。這個(gè)原因也使該算法的存儲(chǔ)效率不高。

另一個(gè)缺點(diǎn)是kNN對(duì)異常值敏感，因?yàn)楫惓Ｖ禃?huì)影響最近的點(diǎn)（即使距離太遠(yuǎn)）。

在積極方面：

簡(jiǎn)單易懂

不做任何假設(shè)，因此可以在非線性任務(wù)中實(shí)施。

在多個(gè)類別的分類上效果很好

適用于分類和回歸任務(wù)

7. K-Means聚類

關(guān)鍵點(diǎn)：何時(shí)使用和不使用

K-均值聚類旨在將數(shù)據(jù)劃分為k個(gè)聚類，以使同一聚類中的數(shù)據(jù)點(diǎn)相似，而不同聚類中的數(shù)據(jù)點(diǎn)相距更遠(yuǎn)。

K-均值算法無(wú)法猜測(cè)數(shù)據(jù)中存在多少個(gè)簇。群集的數(shù)量必須預(yù)先確定，這可能是一項(xiàng)艱巨的任務(wù)。

該算法隨著樣本數(shù)量的增加而減慢速度，因?yàn)樵诿總€(gè)步驟中，它都會(huì)訪問(wèn)所有數(shù)據(jù)點(diǎn)并計(jì)算距離。

K均值只能繪制線性邊界。如果存在將數(shù)據(jù)中的組分開(kāi)的非線性結(jié)構(gòu)，則k均值將不是一個(gè)很好的選擇。

在積極方面：

容易解釋

比較快

可擴(kuò)展用于大型數(shù)據(jù)集

能夠以智能方式選擇初始質(zhì)心的位置，從而加快收斂速度

保證融合
責(zé)任編輯人：CC