本文不僅試圖解釋算法的工作原理，而且要直觀地理解算法的工作原理，以提供這種燈泡啊哈！ 時刻。

決策樹

決策樹使用水平線和垂直線劃分要素空間。 例如，考慮下面一個非常簡單的決策樹，該決策樹具有一個條件節(jié)點和兩個類節(jié)點，指示一個條件以及滿足該條件的訓練點將屬于哪個類別。

請注意，標記為每種顏色的字段與該區(qū)域內實際上是該顏色或（大致）熵的數(shù)據點之間存在很多重疊。 構造決策樹以最小化熵。 在這種情況下，我們可以增加一層復雜性。 如果要添加另一個條件; 如果x小于6，y大于6，我們可以將該區(qū)域中的點指定為紅色。 此舉降低了熵。

在每個步驟中，決策樹算法都會嘗試找到一種構建樹的方法，以使熵最小化。 將熵更正式地看作是某個分隔線（條件）所具有的“混亂”或“混亂”，而與“信息增益”相反的是，分隔線為模型增加了多少信息和洞察力。 具有最高信息增益（以及最低熵）的要素拆分位于頂部。

條件可能會將其一維特征分解為如下形式：

請注意，條件1具有清晰的分隔，因此熵低且信息增益高。 條件3不能說相同，這就是為什么它位于決策樹底部附近的原因。 樹的這種構造確保其可以保持盡可能輕巧。

您可以在此處閱讀有關熵及其在決策樹以及神經網絡（交叉熵作為損失函數(shù)）中的用法的更多信息。

隨機森林

隨機森林是決策樹的袋裝（引導聚合）版本。 主要思想是對數(shù)個決策樹分別訓練一個數(shù)據子集。 然后，輸入通過每個模型，并且它們的輸出通過類似平均值的函數(shù)進行匯總以產生最終輸出。 套袋是組合學習的一種形式。

您需要確定下一家餐廳。 要向某人提出建議，您必須回答各種是/否問題，這將使他們做出您應該去哪家餐廳的決定。

您愿意只問一個朋友還是問幾個朋友，然后找到方式或普遍共識？

除非您只有一個朋友，否則大多數(shù)人都會回答第二個。 該類比提供的見解是，每棵樹都有某種“思維多樣性”，因為它們是在不同的數(shù)據上訓練的，因此具有不同的“體驗”。

這種類比，干凈和簡單，從來沒有真正讓我脫穎而出。 在現(xiàn)實世界中，單朋友選項的經驗少于所有朋友，但在機器學習中，決策樹和隨機森林模型是在相同的數(shù)據上訓練的，因此也具有相同的體驗。 集成模型實際上沒有接收任何新信息。 如果我可以向一個全知的朋友提出建議，我不會反對。

在相同數(shù)據上訓練的模型如何隨機抽取數(shù)據子集以模擬人為的“多樣性”，其效果如何比在整個數(shù)據上訓練的模型更好？

拍攝正弦波，并帶有大量正態(tài)分布的噪聲。 這是您的單個決策樹分類器，它自然是一個高方差模型。

將選擇100個“近似值”。 這些逼近器沿正弦波隨機選擇點并生成正弦曲線擬合，就像在數(shù)據子集上訓練決策樹一樣。 然后將這些擬合平均，以形成袋裝曲線。 結果？ -更平滑的曲線。

套袋有效的原因在于，它通過人為地使模型更具“信心”，從而減少了模型的差異并有助于提高泛化能力。 這也就是為什么裝袋在諸如Logistic回歸之類的低方差模型中效果不佳的原因。

您可以在這里閱讀更多關于直覺的信息，以及關于套袋成功的更嚴格的證明。

支持向量機

支持向量機依靠“支持向量”的概念來最大化兩個類別之間的距離，試圖找到一種可以最好地劃分數(shù)據的超平面。

不幸的是，大多數(shù)數(shù)據集并不是那么容易分離，如果能夠分離，SVM可能不是處理它的最佳算法。 考慮此一維分離任務; 沒有良好的分隔符，因為任何一種分隔都會導致將兩個獨立的類歸為同一類。

》 One proposal for a split.

SVM通過使用所謂的“內核技巧”來強大地解決此類問題，該技巧將數(shù)據投影到新的維度上，從而簡化了分離任務。 例如，讓我們創(chuàng)建一個新的尺寸，將其簡單定義為x2（x是原始尺寸）：

現(xiàn)在，將數(shù)據投影到新的維度（每個數(shù)據點以兩個維度表示為（x，x2））之后，數(shù)據就可以清晰地分離了。

使用各種內核（最常見的是多項式，Sigmoid和RBF內核），內核技巧使繁重的工作創(chuàng)造了一個轉換后的空間，從而使分離任務變得簡單。

神經網絡

神經網絡是機器學習的頂峰。 他們的發(fā)現(xiàn)以及對它的無窮變化和改進使它成為了自己領域的主題，即深度學習。 誠然，神經網絡的成功仍然是不完整的（“神經網絡是沒人能理解的矩陣乘法”），但是最簡單的解釋方法是通過通用近似定理（UAT）。

每種監(jiān)督算法的核心都是試圖對數(shù)據的某些基礎功能進行建模。 通常這是一個回歸平面或特征邊界。 考慮這個函數(shù)y =x2，可以用幾個水平步長將其建模為任意精度。

這本質上就是神經網絡可以做的。 也許除了水平步長之外，模型關系可能會更復雜一些（例如下面的二次和線性線），但是神經網絡的核心是分段函數(shù)逼近器。

每個節(jié)點都委托給分段功能的一部分，網絡的目的是激活負責部分特征空間的某些神經元。 例如，如果要對有胡須或沒有胡須的男人的圖像進行分類，則應將幾個節(jié)點專門委派給經常出現(xiàn)胡須的像素位置。 在多維空間中的某個位置，這些節(jié)點表示一個數(shù)值范圍。

再次注意，“神經網絡為什么起作用”的問題仍然沒有得到回答。 UAT并未回答這個問題，但指出在某些人類的解釋下，神經網絡可以為任何功能建模。 可解釋/可解釋AI的領域正在涌現(xiàn)，以通過激活最大化和敏感性分析等方法來回答這些問題。

您可以在此處閱讀更深入的解釋并查看通用近似定理的可視化。

在所有四種算法以及許多其他算法中，這些算法在低維情況下看起來都非常簡單。 機器學習的一個關鍵實現(xiàn)是，我們聲稱在AI中看到的許多“魔術”和“智能”實際上是一個隱藏在高維偽裝下的簡單算法。

將區(qū)域劃分為正方形的決策樹很簡單，但是將高維空間劃分為超立方體的決策樹卻不那么容易。 SVM執(zhí)行內核技巧以提高一維到二維的可分離性是可以理解的，但是SVM在數(shù)百個大維數(shù)據集上執(zhí)行相同的操作幾乎是神奇的。

我們對機器學習的欽佩和困惑是基于我們對高維空間缺乏了解。 學習如何解決高維問題并了解本機空間中的算法，有助于直觀理解。
責任編輯人：CC