與支持向量機一樣，決策樹也是多功能的機器學習算法，既可以執(zhí)行分類任務(wù)，也可以執(zhí)行回歸任務(wù)，甚至可以執(zhí)行多輸出任務(wù)。 它們是非常強大的算法，能夠完美契合復雜的數(shù)據(jù)集。 例如，在第 2 章中，我們在加利福尼亞住房數(shù)據(jù)集上訓練了一個 DecisionTreeRegressor 模型，并對其進行了完美擬合（實際上是對其進行過度擬合）。 決策樹也是隨機森林的基本組成部分（參見第 7 章），它是當今最強大的機器學習算法之一。 在本章中，我們將首先討論如何使用決策樹進行訓練，可視化和預測。 然后快速過一遍 Scikit-Learn 中使用的 CART 訓練算法，并且討論如何調(diào)整樹并將其用于回歸任務(wù)。 最后，我們會討論決策樹的一些局限性。

訓練和可視化決策樹

為了理解決策樹，我們只需構(gòu)建一個決策樹并查看它如何進行預測。 以下代碼在鳶尾屬植物數(shù)據(jù)集上訓練決策樹分類器（請參閱第4章）：

from sklearn.datasets import load_iris from sklearn.tree import DecisionTreeClassifier iris = load_iris() X = iris.data[:, 2:] # petal length and width y = iris.target tree_clf = DecisionTreeClassifier(max_depth=2) tree_clf.fit(X, y)

首先，我們可以通過使用 export_graphviz() 方法輸出一個名為 iris_tree.dot 的圖形定義文件來可視化已訓練出來的決策樹：

from sklearn.tree import export_graphviz export_graphviz( tree_clf, out_file=image_path("iris_tree.dot"), feature_names=iris.feature_names[2:], class_names=iris.target_names, rounded=True, filled=True )

然后，w我們可以使用 graphviz 軟件包中的 dot 命令行工具將此 .dot 文件轉(zhuǎn)換為各種格式，例如 PDF 或 PNG 。下面的命令行將 .dot 文件轉(zhuǎn)換為 .png 圖像文件：

$ dot -Tpng iris_tree.dot -o iris_tree.png

我們的第一個決策樹如圖6-1所示。

預測

讓我們看看圖 6-1 中所呈現(xiàn)的樹如何進行預測。假設(shè)我們找到了一種鳶尾花，并且想對它進行分類。我們從根節(jié)點開始（深度0，頂部）：該節(jié)點詢問花朵的花瓣長度是否小于2.45厘米。如果是，則向下移動到根的左側(cè)子節(jié)點（深度1，左側(cè)）。在這種情況下，它是一個葉子節(jié)點（即它沒有任何子節(jié)點），所以它不會提出任何問題：我們可以簡單地查看該節(jié)點的預測類，決策樹預測我們的花是一個Iris-Setosa（class = setosa）。 現(xiàn)在假設(shè)你找到另一朵花，但這次花瓣長度大于2.45厘米。我們必須向下移動到根節(jié)點的右側(cè)（深度1，右側(cè)），這不是葉子節(jié)點，因此它會提出另一個問題：花瓣寬度是否小于1.75厘米？如果是這樣，那么我們的花很可能是一個 Iris-Versicolor（深度 2，左）。如果不是，它可能是一個 Iris-Virginica（深度 2，右）。就是這么簡單。

決策樹的許多特質(zhì)之一是它們只需很少的數(shù)據(jù)準備。 特別是，它們不需要特征縮放或居中。

每個節(jié)點的樣本屬性計算它應用于的訓練實例的數(shù)量。 例如，100 個訓練樣本的花瓣長度大于 2.45 厘米（深度1，右側(cè)），其中 54 個花瓣寬度小于 1.75 厘米（深度2，左側(cè)）。 節(jié)點的值屬性告訴您此節(jié)點適用的每個類的訓練實例數(shù)量：例如，右下角節(jié)點適用于 0 Iris-Setosa，1 Iris-Versicolor和 45 Iris-Virginica。 最后，節(jié)點的 gini 屬性測量它的雜質(zhì)：如果它適用的所有訓練實例屬于同一個類，則節(jié)點是“純的”（gini = 0）。 例如，由于深度 1 左節(jié)點僅適用于 Iris-Setosa 訓練實例，因此它是純的，其基尼分數(shù)為 0。等式 6-1 顯示訓練算法如何計算出第 i 個節(jié)點的 gini 分數(shù)Gi。 例如，深度 2 左節(jié)點的基尼分數(shù)等于

接下來討論另一種純度測量方法。

? 其中 p_{i,k} 是第 i 個節(jié)點中訓練實例之間的 k 類實例的比率。

Scikit-Learn使用只生成二叉樹的CART算法：非葉節(jié)點總是有兩個孩子（即問題只有yes / no的答案）。 但是，其他算法（如ID3）生成的決策樹，可以具有兩個以上孩子的節(jié)點。

圖 6-2 顯示了決策樹的決策邊界。 粗的垂直線代表根節(jié)點（深度 0 ）的決定邊界：花瓣長度 = 2.45厘米。 由于左側(cè)區(qū)域是純粹的（只有Iris-Setosa），所以不能再進一步分割。 然而，右側(cè)區(qū)域不純，所以深度 1 右節(jié)點在花瓣寬度 = 1.75厘米（用虛線表示）分裂。 由于 max_depth 設(shè)置為 2，因此決策樹在此處停止。 但是，如果將max_depth設(shè)置為3，那么兩個深度 2 節(jié)點將分別添加另一個決策邊界（用虛線表示）。

模型解讀：白盒與黑盒

正如你所看到的，決策樹非常直觀，他們的決策很容易解釋。 這種模型通常被稱為白盒模型。 相反，正如我們將看到的，隨機森林或神經(jīng)網(wǎng)絡(luò)通常被認為是黑匣子模型。 他們做出了很好的預測，并且我們可以輕松檢查他們執(zhí)行的計算以進行這些預測; 然而，通常很難用簡單的術(shù)語來解釋為什么會做出預測。 例如，如果一個神經(jīng)網(wǎng)絡(luò)表示一個特定的人出現(xiàn)在圖片上，很難知道究竟是什么促成了這個預測：模型是否認出了這個人的眼睛？ 她的嘴？ 她的鼻子？ 她的鞋子？ 或者甚至坐在沙發(fā)上？ 相反，決策樹提供了好且簡單的分類規(guī)則，甚至可以根據(jù)需要手動調(diào)參（例如，用于花卉分類）。

估計屬于各類的概率

決策樹還可以估計實例屬于特定類 k 的概率：首先遍歷樹來找到此實例的葉子節(jié)點，然后返回該節(jié)點中類 k 的訓練實例的比率。 例如，假設(shè)你已經(jīng)找到一朵花長 5厘米，寬 1.5 厘米的花朵。 相應的葉子節(jié)點是深度為 2 的左節(jié)點，因此決策樹應該輸出以下概率：Iris-Setosa（0/54）為 0％，Iris-Versicolor為 (49/54)，即 90.7％， Iris-Virginica (5/54)，即 9.3 ％。 當然，如果你讓它預測類別，它應該輸出Iris-Versicolor（類別 1），因為它具有最高的概率。 讓我們來檢查一下：

>>> tree_clf.predict_proba([[5, 1.5]]) array([[ 0. , 0.90740741, 0.09259259]]) >>> tree_clf.predict([[5, 1.5]]) array([1])

完美！ 請注意，估計的概率在圖 6-2 的右下方矩形的其他任何地方都是相同的，比如說花瓣長 6 厘米，寬 1.5 厘米（盡管在這種情況下很明顯它更有可能是 Iris -Virginica）。