簡 介：據(jù)《福布斯》報(bào)道，每天大約會有 250 萬字節(jié)的數(shù)據(jù)被產(chǎn)生。然后，可以使用數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)技術(shù)對這些數(shù)據(jù)進(jìn)行分析，以便提供分析和作出預(yù)測。盡管在大多數(shù)情況下，在開始任何統(tǒng)計(jì)分析之前，需要先對最初收集的數(shù)據(jù)進(jìn)行預(yù)處理。有許多不同的原因?qū)е滦枰M(jìn)行預(yù)處理分析，例如：

收集的數(shù)據(jù)格式不對（如 SQL 數(shù)據(jù)庫、JSON、CSV 等）

缺失值和異常值

標(biāo)準(zhǔn)化

減少數(shù)據(jù)集中存在的固有噪聲（部分存儲數(shù)據(jù)可能已損壞）

數(shù)據(jù)集中的某些功能可能無法收集任何信息以供分析

在本文中，我將介紹如何使用 python 減少 kaggle Mushroom Classification 數(shù)據(jù)集中的特性數(shù)量。本文中使用的所有代碼在?kaggle 和我的?github 帳號上都有。減少統(tǒng)計(jì)分析期間要使用的特征的數(shù)量可能會帶來一些好處，例如：

提高精度

降低過擬合風(fēng)險(xiǎn)

加快訓(xùn)練速度

改進(jìn)數(shù)據(jù)可視化

增加我們模型的可解釋性

事實(shí)上，統(tǒng)計(jì)上證明，當(dāng)執(zhí)行機(jī)器學(xué)習(xí)任務(wù)時(shí)，存在針對每個(gè)特定任務(wù)應(yīng)該使用的最佳數(shù)量的特征（圖 1）。如果添加的特征比必要的特征多，那么我們的模型性能將下降（因?yàn)樘砑恿嗽肼暎Ｕ嬲奶魬?zhàn)是找出哪些特征是最佳的使用特征（這實(shí)際上取決于我們提供的數(shù)據(jù)量和我們正在努力實(shí)現(xiàn)的任務(wù)的復(fù)雜性）。這就是特征選擇技術(shù)能夠幫到我們的地方！

圖 1：分類器性能和維度之間的關(guān)系特征選擇 有許多不同的方法可用于特征選擇。其中最重要的是：1.過濾方法=過濾我們的數(shù)據(jù)集，只取包含所有相關(guān)特征的子集（例如，使用 Pearson 相關(guān)的相關(guān)矩陣）。2.遵循過濾方法的相同目標(biāo)，但使用機(jī)器學(xué)習(xí)模型作為其評估標(biāo)準(zhǔn)（例如，向前/向后/雙向/遞歸特征消除）。我們將一些特征輸入機(jī)器學(xué)習(xí)模型，評估它們的性能，然后決定是否添加或刪除特征以提高精度。因此，這種方法可以比濾波更精確，但計(jì)算成本更高。3.嵌入方法。與過濾方法一樣，嵌入方法也使用機(jī)器學(xué)習(xí)模型。這兩種方法的區(qū)別在于，嵌入的方法檢查 ML 模型的不同訓(xùn)練迭代，然后根據(jù)每個(gè)特征對 ML 模型訓(xùn)練的貢獻(xiàn)程度對每個(gè)特征的重要性進(jìn)行排序。

圖 2：過濾器、包裝器和嵌入式方法表示 ［3］實(shí)踐 在本文中，我將使用 Mushroom Classification 數(shù)據(jù)集，通過查看給定的特征來嘗試預(yù)測蘑菇是否有毒。在這樣做的同時(shí)，我們將嘗試不同的特征消除技術(shù)，看看它們會如何影響訓(xùn)練時(shí)間和模型整體的精度。首先，我們需要導(dǎo)入所有必需的庫。

X = df.drop(['class'], axis = 1)
Y = df['class']
X = pd.get_dummies(X, prefix_sep='_')
Y = LabelEncoder().fit_transform(Y)


X2 = StandardScaler().fit_transform(X)


X_Train, X_Test, Y_Train, Y_Test = train_test_split(X2, Y, test_size = 0.30, 

特征重要性

基于集合的決策樹模型（如隨機(jī)森林）可以用來對不同特征的重要性進(jìn)行排序。了解我們的模型最重要的特征對于理解我們的模型如何做出預(yù)測（使其更易于解釋）是至關(guān)重要的。同時(shí)，我們可以去掉那些對我們的模型沒有任何好處的特征。

start = time.process_time()
trainedforest = RandomForestClassifier(n_estimators=700).fit(X_Train,Y_Train)
print(time.process_time() - start)
predictionforest = trainedforest.predict(X_Test)
print(confusion_matrix(Y_Test,predictionforest))
print(classification_report(Y_Test,predictionforest))

figure(num=None, figsize=(20, 22), dpi=80, facecolor='w', edgecolor='k')


feat_importances = pd.Series(trainedforest.feature_importances_, index= X.columns)
feat_importances.nlargest(7).plot(kind='barh')

X_Reduced = X[['odor_n','odor_f', 'gill-size_n','gill-size_b']]
X_Reduced = StandardScaler().fit_transform(X_Reduced)
X_Train2, X_Test2, Y_Train2, Y_Test2 = train_test_split(X_Reduced, Y, test_size = 0.30,  random_state = 101)


start = time.process_time()
trainedforest = RandomForestClassifier(n_estimators=700).fit(X_Train2,Y_Train2)
print(time.process_time() - start)
predictionforest = trainedforest.predict(X_Test2)
print(confusion_matrix(Y_Test2,predictionforest))
print(classification_report(Y_Test2,predictionforest))

start = time.process_time()
trainedtree = tree.DecisionTreeClassifier().fit(X_Train, Y_Train)
print(time.process_time() - start)
predictionstree = trainedtree.predict(X_Test)
print(confusion_matrix(Y_Test,predictionstree))
print(classification_report(Y_Test,predictionstree))

import graphviz
from sklearn.tree import DecisionTreeClassifier, export_graphviz




data = export_graphviz(trainedtree,out_file=None,feature_names= X.columns,
        class_names=['edible', 'poisonous'], 
        filled=True, rounded=True, 
        max_depth=2,
        special_characters=True)
graph = graphviz.Source(data)
graph

圖 5：決策樹可視化

遞歸特征消除（RFE）

遞歸特征消除（RFE）將機(jī)器學(xué)習(xí)模型的實(shí)例和要使用的最終期望特征數(shù)作為輸入。然后，它遞歸地減少要使用的特征的數(shù)量，采用的方法是使用機(jī)器學(xué)習(xí)模型精度作為度量對它們進(jìn)行排序。創(chuàng)建一個(gè) for 循環(huán)，其中輸入特征的數(shù)量是我們的變量，這樣就可以通過跟蹤在每個(gè)循環(huán)迭代中注冊的精度，找出我們的模型所需的最佳特征數(shù)量。使用 RFE 支持方法，我們可以找出被評估為最重要的特征的名稱（rfe.support 返回一個(gè)布爾列表，其中 true 表示一個(gè)特征被視為重要，false 表示一個(gè)特征不重要）。

from sklearn.feature_selection import RFE


model = RandomForestClassifier(n_estimators=700)
rfe = RFE(model, 4)
start = time.process_time()
RFE_X_Train = rfe.fit_transform(X_Train,Y_Train)
RFE_X_Test = rfe.transform(X_Test)
rfe = rfe.fit(RFE_X_Train,Y_Train)
print(time.process_time() - start)
print("Overall Accuracy using RFE: ", rfe.score(RFE_X_Test,Y_Test))

from sklearn.ensemble import ExtraTreesClassifier
from sklearn.feature_selection import SelectFromModel


model = ExtraTreesClassifier()
start = time.process_time()
model = model.fit(X_Train,Y_Train)
model = SelectFromModel(model, prefit=True)
print(time.process_time() - start)
Selected_X = model.transform(X_Train)


start = time.process_time()
trainedforest = RandomForestClassifier(n_estimators=700).fit(Selected_X, Y_Train)
print(time.process_time() - start)
Selected_X_Test = model.transform(X_Test)
predictionforest = trainedforest.predict(Selected_X_Test)
print(confusion_matrix(Y_Test,predictionforest))
print(classification_report(Y_Test,predictionforest))

• 如果兩個(gè)特征之間的相關(guān)性為 0，則意味著更改這兩個(gè)特征中的任何一個(gè)都不會影響另一個(gè)。

• 如果兩個(gè)特征之間的相關(guān)性大于 0，這意味著增加一個(gè)特征中的值也會增加另一個(gè)特征中的值（相關(guān)系數(shù)越接近 1，兩個(gè)不同特征之間的這種聯(lián)系就越強(qiáng)）。

• 如果兩個(gè)特征之間的相關(guān)性小于 0，這意味著增加一個(gè)特征中的值將使減少另一個(gè)特征中的值（相關(guān)性系數(shù)越接近-1，兩個(gè)不同特征之間的這種關(guān)系將越強(qiáng)）。

Numeric_df = pd.DataFrame(X)
Numeric_df['Y'] = Y
corr= Numeric_df.corr()
corr_y = abs(corr["Y"])
highest_corr = corr_y[corr_y >0.5]
highest_corr.sort_values(ascending=True)

figure(num=None, figsize=(12, 10), dpi=80, facecolor='w', edgecolor='k')


corr2 = Numeric_df[['bruises_f' , 'bruises_t' , 'gill-color_b' , 'gill-size_b' ,  'gill-size_n' , 'ring-type_p' , 'stalk-surface-below-ring_k' ,  'stalk-surface-above-ring_k' , 'odor_f', 'odor_n']].corr()


sns.heatmap(corr2, annot=True, fmt=".2g")

• Classification = chi2, f_classif, mutual_info_classif

• Regression = f_regression, mutual_info_regression

from sklearn.feature_selection import SelectKBest
from sklearn.feature_selection import chi2


min_max_scaler = preprocessing.MinMaxScaler()
Scaled_X = min_max_scaler.fit_transform(X2)


X_new = SelectKBest(chi2, k=2).fit_transform(Scaled_X, Y)
X_Train3, X_Test3, Y_Train3, Y_Test3 = train_test_split(X_new, Y, test_size = 0.30,  random_state = 101)
start = time.process_time()
trainedforest = RandomForestClassifier(n_estimators=700).fit(X_Train3,Y_Train3)
print(time.process_time() - start)
predictionforest = trainedforest.predict(X_Test3)
print(confusion_matrix(Y_Test3,predictionforest))
print(classification_report(Y_Test3,predictionforest))

from sklearn.linear_model import LassoCV


regr = LassoCV(cv=5, random_state=101)
regr.fit(X_Train,Y_Train)
print("LassoCV Best Alpha Scored: ", regr.alpha_)
print("LassoCV Model Accuracy: ", regr.score(X_Test, Y_Test))
model_coef = pd.Series(regr.coef_, index = list(X.columns[:-1]))
print("Variables Eliminated: ", str(sum(model_coef == 0)))
print("Variables Kept: ", str(sum(model_coef != 0)))

figure(num=None, figsize=(12, 10), dpi=80, facecolor='w', edgecolor='k')


top_coef = model_coef.sort_values()
top_coef[top_coef != 0].plot(kind = "barh")
plt.title("Most Important Features Identified using Lasso (!0)")