1、特征選擇介紹

　　（1）特征選擇的定義

　　對當前學習任務(wù)有價值的屬性稱為是“相關(guān)特征”，沒有價值的屬性稱為是“無關(guān)特征”，從給定的特征集中選擇出相關(guān)特征子集的過程，就稱為是“特征選擇”。

　　其中還有一種特征稱為是“冗余特征”，這些特征指的是可以從其他特征中推演出來的特征。

　?。?）特征選擇的重要性

　　特征選擇是一個“數(shù)據(jù)預處理”過程，它的重要性體現(xiàn)在兩個方面：

　　1）減輕維度災難問題。

　　2）去除無關(guān)特征可以降低學習的難度。

　　2、子集搜索與評價

　　想要找一個最好的特征子集，最簡單最笨的方法就是把所有的特征排列組合，遍歷每一個子集從中選擇里面最好的一個，這種方法必然不可取。對這種方法的一種改進就是使用子集搜索與評價，它的思想就是先產(chǎn)生一個特征子集，然后對它進行評價，之后根據(jù)評價結(jié)果選擇下一個特征子集，再進行移動學習評價，……，直到無法找到更好的候選子集。

　　可以看出該算法是子集搜索與子集評價的一個迭代過程，下面分別對這兩部分進行介紹：

　?。?）子集搜索

　　子集搜索分為“前向”（forwardforward）搜索、“后向”（backwardbackward）搜索和“雙向”（bidirectional）搜索。

　　前向搜索就是從只一個特征開始，每次增加一個特征，直到某次的特征子集不如上一輪的子集為止。

　　后向搜索就是從完整的特征集合開始，每次去掉一個無關(guān)的特征，直到去掉一個特征就會使效果明顯下降為止。

　　雙向搜索就是將前兩種方法結(jié)合在一起，每一輪逐漸增加選定的相關(guān)特征（這些特征在后續(xù)迭代中不會被去掉），同時減少無關(guān)特征。