數(shù)據(jù)挖掘的定義

數(shù)據(jù)挖掘是指從大量的數(shù)據(jù)中通過算法搜索隱藏于其中信息的過程。

數(shù)據(jù)挖掘通常與計算機科學有關，并通過統(tǒng)計、在線分析處理、情報檢索、機器學習、專家系統(tǒng)（依靠過去的經(jīng)驗法則）和模式識別等諸多方法來實現(xiàn)上述目標。

數(shù)據(jù)挖掘的對象

數(shù)據(jù)的類型可以是結構化的、半結構化的，甚至是異構型的。發(fā)現(xiàn)知識的方法可以是數(shù)學的、非數(shù)學的，也可以是歸納的。最終被發(fā)現(xiàn)了的知識可以用于信息管理、查詢優(yōu)化、決策支持及數(shù)據(jù)自身的維護等。

數(shù)據(jù)挖掘的對象可以是任何類型的數(shù)據(jù)源?？梢允顷P系數(shù)據(jù)庫，此類包含結構化數(shù)據(jù)的數(shù)據(jù)源；也可以是數(shù)據(jù)倉庫、文本、多媒體數(shù)據(jù)、空間數(shù)據(jù)、時序數(shù)據(jù)、Web數(shù)據(jù)，此類包含半結構化數(shù)據(jù)甚至異構性數(shù)據(jù)的數(shù)據(jù)源。?

發(fā)現(xiàn)知識的方法可以是數(shù)字的、非數(shù)字的，也可以是歸納的。最終被發(fā)現(xiàn)的知識可以用于信息管理、查詢優(yōu)化、決策支持及數(shù)據(jù)自身的維護等。

數(shù)據(jù)挖掘的步驟

1、定義問題。在開始知識發(fā)現(xiàn)之前最先的也是最重要的要求就是了解數(shù)據(jù)和業(yè)務問題。必須要對目標有一個清晰明確的定義，即決定到底想干什么。比如，想提高電子信箱的利用率時，想做的可能是“提高用戶使用率”，也可能是“提高一次用戶使用的價值”，要解決這兩個問題而建立的模型幾乎是完全不同的，必須做出決定。

2、建立數(shù)據(jù)挖掘庫。建立數(shù)據(jù)挖掘庫包括以下幾個步驟：數(shù)據(jù)收集，數(shù)據(jù)描述，選擇，數(shù)據(jù)質量評估和數(shù)據(jù)清理，合并與整合，構建元數(shù)據(jù)，加載數(shù)據(jù)挖掘庫，維護數(shù)據(jù)挖掘庫。

3、分析數(shù)據(jù)。分析的目的是找到對預測輸出影響最大的數(shù)據(jù)字段，和決定是否需要定義導出字段。如果數(shù)據(jù)集包含成百上千的字段，那么瀏覽分析這些數(shù)據(jù)將是一件非常耗時和累人的事情，這時需要選擇一個具有好的界面和功能強大的工具軟件來協(xié)助你完成這些事情。?

4、準備數(shù)據(jù)。這是建立模型之前的最后一步數(shù)據(jù)準備工作?？梢园汛瞬襟E分為四個部分：選擇變量，選擇記錄，創(chuàng)建新變量，轉換變量。?

5、建立模型。建立模型是一個反復的過程。需要仔細考察不同的模型以判斷哪個模型對面對的商業(yè)問題最有用。先用一部分數(shù)據(jù)建立模型，然后再用剩下的數(shù)據(jù)來測試和驗證這個得到的模型。有時還有第三個數(shù)據(jù)集，稱為驗證集，因為測試集可能受模型的特性的影響，這時需要一個獨立的數(shù)據(jù)集來驗證模型的準確性。訓練和測試數(shù)據(jù)挖掘模型需要把數(shù)據(jù)至少分成兩個部分，一個用于模型訓練，另一個用于模型測試。

6、評價模型。模型建立好之后，必須評價得到的結果、解釋模型的價值。從測試集中得到的準確率只對用于建立模型的數(shù)據(jù)有意義。在實際應用中，需要進一步了解錯誤的類型和由此帶來的相關費用的多少。經(jīng)驗證明，有效的模型并不一定是正確的模型。造成這一點的直接原因就是模型建立中隱含的各種假定，因此，直接在現(xiàn)實世界中測試模型很重要。先在小范圍內應用，取得測試數(shù)據(jù)，覺得滿意之后再向大范圍推廣。?

7、實施。模型建立并經(jīng)驗證之后，可以有兩種主要的使用方法。第一種是提供給分析人員做參考；另一種是把此模型應用到不同的數(shù)據(jù)集上。

數(shù)據(jù)挖掘的方法

1、分類。它首先從數(shù)據(jù)中選出已經(jīng)分好類的訓練集，在該訓練集上運用數(shù)據(jù)挖掘技術，建立一個分類模型，再將該模型用于對沒有分類的數(shù)據(jù)進行分類。

2、估值。估值與分類類似，但估值最終的輸出結果是連續(xù)型的數(shù)值，估值的量并非預先確定。估值可以作為分類的準備工作。?

3、預測。它是通過分類或估值來進行，通過分類或估值的訓練得出一個模型，如果對于檢驗樣本組而言該模型具有較高的準確率，可將該模型用于對新樣本的未知變量進行預測。

4、相關性分組或關聯(lián)規(guī)則。其目的是發(fā)現(xiàn)哪些事情總是一起發(fā)生。

5、聚類。它是自動尋找并建立分組規(guī)則的方法，它通過判斷樣本之間的相似性，把相似樣本劃分在一個簇中。

數(shù)據(jù)挖掘算法

1、神經(jīng)網(wǎng)絡法

神經(jīng)網(wǎng)絡法是模擬生物神經(jīng)系統(tǒng)的結構和功能，是一種通過訓練來學習的非線性預測模型，它將每一個連接看作一個處理單元，試圖模擬人腦神經(jīng)元的功能，可完成分類、聚類、特征挖掘等多種數(shù)據(jù)挖掘任務。神經(jīng)網(wǎng)絡的學習方法主要表現(xiàn)在權值的修改上。其優(yōu)點是具有抗干擾、非線性學習、聯(lián)想記憶功能，對復雜情況能得到精確的預測結果；缺點首先是不適合處理高維變量，不能觀察中間的學習過程，具有“黑箱”性，輸出結果也難以解釋；其次是需較長的學習時間。神經(jīng)網(wǎng)絡法主要應用于數(shù)據(jù)挖掘的聚類技術中。

2、決策樹法

決策樹是根據(jù)對目標變量產生效用的不同而建構分類的規(guī)則，通過一系列的規(guī)則對數(shù)據(jù)進行分類的過程，其表現(xiàn)形式是類似于樹形結構的流程圖。最典型的算法是J．R．Quinlan于1986年提出的ID3算法，之后在ID3算法的基礎上又提出了極其流行的C4.5算法。采用決策樹法的優(yōu)點是決策制定的過程是可見的，不需要長時間構造過程、描述簡單，易于理解，分類速度快；缺點是很難基于多個變量組合發(fā)現(xiàn)規(guī)則。決策樹法擅長處理非數(shù)值型數(shù)據(jù)，而且特別適合大規(guī)模的數(shù)據(jù)處理。決策樹提供了一種展示類似在什么條件下會得到什么值這類規(guī)則的方法。比如，在貸款申請中，要對申請的風險大小做出判斷。

3、遺傳算法

遺傳算法模擬了自然選擇和遺傳中發(fā)生的繁殖、交配和基因突變現(xiàn)象，是一種采用遺傳結合、遺傳交叉變異及自然選擇等操作來生成實現(xiàn)規(guī)則的、基于進化理論的機器學習方法。它的基本觀點是“適者生存”原理，具有隱含并行性、易于和其他模型結合等性質。主要的優(yōu)點是可以處理許多數(shù)據(jù)類型，同時可以并行處理各種數(shù)據(jù)；缺點是需要的參數(shù)太多，編碼困難，一般計算量比較大。遺傳算法常用于優(yōu)化神經(jīng)元網(wǎng)絡，能夠解決其他技術難以解決的問題。?

4、粗糙集法

粗糙集法也稱粗糙集理論，是由波蘭數(shù)學家Z Pawlak在20世紀80年代初提出的，是一種新的處理含糊、不精確、不完備問題的數(shù)學工具，可以處理數(shù)據(jù)約簡、數(shù)據(jù)相關性發(fā)現(xiàn)、數(shù)據(jù)意義的評估等問題。其優(yōu)點是算法簡單，在其處理過程中可以不需要關于數(shù)據(jù)的先驗知識，可以自動找出問題的內在規(guī)律；缺點是難以直接處理連續(xù)的屬性，須先進行屬性的離散化。因此，連續(xù)屬性的離散化問題是制約粗糙集理論實用化的難點。粗糙集理論主要應用于近似推理、數(shù)字邏輯分析和化簡、建立預測模型等問題。

5、模糊集法

模糊集法是利用模糊集合理論對問題進行模糊評判、模糊決策、模糊模式識別和模糊聚類分析。模糊集合理論是用隸屬度來描述模糊事物的屬性。系統(tǒng)的復雜性越高，模糊性就越強。

6、關聯(lián)規(guī)則法

關聯(lián)規(guī)則反映了事物之間的相互依賴性或關聯(lián)性。其最著名的算法是R．Agrawal等人提出的Apriori算法。其算法的思想是：首先找出頻繁性至少和預定意義的最小支持度一樣的所有頻集，然后由頻集產生強關聯(lián)規(guī)則。最小支持度和最小可信度是為了發(fā)現(xiàn)有意義的關聯(lián)規(guī)則給定的2個閾值。在這個意義上，數(shù)據(jù)挖掘的目的就是從源數(shù)據(jù)庫中挖掘出滿足最小支持度和最小可信度的關聯(lián)規(guī)則。

編輯：jq