數(shù)據(jù)挖掘，從字面上理解，就是在數(shù)據(jù)中找到有用的東西，哪些東西有用就要看具體的業(yè)務(wù)目標了。最簡單的就是統(tǒng)計應(yīng)用了，比如電商數(shù)據(jù)，如淘寶統(tǒng)計過哪個省購買泳衣最多、哪個省的女生胸罩最大等，進一步，可以基于用戶的瀏覽、點擊、收藏、購買等行為推斷用戶的年齡、性別、購買能力、愛好等能表示一個人的畫像，就相當(dāng)于用這些挖掘出來的屬性來刻畫一個人，這些還是最簡單的東西，更深層次的比如預(yù)測（股票預(yù)測），但是比較難。

說到數(shù)據(jù)挖掘。往往與機器學(xué)習(xí)離不開。比如分類、聚類、關(guān)聯(lián)規(guī)則挖掘、個性化推薦、預(yù)測、神經(jīng)網(wǎng)絡(luò)、深度學(xué)習(xí)等。很多年前說人工智能AI（比如產(chǎn)生式系統(tǒng)、專家系統(tǒng)等，好像現(xiàn)在提得比較少了），90年代AI到了瓶頸階段，機器學(xué)習(xí)是一個突破口，現(xiàn)在機器學(xué)習(xí)又遇到了瓶頸階段，深度學(xué)習(xí)又是一個突破口（其實神經(jīng)網(wǎng)絡(luò)出來了很久，但是為什么中間一段時間沉寂了，在70年代左右出現(xiàn)了低潮（根據(jù)評論修改），我歸結(jié)是兩點，第一神經(jīng)網(wǎng)絡(luò)就像一個黑夾子一樣，很多東西不透明，模型的解釋性不強，以及當(dāng)時沒辦法處理非線性分類問題（后面多層感知器便可以對非線性問題進行擬合，如解決XOR問題），參數(shù)過多，訓(xùn)練復(fù)雜，容易出錯，容易過擬合，無法保證全局最優(yōu)，加上很多問題無法用數(shù)學(xué)方法證明（個人理解）等等，科學(xué)家和工程師還是有區(qū)別的，科學(xué)家都想把一個問題歸結(jié)為數(shù)學(xué)問題，然后證明出來，他們就會認為是有意義的，數(shù)學(xué)上證明其有效往往比做千百個實驗說明其有效要好些吧，工程師往往更在乎效果與結(jié)果），直到后來出現(xiàn)了BP算法。第二，得益于現(xiàn)在的大規(guī)模計算工具，能夠處理PB級別的數(shù)據(jù)了?？傊F(xiàn)在人工智能還遠沒達到人類的水平，最后結(jié)果會怎樣，這個暫時不設(shè)想。

目前正處于大數(shù)據(jù)時代，很多企業(yè)擁有巨大的數(shù)據(jù)，比如阿里擁有消費數(shù)據(jù)、百度擁有搜索數(shù)據(jù)，騰訊擁有社交數(shù)據(jù)，消費數(shù)據(jù)與搜索數(shù)據(jù)都可以直接變現(xiàn)形成商業(yè)模式，而社交數(shù)據(jù)暫時還無法直接變現(xiàn)，至少企鵝現(xiàn)在還在探尋中，舉個例子，你的朋友圈，qq空間到處是廣告，你是不是很討厭，差評，呵呵。數(shù)據(jù)有了，還有個重要的方面，處理數(shù)據(jù)的能力，也就是數(shù)據(jù)處理工具，能夠處理這么大的數(shù)據(jù)量，二者不可或缺，缺一談什么大數(shù)據(jù)都是耍流氓。

對于數(shù)據(jù)挖掘工程師：

首先你數(shù)學(xué)知識肯定要扎實吧，統(tǒng)計與概率論是最基本（也有人說現(xiàn)在的機器學(xué)習(xí)是統(tǒng)計學(xué)習(xí)，確實有道理）、微分與積分肯定要知道、數(shù)學(xué)公式要看的懂吧，進階階段最優(yōu)化，隨機過程等。建議去看看機器學(xué)習(xí)十大算法與一些深度學(xué)習(xí)的東西，多看大牛的博客。

對于語言，搞科研知道matlab就永不怕了，但是對于工程師嘛，肯定要知道寫代碼吧，不懂寫代碼的工程師都是扯淡，不要寫代碼的數(shù)據(jù)挖掘與機器學(xué)習(xí)，那是研究員，懂得一門高級語言與一門腳本語言就差不多了（如JAVA或C++，Python或R，個人推薦Java與Python，因為像Hadoop、Spark、Hive、MPI之類的都對Java提供了很方便的接口，Python寫腳本很爽），還需要懂得Linux、Shell、SQL，這都是個人意見，至少在阿里，用java+sql+python+shell，阿里有個很牛逼的東西叫做ODPS，現(xiàn)在叫MaxCoupute，可以去阿里云官網(wǎng)查查相關(guān)資料。

對于你所說的excel、SAS、SPSS，數(shù)據(jù)分析人員專用，因為工程師嘛，編程語言還是必須的。對于是否需要學(xué)習(xí)hadoop、hive之類的，個人意見是只要知道用，然后怎么用，怎么在上面實現(xiàn)一些算法，怎么去優(yōu)化自己寫的程序就差不多了，它們只是工具，而且更新得很快，就說hadoop吧，我還沒完全搞明白，就逐漸被spark取代了，記住，這些只是工具而已。推薦個加深你數(shù)據(jù)挖掘功力的東西weka（單機版的）與mahout（分布式的，有基于hadoop與spark），都是開源的。

對于工作是否需要設(shè)計新算法，我覺得在企業(yè)還是沒有要求這么高，除非你覺得自己很牛逼，想向google看齊，但是設(shè)計一個好的算法并能解決實際問題的算法，不是一朝一夕的，個人觀點，很多算法可以想出來，最大的問題就是怎樣去證明其正確，其有效。想到企業(yè)中去，多看看google與ms工程性的文章，想研究就多看看學(xué)術(shù)大牛的文章，比如ICML，IJCAI，KDD，NIPS，CVPR等。大部分工作是，將已有的機器學(xué)習(xí)與數(shù)據(jù)挖掘算法應(yīng)用到具體的實踐中，根據(jù)業(yè)務(wù)場景與數(shù)據(jù)特點對算法進行改造或者調(diào)整等。

最后舉個例子，你在淘寶上買一件衣服，系統(tǒng)怎樣向你推薦你感興趣的并且和這件衣服搭配的褲子或者飾品，這就是數(shù)據(jù)挖掘工程師的一方面工作。