一、機(jī)器學(xué)習(xí)的發(fā)展背景：人工智能

人工智能（Artificial Intelligence，縮寫(xiě)為AI）是對(duì)人的意識(shí)、思維過(guò)程進(jìn)行模擬的一門(mén)新學(xué)科。如今，人工智能從虛無(wú)縹緲的科學(xué)幻想變成了現(xiàn)實(shí)。計(jì)算機(jī)科學(xué)家們?cè)谌斯ぶ悄艿募夹g(shù)核心－－機(jī)器學(xué)習(xí)（Machine Learning）和深度學(xué)習(xí)（Deep Learning）領(lǐng)域上已經(jīng)取得重大的突破，機(jī)器被賦予強(qiáng)大的認(rèn)知和預(yù)測(cè)能力?；仡櫄v史，在1997年，IBM“深藍(lán)”戰(zhàn)勝?lài)?guó)際象棋冠軍卡斯帕羅夫；在2011年，具備機(jī)器學(xué)習(xí)能力的IBM Waston參加綜藝節(jié)目贏得100萬(wàn)美金；在2016年，利用深度學(xué)習(xí)訓(xùn)練的Aplphago成功擊敗人類(lèi)世界冠軍。種種事件表明機(jī)器也可以像人類(lèi)一樣思考，甚至比人類(lèi)做得更好。

目前，人工智能在金融、醫(yī)療、制造等行業(yè)得到了廣泛應(yīng)用，全球投資從2012年的5．89億美元猛增至2016年50多億美元。麥肯錫預(yù)計(jì)，到2025年人工智能應(yīng)用市場(chǎng)的總值將達(dá)到1270億美元。與此同時(shí)，麥肯錫通過(guò)對(duì)2016年人工智能市場(chǎng)的投資進(jìn)行深入分析，發(fā)現(xiàn)有將近60％的資金并購(gòu)圍繞機(jī)器學(xué)習(xí)來(lái)布局。其中，基于軟件的機(jī)器學(xué)習(xí)初創(chuàng)公司比基于機(jī)器的機(jī)器人公司更受投資歡迎。從2013 年到2016 年，這一領(lǐng)域的投資復(fù)合年均增長(zhǎng)率達(dá)到約80％。由此可見(jiàn)，機(jī)器學(xué)習(xí)已經(jīng)成為目前人工智能技術(shù)發(fā)展的主要方向。

二、機(jī)器學(xué)習(xí)與人工智能、深度學(xué)習(xí)的關(guān)系

在介紹機(jī)器學(xué)習(xí)之前，先需要對(duì)人工智能、機(jī)器學(xué)習(xí)和深度學(xué)習(xí)三者之間的關(guān)系進(jìn)行梳理。目前業(yè)界最常見(jiàn)的劃分是：

人工智能是使用與傳統(tǒng)計(jì)算機(jī)系統(tǒng)完全不同的工作模式，它可以依據(jù)通用的學(xué)習(xí)策略，讀取海量的“大數(shù)據(jù)”，并從中發(fā)現(xiàn)規(guī)律、聯(lián)系和洞見(jiàn)，因此人工智能能夠根據(jù)新數(shù)據(jù)自動(dòng)調(diào)整，而無(wú)需重設(shè)程序。

機(jī)器學(xué)習(xí)是人工智能研究的核心技術(shù)，在大數(shù)據(jù)的支撐下，通過(guò)各種算法讓機(jī)器對(duì)數(shù)據(jù)進(jìn)行深層次的統(tǒng)計(jì)分析以進(jìn)行“自學(xué)”；利用機(jī)器學(xué)習(xí)，人工智能系統(tǒng)獲得了歸納推理和決策能力；而深度學(xué)習(xí)更將這一能力推向了更高的層次。

深度學(xué)習(xí)則是機(jī)器學(xué)習(xí)算法的一種，隸屬于人工神經(jīng)網(wǎng)絡(luò)體系，現(xiàn)在很多應(yīng)用領(lǐng)域中性能最佳的機(jī)器學(xué)習(xí)都是基于模仿人類(lèi)大腦結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)而來(lái)的，這些計(jì)算機(jī)系統(tǒng)能夠完全自主地學(xué)習(xí)、發(fā)現(xiàn)并應(yīng)用規(guī)則。相比較其他方法，在解決更復(fù)雜的問(wèn)題上表現(xiàn)更優(yōu)異，深度學(xué)習(xí)是可以幫助機(jī)器實(shí)現(xiàn)“獨(dú)立思考”的一種方式。

總而言之，人工智能是社會(huì)發(fā)展的重要推動(dòng)力，而機(jī)器學(xué)習(xí)，尤其是深度學(xué)習(xí)技術(shù)就是人工智能發(fā)展的核心，它們?nèi)咧g是包含與被包含的關(guān)系。如圖1所示。

圖1 人工智能、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)之間的關(guān)系

三、機(jī)器學(xué)習(xí)：實(shí)現(xiàn)人工智能的高效方法

從廣義上來(lái)說(shuō)，機(jī)器學(xué)習(xí)是一種能夠賦予機(jī)器學(xué)習(xí)的能力以此讓它完成直接編程無(wú)法完成的功能的方法。但從實(shí)踐的意義上來(lái)說(shuō)，機(jī)器學(xué)習(xí)是一種通過(guò)利用數(shù)據(jù)，訓(xùn)練出模型，然后使用模型預(yù)測(cè)的一種方法。國(guó)外有些學(xué)者對(duì)機(jī)器學(xué)習(xí)進(jìn)行了定義大同小異，有學(xué)者認(rèn)為，機(jī)器學(xué)習(xí)是對(duì)能通過(guò)經(jīng)驗(yàn)自動(dòng)改進(jìn)的計(jì)算機(jī)算法的研究；也有學(xué)者認(rèn)為，機(jī)器學(xué)習(xí)是指利用數(shù)據(jù)或以往的經(jīng)驗(yàn)，以此優(yōu)化計(jì)算機(jī)程序的性能標(biāo)準(zhǔn)。由此可知，機(jī)器學(xué)習(xí)是通過(guò)經(jīng)驗(yàn)或數(shù)據(jù)來(lái)改進(jìn)算法的研究，通過(guò)算法讓機(jī)器從大量歷史數(shù)據(jù)中學(xué)習(xí)規(guī)律，得到某種模式并利用此模型預(yù)測(cè)未來(lái)，機(jī)器在學(xué)習(xí)的過(guò)程中，處理的數(shù)據(jù)越多，預(yù)測(cè)結(jié)果就越精準(zhǔn)。

機(jī)器學(xué)習(xí)在人工智能的研究中具有十分重要的地位。它是人工智能的核心，是使計(jì)算機(jī)具有智能的根本途徑，其應(yīng)用遍及人工智能的各個(gè)領(lǐng)域。從20世紀(jì)50年代人們就開(kāi)始了對(duì)機(jī)器學(xué)習(xí)的研究，從最初的基于神經(jīng)元模型以及函數(shù)逼近論的方法研究，到以符號(hào)演算為基礎(chǔ)的規(guī)則學(xué)習(xí)和決策樹(shù)學(xué)習(xí)的產(chǎn)生，以及之后的認(rèn)知心理學(xué)中歸納、解釋、類(lèi)比等概念的引入，至最新的計(jì)算學(xué)習(xí)理論和統(tǒng)計(jì)學(xué)習(xí)的興起，機(jī)器學(xué)習(xí)一直都在相關(guān)學(xué)科的實(shí)踐應(yīng)用中起著主導(dǎo)作用。現(xiàn)在已取得了不少成就，并分化出許多研究方向，主要有符號(hào)學(xué)習(xí)、連接學(xué)習(xí)和統(tǒng)計(jì)學(xué)習(xí)等。

（一）機(jī)器學(xué)習(xí)的發(fā)展歷程

機(jī)器學(xué)習(xí)發(fā)展過(guò)程大體可分為以下四個(gè)階段：

1．50年代中葉到60年代中葉

在這個(gè)時(shí)期，所研究的是“沒(méi)有知識(shí)”的學(xué)習(xí)，即“無(wú)知”學(xué)習(xí)；其研究目標(biāo)是各類(lèi)自組織系統(tǒng)和自適應(yīng)系統(tǒng)；其主要研究方法是不斷修改系統(tǒng)的控制參數(shù)以改進(jìn)系統(tǒng)的執(zhí)行能力，不涉及與具體任務(wù)有關(guān)的知識(shí)。指導(dǎo)本階段研究的理論基礎(chǔ)是早在40年代就開(kāi)始研究的神經(jīng)網(wǎng)絡(luò)模型。隨著電子計(jì)算機(jī)的產(chǎn)生和發(fā)展，機(jī)器學(xué)習(xí)的實(shí)現(xiàn)才成為可能。這個(gè)階段的研究導(dǎo)致了模式識(shí)別這門(mén)新科學(xué)的誕生，同時(shí)形成了機(jī)器學(xué)習(xí)的二種重要方法，即判別函數(shù)法和進(jìn)化學(xué)習(xí)。塞繆爾的下棋程序就是使用判別函數(shù)法的典型例子。不過(guò)，這種脫離知識(shí)的感知型學(xué)習(xí)系統(tǒng)具有很大的局限性。無(wú)論是神經(jīng)模型、進(jìn)化學(xué)習(xí)或是判別函數(shù)法，所取得的學(xué)習(xí)結(jié)果都很有限，遠(yuǎn)不能滿(mǎn)足人們對(duì)機(jī)器學(xué)習(xí)系統(tǒng)的期望。在這個(gè)時(shí)期，我國(guó)研制了數(shù)字識(shí)別學(xué)習(xí)機(jī)。

2．60年代中葉至70年代中葉

本階段的研究目標(biāo)是模擬人類(lèi)的概念學(xué)習(xí)過(guò)程，并采用邏輯結(jié)構(gòu)或圖結(jié)構(gòu)作為機(jī)器內(nèi)部描述。機(jī)器能夠采用符號(hào)來(lái)描述概念（符號(hào)概念獲?。?，并提出關(guān)于學(xué)習(xí)概念的各種假設(shè)。本階段的代表性工作有溫斯頓（Winston）的結(jié)構(gòu)學(xué)習(xí)系統(tǒng)和海斯·羅思（Hayes Roth）等的基于邏輯的歸納學(xué)習(xí)系統(tǒng)。雖然這類(lèi)學(xué)習(xí)系統(tǒng)取得較大的成功，但只能學(xué)習(xí)單一概念，而且未能投入實(shí)際應(yīng)用。此外，神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)機(jī)因理論缺陷未能達(dá)到預(yù)期效果而轉(zhuǎn)入低潮。因此，使那些對(duì)機(jī)器學(xué)習(xí)的進(jìn)展抱過(guò)大希望的人們感到失望。他們稱(chēng)這個(gè)時(shí)期為“黑暗時(shí)期”。

3．70年代中葉至80年代中葉

在這個(gè)時(shí)期，人們從學(xué)習(xí)單個(gè)概念擴(kuò)展到學(xué)習(xí)多個(gè)概念，探索不同的學(xué)習(xí)策略和各種學(xué)習(xí)方法。機(jī)器的學(xué)習(xí)過(guò)程一般都建立在大規(guī)模的知識(shí)庫(kù)上，實(shí)現(xiàn)知識(shí)強(qiáng)化學(xué)習(xí)。尤其令人鼓舞的是，本階段已開(kāi)始把學(xué)習(xí)系統(tǒng)與各種應(yīng)用結(jié)合起來(lái)，并取得很大的成功，促進(jìn)機(jī)器學(xué)習(xí)的發(fā)展。在出現(xiàn)第一個(gè)專(zhuān)家學(xué)習(xí)系統(tǒng)之后，示例歸約學(xué)習(xí)系統(tǒng)成為研究主流，自動(dòng)知識(shí)獲取成為機(jī)器學(xué)習(xí)的應(yīng)用研究目標(biāo)。1980年，在美國(guó)的卡內(nèi)基梅隆大學(xué)（CMU）召開(kāi)了第一屆機(jī)器學(xué)習(xí)國(guó)際研討會(huì)，標(biāo)志著機(jī)器學(xué)習(xí)研究已在全世界興起。此后，機(jī)器歸納學(xué)習(xí)進(jìn)入應(yīng)用。1986年，國(guó)際雜志《機(jī)器學(xué)習(xí)》（Machine Learning）創(chuàng)刊，迎來(lái)了機(jī)器學(xué)習(xí)蓬勃發(fā)展的新時(shí)期。70年代末，中國(guó)科學(xué)院自動(dòng)化研究所進(jìn)行質(zhì)譜分析和模式文法推斷研究，表明我國(guó)的機(jī)器學(xué)習(xí)研究得到恢復(fù)。1980年西蒙來(lái)華傳播機(jī)器學(xué)習(xí)的火種后，我國(guó)的機(jī)器學(xué)習(xí)研究出現(xiàn)了新局面。

4．機(jī)器學(xué)習(xí)最新階段始于1986年

一方面，由于神經(jīng)網(wǎng)絡(luò)研究的重新興起，對(duì)連接機(jī)制學(xué)習(xí)方法的研究方興未艾，機(jī)器學(xué)習(xí)的研究已經(jīng)在全世界范圍內(nèi)出現(xiàn)新的高潮，機(jī)器學(xué)習(xí)的基本理論和綜合系統(tǒng)的研究得到加強(qiáng)和發(fā)展。另一方面，對(duì)實(shí)驗(yàn)研究和應(yīng)用研究得到前所未有的重視，機(jī)器學(xué)習(xí)有了更強(qiáng)的研究手段和環(huán)境。從而出現(xiàn)了符號(hào)學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)、進(jìn)化學(xué)習(xí)和基于行為主義（actionism）的強(qiáng)化學(xué)習(xí)等百家爭(zhēng)鳴的局面。

圖2 ?機(jī)器學(xué)習(xí)的發(fā)展歷程

（二）機(jī)器學(xué)習(xí)的結(jié)構(gòu)模型

機(jī)器學(xué)習(xí)的本質(zhì)就是算法。算法是用于解決問(wèn)題的一系列指令。程序員開(kāi)發(fā)的用于指導(dǎo)計(jì)算機(jī)進(jìn)行新任務(wù)的算法是我們今天看到的先進(jìn)數(shù)字世界的基礎(chǔ)。計(jì)算機(jī)算法根據(jù)某些指令和規(guī)則，將大量數(shù)據(jù)組織到信息和服務(wù)中。機(jī)器學(xué)習(xí)向計(jì)算機(jī)發(fā)出指令，允許計(jì)算機(jī)從數(shù)據(jù)中學(xué)習(xí)，而不需要程序員做出新的分步指令。

機(jī)器學(xué)習(xí)的基本過(guò)程是給學(xué)習(xí)算法提供訓(xùn)練數(shù)據(jù)。然后，學(xué)習(xí)算法基于數(shù)據(jù)的推論生成一組新的規(guī)則。這本質(zhì)上就是生成一種新的算法，稱(chēng)之為機(jī)器學(xué)習(xí)模型。通過(guò)使用不同的訓(xùn)練數(shù)據(jù)，相同的學(xué)習(xí)算法可以生成不同的模型。從數(shù)據(jù)中推理出新的指令是機(jī)器學(xué)習(xí)的核心優(yōu)勢(shì)。它還突出了數(shù)據(jù)的關(guān)鍵作用：用于訓(xùn)練算法的可用數(shù)據(jù)越多，算法學(xué)習(xí)到的就越多。事實(shí)上，AI 的許多最新進(jìn)展并不是由于學(xué)習(xí)算法的激進(jìn)創(chuàng)新，而是現(xiàn)在積累了大量的可用數(shù)據(jù)。

圖3 ?機(jī)器學(xué)習(xí)的結(jié)構(gòu)模型

（三）機(jī)器學(xué)習(xí)的工作方式

1．選擇數(shù)據(jù)：首先將原始數(shù)據(jù)分成三組：訓(xùn)練數(shù)據(jù)、驗(yàn)證數(shù)據(jù)和測(cè)試數(shù)據(jù)；

2．?dāng)?shù)據(jù)建模：再使用訓(xùn)練數(shù)據(jù)來(lái)構(gòu)建使用相關(guān)特征的模型；

3．驗(yàn)證模型：使用驗(yàn)證數(shù)據(jù)輸入到已經(jīng)構(gòu)建的數(shù)據(jù)模型中；

4．測(cè)試模型：使用測(cè)試數(shù)據(jù)檢查被驗(yàn)證的模型的性能表現(xiàn)；

5．使用模型：使用完全訓(xùn)練好的模型在新數(shù)據(jù)上做預(yù)測(cè)；

6．調(diào)優(yōu)模型：使用更多數(shù)據(jù)、不同的特征或調(diào)整過(guò)的參數(shù)來(lái)提升算法的性能表現(xiàn)。

圖4 機(jī)器學(xué)習(xí)的工作方式

（四）機(jī)器學(xué)習(xí)發(fā)展的關(guān)鍵基石：

（1）海量數(shù)據(jù)：人工智能的能量來(lái)源是穩(wěn)定的數(shù)據(jù)流。機(jī)器學(xué)習(xí)可以通過(guò)海量數(shù)據(jù)來(lái)“訓(xùn)練” 自己，才能開(kāi)發(fā)新規(guī)則來(lái)完成日益復(fù)雜的任務(wù)。目前全球有超過(guò)30億人在線(xiàn)，約170 億個(gè)連接的設(shè)備或傳感器，產(chǎn)生了大量數(shù)據(jù)，而數(shù)據(jù)存儲(chǔ)成本的降低，使得這些數(shù)據(jù)易于被使用。

（2）超強(qiáng)計(jì)算：強(qiáng)大的計(jì)算機(jī)和通過(guò)互聯(lián)網(wǎng)連接遠(yuǎn)程處理能力使可以處理海量數(shù)據(jù)的機(jī)器學(xué)習(xí)技術(shù)成為可能，具某媒體稱(chēng)，ALPHGO之所以能在與對(duì)李世石的對(duì)決中取得歷史性的勝利，這與它硬件配置的1920個(gè)CPU和280個(gè)GPU超強(qiáng)運(yùn)算系統(tǒng)密不可分，可見(jiàn)計(jì)算能力對(duì)于機(jī)器學(xué)習(xí)是至關(guān)重要的。

（3）優(yōu)秀算法：在機(jī)器學(xué)習(xí)中，學(xué)習(xí)算法（learning algorithms）創(chuàng)建了規(guī)則，允許計(jì)算機(jī)從數(shù)據(jù)中學(xué)習(xí)，從而推論出新的指令（算法模型），這也是機(jī)器學(xué)習(xí)的核心優(yōu)勢(shì)。新的機(jī)器學(xué)習(xí)技術(shù)，特別是分層神經(jīng)網(wǎng)絡(luò)，也被稱(chēng)為“深度學(xué)習(xí)”，啟發(fā)了新的服務(wù)，刺激了對(duì)人工智能這一領(lǐng)域其他方面的投資和研究。

圖5 ?機(jī)器學(xué)習(xí)的關(guān)鍵基石

（五）機(jī)器學(xué)習(xí)的算法分類(lèi)

機(jī)器學(xué)習(xí)基于學(xué)習(xí)形式的不同通?？煞譃槿?lèi)：

1．監(jiān)督學(xué)習(xí)（Supervised Learning）
? ?給學(xué)習(xí)算法提供標(biāo)記的數(shù)據(jù)和所需的輸出，對(duì)于每一個(gè)輸入，學(xué)習(xí)者都被提供了一個(gè)回應(yīng)的目標(biāo)。監(jiān)督學(xué)習(xí)主要被應(yīng)用于快速高效地教熟AI現(xiàn)有的知識(shí)，被用于解決分類(lèi)和回歸的問(wèn)題。常見(jiàn)的算法有：

（1）決策樹(shù)（Decision Trees）：決策樹(shù)可看作一個(gè)樹(shù)狀預(yù)測(cè)模型，它通過(guò)把實(shí)例從根節(jié)點(diǎn)排列到某個(gè)葉子節(jié)點(diǎn)來(lái)分類(lèi)實(shí)例，葉子節(jié)點(diǎn)即為實(shí)例所屬的分類(lèi)。決策樹(shù)的核心問(wèn)題是選擇分裂屬性和決策樹(shù)的剪枝。決策樹(shù)是一個(gè)決策支持工具，它用樹(shù)形的圖或者模型表示決策及其可能的后果，包括隨機(jī)事件的影響、資源消耗、以及用途。用于分析判斷有無(wú)貸款意向的決策樹(shù)示如圖 所示，從商業(yè)角度看，常用于基于規(guī)則的信用評(píng)估、賽馬結(jié)果預(yù)測(cè)等。

圖6 決策樹(shù)

（2）Adaboost算法：這是一種迭代算法，其核心思想是針對(duì)同一個(gè)訓(xùn)練集訓(xùn)練不同的分類(lèi)器（弱分類(lèi)器），然后把這些弱分類(lèi)器集合起來(lái)，構(gòu)成一個(gè)更強(qiáng)的最終分類(lèi)器（強(qiáng)分類(lèi)器）。算法本身是改變數(shù)據(jù)分布實(shí)現(xiàn)的，它根據(jù)每次訓(xùn)練集之中的每個(gè)樣本的分類(lèi)是否正確，以及上次的總體分類(lèi)的準(zhǔn)確率，來(lái)確定每個(gè)樣本的權(quán)值。將修改權(quán)值的新數(shù)據(jù)送給下層分類(lèi)器進(jìn)行訓(xùn)練，然后將每次訓(xùn)練得到的分類(lèi)器融合起來(lái)，作為最后的決策分類(lèi)器。AdaBoost算法主要解決了：兩類(lèi)問(wèn)題、多類(lèi)單標(biāo)簽問(wèn)題、多類(lèi)多標(biāo)簽問(wèn)題、大類(lèi)單標(biāo)簽問(wèn)題和回歸問(wèn)題； 優(yōu)點(diǎn)：學(xué)習(xí)精度明顯增加，并且不會(huì)出現(xiàn)過(guò)擬合問(wèn)題，AdaBoost算法技術(shù)常用于人臉識(shí)別和目標(biāo)跟蹤領(lǐng)域。

圖7 Adaboost

（3）人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network －ANN）算法：人工神經(jīng)網(wǎng)絡(luò)是由大量處理單元互聯(lián)組成的非線(xiàn)性、自適應(yīng)信息處理系統(tǒng)。它是在現(xiàn)代神經(jīng)科學(xué)研究成果的基礎(chǔ)上提出的，試圖通過(guò)模擬大腦神經(jīng)網(wǎng)絡(luò)處理、記憶信息的方式進(jìn)行信息處理。人工神經(jīng)網(wǎng)絡(luò)是并行分布式系統(tǒng)，采用了與傳統(tǒng)人工智能和信息處理技術(shù)完全不同的機(jī)理，克服了傳統(tǒng)的基于邏輯符號(hào)的人工智能在處理直覺(jué)、非結(jié)構(gòu)化信息方面的缺陷，具有自適應(yīng)、自組織和實(shí)時(shí)學(xué)習(xí)的特點(diǎn)。

圖8 人工神經(jīng)網(wǎng)絡(luò)

（4）SVM（Support Vector Machine）：SVM 法即支持向量機(jī)算法，由Vapnik等人于1995年提出，具有相對(duì)優(yōu)良的性能指標(biāo)。該方法是建立在統(tǒng)計(jì)學(xué)習(xí)理論基礎(chǔ)上的機(jī)器學(xué)習(xí)方法。　SVM是一種二分算法。假設(shè)在N維空間，有一組點(diǎn)，包含兩種類(lèi)型，SVM生成a（N－1） 維的超平面，把這些點(diǎn)分成兩組。比如你有一些點(diǎn)在紙上面，這些點(diǎn)是線(xiàn)性分離的。SVM會(huì)找到一個(gè)直線(xiàn)，把這些點(diǎn)分成兩類(lèi)，并且會(huì)盡可能遠(yuǎn)離這些點(diǎn)。從規(guī)?？磥?lái)，SVM（包括適當(dāng)調(diào)整過(guò)的）解決的一些特大的問(wèn)題有：廣告、人類(lèi)基因剪接位點(diǎn)識(shí)別、基于圖片的性別檢測(cè)、大規(guī)模圖片分類(lèi)，適用于新聞分類(lèi)、手寫(xiě)識(shí)別等應(yīng)用。

圖9 支持向量機(jī)算法

（5）樸素貝葉斯（Naive Bayesian）：貝葉斯法是一種在已知先驗(yàn)概率與類(lèi)條件概率的情況下的模式分類(lèi)方法，待分樣本的分類(lèi)結(jié)果取決于各類(lèi)域中樣本的全體。樸素貝葉斯分類(lèi)器基于把貝葉斯定理運(yùn)用在特征之間關(guān)系的強(qiáng)獨(dú)立性假設(shè)上。優(yōu)點(diǎn)：在數(shù)據(jù)較少的情況下仍然有效，可以處理多類(lèi)別問(wèn)題。缺點(diǎn)：對(duì)于輸入數(shù)據(jù)的準(zhǔn)備方式較為敏感。適用數(shù)據(jù)類(lèi)型：標(biāo)稱(chēng)型數(shù)據(jù)?，F(xiàn)實(shí)生活中的應(yīng)用例子：電子郵件垃圾副過(guò)濾、判定文章屬性分類(lèi)、分析文字表達(dá)的內(nèi)容含義和人臉識(shí)別、情感分析、消費(fèi)者分類(lèi)。

圖10 ?樸素貝葉斯算法

（6）K－近鄰（k－Nearest Neighbors，KNN）：這是一種分類(lèi)算法，其核心思想是如果一個(gè)樣本在特征空間中的k個(gè)最相鄰的樣本中的大多數(shù)屬于某一個(gè)類(lèi)別，則該樣本也屬于這個(gè)類(lèi)別，并具有這個(gè)類(lèi)別上樣本的特性。該方法在確定分類(lèi)決策上只依據(jù)最鄰近的一個(gè)或者幾個(gè)樣本的類(lèi)別來(lái)決定待分樣本所屬的類(lèi)別。 kNN方法在類(lèi)別決策時(shí)，只與極少量的相鄰樣本有關(guān)。由于kNN方法主要靠周?chē)邢薜泥徑臉颖?，而不是靠判別類(lèi)域的方法來(lái)確定所屬類(lèi)別的，因此對(duì)于類(lèi)域的交叉或重疊較多的待分樣本集來(lái)說(shuō)，kNN方法較其他方法更為適合。

圖11 ?K－近鄰算法

（7）邏輯回歸（Logistic Regression）：這是一種分類(lèi)算法，主要用于二分類(lèi)問(wèn)題。邏輯回歸是一種非常強(qiáng)大的統(tǒng)計(jì)方法，可以把有一個(gè)或者多個(gè)解釋變量的數(shù)據(jù)，建立為二項(xiàng)式類(lèi)型的模型，通過(guò)用累積邏輯分布的邏輯函數(shù)估計(jì)概率，測(cè)量分類(lèi)因變量和一個(gè)或多個(gè)獨(dú)立變量之間的關(guān)系。邏輯回歸是一種非線(xiàn)性回歸模型，相比于線(xiàn)性回歸，它多了一個(gè)sigmoid函數(shù)（或稱(chēng)為L(zhǎng)ogistic函數(shù)）。通常，回歸在現(xiàn)實(shí)生活中的用途如下：信用評(píng)估、測(cè)量市場(chǎng)營(yíng)銷(xiāo)的成功度、預(yù)測(cè)某個(gè)產(chǎn)品的收益、特定的某天是否會(huì)發(fā)生地震，路面交通流量分析、郵件過(guò)濾。

圖12 ?邏輯回歸算法

（8）隨機(jī)森林算法（Random Forest）：隨機(jī)森林算法可以用于處理回歸、分類(lèi)、聚類(lèi)以及生存分析等問(wèn)題，當(dāng)用于分類(lèi)或回歸問(wèn)題時(shí)，它的主要思想是通過(guò)自助法重采樣，生成很多個(gè)樹(shù)回歸器或分類(lèi)器。在機(jī)器學(xué)習(xí)中，隨機(jī)森林是一個(gè)包含多個(gè)決策樹(shù)的分類(lèi)器， 并且其輸出的類(lèi)別是由個(gè)別樹(shù)輸出的類(lèi)別的眾數(shù)而定，常用于用戶(hù)流失分析、風(fēng)險(xiǎn)評(píng)估。

圖13 ?隨機(jī)森林算法

（9）線(xiàn)形回歸（ Linear Regression）：這是利用數(shù)理統(tǒng)計(jì)中回歸分析，來(lái)確定兩種或兩種以上變量間相互依賴(lài)的定量關(guān)系的一種統(tǒng)計(jì)分析方法，運(yùn)用十分廣泛。線(xiàn)性回歸是回歸分析中第一種經(jīng)過(guò)嚴(yán)格研究并在實(shí)際應(yīng)用中廣泛使用的類(lèi)型。這是因?yàn)榫€(xiàn)性依賴(lài)于其未知參數(shù)的模型比非線(xiàn)性依賴(lài)于其位置參數(shù)的模型更容易擬合，而且產(chǎn)生的估計(jì)的統(tǒng)計(jì)特性也更容易確定。

圖14 ?線(xiàn)形回歸算法

2．無(wú)監(jiān)督學(xué)習(xí)（Unsupervised Learning）

給學(xué)習(xí)算法提供的數(shù)據(jù)是未標(biāo)記的，并且要求算法識(shí)別輸入數(shù)據(jù)中的模式，主要是建立一個(gè)模型，用其試著對(duì)輸入的數(shù)據(jù)進(jìn)行解釋?zhuān)⒂糜谙麓屋斎搿，F(xiàn)實(shí)情況下往往很多數(shù)據(jù)集都有大量的未標(biāo)記樣本，有標(biāo)記的樣本反而比較少。如果直接棄用，很大程度上會(huì)導(dǎo)致模型精度低。這種情況解決的思路往往是結(jié)合有標(biāo)記的樣本，通過(guò)估計(jì)的方法把未標(biāo)記樣本變?yōu)閭蔚挠袠?biāo)記樣本，所以無(wú)監(jiān)督學(xué)習(xí)比監(jiān)督學(xué)習(xí)更難掌握。主要用于解決聚類(lèi)和降維問(wèn)題，常見(jiàn)的算法有：

（1）聚類(lèi)算法：把一組對(duì)象分組化的任務(wù)，使得在同一組的對(duì)象比起其它組的對(duì)象，它們彼此更加相似。常用的聚類(lèi)算法包括：

①K－means算法：這是典型的基于原型的目標(biāo)函數(shù)聚類(lèi)方法的代表，它是數(shù)據(jù)點(diǎn)到原型的某種距離作為優(yōu)化的目標(biāo)函數(shù)，利用函數(shù)求極值的方法得到迭代運(yùn)算的調(diào)整規(guī)則。其優(yōu)點(diǎn)是算法足夠快速、簡(jiǎn)單，并且如果預(yù)處理數(shù)據(jù)和特征工程十分有效，那么該聚類(lèi)算法將擁有極高的靈活性。缺點(diǎn)是該算法需要指定集群的數(shù)量，而K值的選擇通常都不是那么容易確定的。另外，如果訓(xùn)練數(shù)據(jù)中的真實(shí)集群并不是類(lèi)球狀的，那么K均值聚類(lèi)會(huì)得出一些比較差的集群。

圖15 ?K－means算法

②Expectation Maximisation （EM）：這是一種迭代算法，用于含有隱變量（latent variable）的概率參數(shù)模型的最大似然估計(jì)或極大后驗(yàn)概率估計(jì)。EM算法的主要目的是提供一個(gè)簡(jiǎn)單的迭代算法計(jì)算后驗(yàn)密度函數(shù)，它的最大優(yōu)點(diǎn)是簡(jiǎn)單和穩(wěn)定，但容易陷入局部最優(yōu)。

圖16 ?EM算法

③Affinity Propagation 聚類(lèi)：AP 聚類(lèi)算法是一種相對(duì)較新的聚類(lèi)算法，該聚類(lèi)算法基于兩個(gè)樣本點(diǎn)之間的圖形距離（graph distances）確定集群。采用該聚類(lèi)方法的集群擁有更小和不相等的大小。優(yōu)點(diǎn)：該算法不需要指出明確的集群數(shù)量。缺點(diǎn)：AP 聚類(lèi)算法主要的缺點(diǎn)就是訓(xùn)練速度比較慢，并需要大量?jī)?nèi)存，因此也就很難擴(kuò)展到大數(shù)據(jù)集中。另外，該算法同樣假定潛在的集群是類(lèi)球狀的。

④層次聚類(lèi)（Hierarchical Clustering）：層次聚類(lèi)是一系列基于以下概念的聚類(lèi)算法：是通過(guò)對(duì)數(shù)據(jù)集按照某種方法進(jìn)行層次分解，直到滿(mǎn)足某種條件為止。按照分類(lèi)原理的不同，可以分為凝聚和分裂兩種方法。優(yōu)點(diǎn)：層次聚類(lèi)最主要的優(yōu)點(diǎn)是集群不再需要假設(shè)為類(lèi)球形。另外其也可以擴(kuò)展到大數(shù)據(jù)集。缺點(diǎn)：有點(diǎn)像 K 均值聚類(lèi)，該算法需要設(shè)定集群的數(shù)量。

圖17 ?層次聚類(lèi)算法

⑤DBSCAN：這是一個(gè)比較有代表性的基于密度的聚類(lèi)算法。與劃分和層次聚類(lèi)方法不同，它將簇定義為密度相連的點(diǎn)的最大集合，能夠把具有足夠高密度的區(qū)域劃分為簇，并可在噪聲的空間數(shù)據(jù)庫(kù)中發(fā)現(xiàn)任意形狀的聚類(lèi)。它將樣本點(diǎn)的密集區(qū)域組成一個(gè)集群。優(yōu)點(diǎn)：DBSCAN 不需要假設(shè)集群為球狀，并且它的性能是可擴(kuò)展的。此外，它不需要每個(gè)點(diǎn)都被分配到一個(gè)集群中，這降低了集群的異常數(shù)據(jù)。缺點(diǎn)：用戶(hù)必須要調(diào)整「epsilon」和「min＿sample」這兩個(gè)定義了集群密度的超參數(shù)。DBSCAN 對(duì)這些超參數(shù)非常敏感。

圖18 DBSCAN算法

（2）降維算法：其主要特征是將數(shù)據(jù)從高維降低到低維層次，最大程度的保留了數(shù)據(jù)的信息。代表算法是：

①主要代表是主成分分析算法（PCA算法）：主成分分析也稱(chēng)主分量分析，旨在利用降維的思想，把多指標(biāo)轉(zhuǎn)化為少數(shù)幾個(gè)綜合指標(biāo)（即主成分），其中每個(gè)主成分都能夠反映原始變量的大部分信息，且所含信息互不重復(fù)。這種方法在引進(jìn)多方面變量的同時(shí)將復(fù)雜因素歸結(jié)為幾個(gè)主成分，使問(wèn)題簡(jiǎn)單化，同時(shí)得到的結(jié)果更加科學(xué)有效的數(shù)據(jù)信息。

圖19 ?PCA算法

②局部線(xiàn)性嵌入（Locally linear embeddingLLE）LLE降維算法：一種非線(xiàn)性降維算法，它能夠使降維后的數(shù)據(jù)較好地保持原有 流形結(jié)構(gòu) 。該算法是針對(duì)非線(xiàn)性信號(hào)特征矢量維數(shù)的優(yōu)化方法，這種維數(shù)優(yōu)化并不是僅僅在數(shù)量上簡(jiǎn)單的約簡(jiǎn)，而是在保持原始數(shù)據(jù)性質(zhì)不變的情況下，將高維空間的信號(hào)映射到低維空間上，即特征值的二次提取。

圖20 ?LLE降維算法

3．強(qiáng)化學(xué)習(xí)（Reinforcement Learning）
? ? 該算法與動(dòng)態(tài)環(huán)境相互作用，把環(huán)境的反饋?zhàn)鳛檩斎耄ㄟ^(guò)學(xué)習(xí)選擇能達(dá)到其目標(biāo)的最優(yōu)動(dòng)作。強(qiáng)化學(xué)習(xí)這一方法背后的數(shù)學(xué)原理與監(jiān)督／非監(jiān)督學(xué)習(xí)略有差異。監(jiān)督／非監(jiān)督學(xué)習(xí)更多地應(yīng)用了統(tǒng)計(jì)學(xué)，而強(qiáng)化學(xué)習(xí)更多地結(jié)合了離散數(shù)學(xué)、隨機(jī)過(guò)程這些數(shù)學(xué)方法。常見(jiàn)的算法有：

①TD（λ）算法：TD（temporal differenee）學(xué)習(xí)是強(qiáng)化學(xué)習(xí)技術(shù)中最主要的學(xué)習(xí)技術(shù)之一．TD學(xué)習(xí)是蒙特卡羅思想和動(dòng)態(tài)規(guī)劃思想的結(jié)合，即一方面TD算法在不需要系統(tǒng)模型情況下可以直接從agent經(jīng)驗(yàn)中學(xué)習(xí)；另一方面TD算法和動(dòng)態(tài)規(guī)劃一樣，利用估計(jì)的值函數(shù)進(jìn)行迭代。

圖21 ?TD（λ）算法

②Q＿learning算法：Q＿learning學(xué)習(xí)是一種模型無(wú)關(guān)的強(qiáng)化學(xué)習(xí)算法 ，又稱(chēng)為離策略TD學(xué)習(xí)（off－policy TD）．不同于TD算法，Q＿learning迭代時(shí)采用狀態(tài)＿動(dòng)作對(duì)的獎(jiǎng)賞和Q （s，a）作為估計(jì)函數(shù)，在Agent每一次學(xué)習(xí)迭代時(shí)都需要考察每一個(gè)行為，可確保學(xué)習(xí)過(guò)程收斂。

圖22 ? Q＿learning算法

（六）機(jī)器學(xué)習(xí)過(guò)程舉例說(shuō)明

所謂機(jī)器學(xué)習(xí)過(guò)程，是指觀(guān)察有n個(gè)樣本數(shù)據(jù)組成的集合，并根據(jù)這些數(shù)據(jù)來(lái)預(yù)測(cè)未知數(shù)據(jù)的性質(zhì)，那么在給定數(shù)據(jù)集（所謂大數(shù)據(jù)）和具體問(wèn)題的前提下，一般解決問(wèn)題的步驟可以概括如下：

1．?dāng)?shù)據(jù)抽象

將數(shù)據(jù)集和具體問(wèn)題抽象成數(shù)學(xué)語(yǔ)言，以恰當(dāng)?shù)臄?shù)學(xué)符號(hào)表示。這樣做自然是為了方便表述和求解問(wèn)題，而且也更加直觀(guān)。

2．設(shè)定性能度量指標(biāo)

機(jī)器學(xué)習(xí)是產(chǎn)生模型的算法，一般來(lái)說(shuō)模型都有誤差。如果模型學(xué)的太好，把訓(xùn)練樣本自身的一些特點(diǎn)當(dāng)成所有潛在樣本具有的一般性質(zhì)，這種情況稱(chēng)為過(guò)擬合，這樣的模型在面對(duì)新樣本時(shí)就會(huì)出現(xiàn)較大誤差，專(zhuān)業(yè)表述就是導(dǎo)致模型的泛化性能下降。與之相對(duì)的是欠擬合，模型對(duì)樣本的一般性質(zhì)都沒(méi)學(xué)好，這種情況一般比較好解決，擴(kuò)充數(shù)據(jù)集或者調(diào)整模型皆可。

3．?dāng)?shù)據(jù)預(yù)處理

之所以要做數(shù)據(jù)預(yù)處理，是因?yàn)樘峁┑臄?shù)據(jù)集往往很少是可以直接拿來(lái)用的。例如：如果樣本的屬性太多，一般有兩種方法： 降維和特征選擇。特征選擇比較好理解，就是選擇有用相關(guān)的屬性，或者用另外一種表達(dá)方式：選擇樣本中有用、跟問(wèn)題相關(guān)的特征。

4．選定模型

在數(shù)據(jù)集完美的情況下，接下來(lái)就是根據(jù)具體問(wèn)題選定恰當(dāng)?shù)哪Ｐ土恕Ｒ环N方式是根據(jù)有沒(méi)有標(biāo)記樣本考慮。如果是有標(biāo)記樣本，可以考慮有監(jiān)督學(xué)習(xí)，反之則是無(wú)監(jiān)督學(xué)習(xí)，兼而有之就看半監(jiān)督學(xué)習(xí)是否派的上用場(chǎng)。

5．訓(xùn)練及優(yōu)化

選定了模型，如何訓(xùn)練和優(yōu)化也是一個(gè)重要問(wèn)題。如果要評(píng)估訓(xùn)練集和驗(yàn)證集的劃分效果，常用的有留出法、交叉驗(yàn)證法、自助法、模型調(diào)參等如果模型計(jì)算時(shí)間太長(zhǎng)，可以考慮剪枝如果是過(guò)擬合，則可通過(guò)引入正則化項(xiàng)來(lái)抑制（補(bǔ)償原理）如果單個(gè)模型效果不佳，可以集成多個(gè)學(xué)習(xí)器通過(guò)一定策略結(jié)合，取長(zhǎng)補(bǔ)短（集成學(xué)習(xí)）

6．機(jī)器學(xué)習(xí)舉例分析

在機(jī)器學(xué)習(xí)領(lǐng)域特征比模型（學(xué)習(xí)算法）更重要。舉個(gè)例子，如果我們的特征選得很好，可能我們用簡(jiǎn)單的規(guī)則就能判斷出最終的結(jié)果，甚至不需要模型。比如，要判斷一個(gè)人是男還是女，假設(shè)由計(jì)算機(jī)來(lái)完成這個(gè)任務(wù)，首先采集到各種數(shù)據(jù)（特征：姓名、身高、頭發(fā)長(zhǎng)度，籍貫、是否吸煙等等。因?yàn)楦鶕?jù)統(tǒng)計(jì)我們知道男人一般比女人高，頭發(fā)比女人短，并且會(huì)吸煙；所以這些特征都有一定的區(qū)分度，但是總有反例存在。我們用最好的算法可能準(zhǔn)確率也達(dá)不到100％。然后再進(jìn)行特征提取，提出對(duì)目標(biāo)有意義的特征，刪除無(wú)關(guān)的（籍貫），然后進(jìn)行預(yù)處理，對(duì)特征提取結(jié)果的再加工，目的是增強(qiáng)特征的表示能力，防止模型（分類(lèi)器）過(guò)于復(fù)雜和學(xué)習(xí)困難。接下來(lái)就是訓(xùn)練數(shù)據(jù)，這里我們通過(guò)監(jiān)督學(xué)習(xí)或無(wú)監(jiān)督的方法來(lái)擬合分類(lèi)器模型。學(xué)習(xí)器通過(guò)分析數(shù)據(jù)的規(guī)律嘗試擬合出這些數(shù)據(jù)和學(xué)習(xí)目標(biāo)間的函數(shù)，使得定義在訓(xùn)練集上的總體誤差盡可能的小，從而利用學(xué)得的函數(shù)來(lái)預(yù)測(cè)未知數(shù)據(jù)的學(xué)習(xí)方法預(yù)測(cè)出結(jié)果，最后對(duì)結(jié)果進(jìn)行評(píng)價(jià)和改進(jìn)。

圖23 機(jī)器學(xué)習(xí)過(guò)程舉例說(shuō)明

（七）機(jī)器學(xué)習(xí)覆蓋的范圍

從范圍上來(lái)說(shuō)，機(jī)器學(xué)習(xí)跟模式識(shí)別，統(tǒng)計(jì)學(xué)習(xí)，數(shù)據(jù)挖掘是類(lèi)似的，同時(shí)，機(jī)器學(xué)習(xí)與其他領(lǐng)域的處理技術(shù)的結(jié)合，形成了計(jì)算機(jī)視覺(jué)、語(yǔ)音識(shí)別、自然語(yǔ)言處理等交叉學(xué)科。因此，一般說(shuō)數(shù)據(jù)挖掘時(shí)，可以等同于說(shuō)機(jī)器學(xué)習(xí)。同時(shí)，我們平常所說(shuō)的機(jī)器學(xué)習(xí)應(yīng)用，應(yīng)該是通用的，不僅僅局限在結(jié)構(gòu)化數(shù)據(jù)，還有圖像，音頻等應(yīng)用。

（1）模式識(shí)別

模式識(shí)別＝機(jī)器學(xué)習(xí)。兩者的主要區(qū)別在于前者是從工業(yè)界發(fā)展起來(lái)的概念，后者則主要源自計(jì)算機(jī)學(xué)科。在著名的《Pattern Recognition And Machine Learning》這本書(shū)中，Christopher M． Bishop在開(kāi)頭是這樣說(shuō)的：“模式識(shí)別源自工業(yè)界，而機(jī)器學(xué)習(xí)來(lái)自于計(jì)算機(jī)學(xué)科。不過(guò)，它們中的活動(dòng)可以被視為同一個(gè)領(lǐng)域的兩個(gè)方面，同時(shí)在過(guò)去的十年間，它們都有了長(zhǎng)足的發(fā)展”。

（2）數(shù)據(jù)挖掘

數(shù)據(jù)挖掘＝機(jī)器學(xué)習(xí)＋數(shù)據(jù)庫(kù)。數(shù)據(jù)挖掘僅僅是一種方式，不是所有的數(shù)據(jù)都具有價(jià)值，數(shù)據(jù)挖掘思維方式才是關(guān)鍵，加上對(duì)數(shù)據(jù)深刻的認(rèn)識(shí)，這樣才可能從數(shù)據(jù)中導(dǎo)出模式指引業(yè)務(wù)的改善。大部分?jǐn)?shù)據(jù)挖掘中的算法是機(jī)器學(xué)習(xí)的算法在數(shù)據(jù)庫(kù)中的優(yōu)化。

（3）統(tǒng)計(jì)學(xué)習(xí)

統(tǒng)計(jì)學(xué)習(xí)近似等于機(jī)器學(xué)習(xí)。統(tǒng)計(jì)學(xué)習(xí)是個(gè)與機(jī)器學(xué)習(xí)高度重疊的學(xué)科。因?yàn)闄C(jī)器學(xué)中的大多數(shù)方法來(lái)自統(tǒng)計(jì)學(xué)，甚至可以認(rèn)為，統(tǒng)計(jì)學(xué)的發(fā)展促進(jìn)機(jī)器學(xué)習(xí)的繁榮昌盛。例如著名的支持向量機(jī)算法，就是源自統(tǒng)計(jì)學(xué)科。兩者的區(qū)別在于：統(tǒng)計(jì)學(xué)習(xí)者重點(diǎn)關(guān)注的是統(tǒng)計(jì)模型的發(fā)展與優(yōu)化，偏數(shù)學(xué)，而機(jī)器學(xué)習(xí)者更關(guān)注的是能夠解決問(wèn)題，偏實(shí)踐，因此機(jī)器學(xué)習(xí)研究者會(huì)重點(diǎn)研究學(xué)習(xí)算法在計(jì)算機(jī)上執(zhí)行的效率與準(zhǔn)確性的提升。

（4）計(jì)算機(jī)視覺(jué)

計(jì)算機(jī)視覺(jué)＝圖像處理＋機(jī)器學(xué)習(xí)。圖像處理技術(shù)用于將圖像處理為適合進(jìn)入機(jī)器學(xué)模型中的輸入，機(jī)器學(xué)習(xí)則負(fù)責(zé)從圖像中識(shí)別出相關(guān)的模式。計(jì)算機(jī)視覺(jué)相關(guān)的應(yīng)用非常的多，例如百度識(shí)圖、手寫(xiě)字符識(shí)別、車(chē)牌識(shí)別等等應(yīng)用。這個(gè)領(lǐng)域?qū)⑹俏磥?lái)研究的熱門(mén)方向。隨著機(jī)器學(xué)習(xí)的新領(lǐng)域深度學(xué)習(xí)的發(fā)展，大大促進(jìn)了計(jì)算機(jī)圖像識(shí)別的效果，因此未來(lái)計(jì)算機(jī)視覺(jué)界的發(fā)展前景不可估量。

（5）語(yǔ)音識(shí)別

語(yǔ)音識(shí)別＝語(yǔ)音處理＋機(jī)器學(xué)習(xí)。語(yǔ)音識(shí)別就是音頻處理技術(shù)與機(jī)器學(xué)習(xí)的結(jié)合。語(yǔ)音識(shí)別技術(shù)一般不會(huì)單獨(dú)使用，一般會(huì)結(jié)合自然語(yǔ)言處理的相關(guān)技術(shù)。目前的相關(guān)應(yīng)用有蘋(píng)果的語(yǔ)音助手siri等。

（6）自然語(yǔ)言處理

自然語(yǔ)言處理＝文本處理＋機(jī)器學(xué)習(xí)。自然語(yǔ)言處理技術(shù)主要是讓機(jī)器理解人類(lèi)的語(yǔ)言的一門(mén)領(lǐng)域。在自然語(yǔ)言處理技術(shù)中，大量使用了編譯原理相關(guān)的技術(shù)，例如詞法分析，語(yǔ)法分析等等，除此之外，在理解這個(gè)層面，則使用了語(yǔ)義理解，機(jī)器學(xué)習(xí)等技術(shù)。作為唯一由人類(lèi)自身創(chuàng)造的符號(hào)，自然語(yǔ)言處理一直是機(jī)器學(xué)習(xí)界不斷研究的方向。

圖24 ? 機(jī)器學(xué)習(xí)覆蓋的范圍

（八）機(jī)器學(xué)習(xí)在工業(yè)生產(chǎn)中的主要應(yīng)用場(chǎng)景

機(jī)器學(xué)習(xí)作為人工智能的最有效的實(shí)現(xiàn)方法，已經(jīng)在工業(yè)制造等眾多場(chǎng)景中得到了廣泛應(yīng)用，以下是機(jī)器學(xué)習(xí)在工業(yè)生產(chǎn)中的五個(gè)應(yīng)用場(chǎng)景。

1．代替肉眼檢查作業(yè)，實(shí)現(xiàn)制造檢查智能化和無(wú)人化

例如工程巖體的分類(lèi)，目前主要是通過(guò)有經(jīng)驗(yàn)的工程師通過(guò)仔細(xì)鑒別來(lái)判斷，效率比較低，并且因人而異會(huì)產(chǎn)生不同的判斷偏差。通過(guò)采用人工智能，把工程師的經(jīng)驗(yàn)轉(zhuǎn)化為深度學(xué)習(xí)算法，判斷的準(zhǔn)確率和人工判斷相當(dāng)，得到對(duì)應(yīng)的權(quán)值后開(kāi)發(fā)出APP，這樣工程人員在使用平板拍照后，就可以通過(guò)APP自動(dòng)得到工程巖體分類(lèi)的結(jié)果，高效而且準(zhǔn)確率高。

2．大幅改善工業(yè)機(jī)器人的作業(yè)性能，提升制造流程的自動(dòng)化和無(wú)人化

工業(yè)上有許多需要分撿的作業(yè)，如果采用人工的作業(yè)，速度緩慢且成本高，而且還需要提供適宜的工作溫度環(huán)境。如果采用工業(yè)機(jī)器人的話(huà)，可以大幅減低成本，提高速度。例如圖25所示的Bin Picking機(jī)器人。

圖25 Bin Picking（零件分檢）機(jī)器人

但是，一般需要分撿的零件并沒(méi)有被整齊擺放，機(jī)器人雖然有攝像機(jī)看到零件，但卻不知道如何把零件成功的撿起來(lái)。在這種情況下，利用機(jī)器學(xué)習(xí)，先讓工業(yè)機(jī)器人隨機(jī)的進(jìn)行一次分撿動(dòng)作，然后告訴它這次動(dòng)作是成功分撿到零件還是抓空了，經(jīng)過(guò)多次訓(xùn)練之后，機(jī)器人就會(huì)知道按照怎樣的順序來(lái)分撿才有更高的成功率，如圖26所示。

圖26 利用機(jī)器學(xué)習(xí)進(jìn)行散堆拾取

如圖27所示，經(jīng)過(guò)機(jī)器學(xué)習(xí)后，機(jī)器人知道了分撿時(shí)夾圓柱的哪個(gè)位置會(huì)有更高的撿起成功率。

圖27 學(xué)習(xí)次數(shù)越多準(zhǔn)確性越高

如圖28表明通過(guò)機(jī)器學(xué)習(xí)后，機(jī)器人知道按照怎樣的順序分撿，成功率會(huì)更高，圖中數(shù)字是分撿的先后次序。

圖28 機(jī)器人確定分揀順序

如圖29所示，經(jīng)過(guò)8個(gè)小時(shí)的學(xué)習(xí)后，機(jī)器人的分撿成功率可以達(dá)到90％，和熟練工人的水平相當(dāng)。

圖29 分撿成功率得到大幅提升

3．工業(yè)機(jī)器人異常的提前檢知，從而有效避免機(jī)器故障帶來(lái)的損失和影響

在制造流水線(xiàn)上，有大量的工業(yè)機(jī)器人。如果其中一個(gè)機(jī)器人出現(xiàn)了故障，當(dāng)人感知到這個(gè)故障時(shí)，可能已經(jīng)造成大量的不合格品，從而帶來(lái)不小的損失。如果能在故障發(fā)生以前就檢知的話(huà)，就可以有效得做出預(yù)防，減少損失。如圖30中的工業(yè)機(jī)器人減速機(jī)，如果給它們配上傳感器，并提前提取它們正常／不正常工作時(shí)的波形，電流等信息，用于訓(xùn)練機(jī)器學(xué)習(xí)系統(tǒng)，那么訓(xùn)練出來(lái)的模型就可以用來(lái)提前預(yù)警，實(shí)際數(shù)據(jù)表明，機(jī)器人會(huì)比人更早地預(yù)知到故障，從而降低損失。

圖30 ? 工業(yè)機(jī)器人故障預(yù)測(cè)

如圖9所示，經(jīng)過(guò)機(jī)器學(xué)習(xí)后，模型通過(guò)觀(guān)測(cè)到的波形，可以檢知到人很難感知到的細(xì)微變化，并在機(jī)器人徹底故障之前的數(shù)星期，就提出有效的預(yù)警。圖31是利用機(jī)器學(xué)習(xí)來(lái)提前預(yù)警主軸的故障，一般情況下都是主軸出現(xiàn)問(wèn)題后才被發(fā)現(xiàn)。

圖31 主軸故障預(yù)測(cè)

4．PCB電路板的輔助設(shè)計(jì)

任何一塊印制板，都存在與其他結(jié)構(gòu)件配合裝配的問(wèn)題，所以印制板的外形和尺寸必須以產(chǎn)品整機(jī)結(jié)構(gòu)為依據(jù)，另外還需要考慮到生產(chǎn)工藝，層數(shù)方面也需要根據(jù)電路性能要求、板型尺寸和線(xiàn)路的密集程度而定。如果不是經(jīng)驗(yàn)豐富的技術(shù)人員，很難設(shè)計(jì)出合適的多層板。利用機(jī)器學(xué)習(xí)，系統(tǒng)可以將技術(shù)人員的經(jīng)驗(yàn)轉(zhuǎn)化為模型，從而提升PCB設(shè)計(jì)的效率與成功率，如圖32所示。

圖32 PCB板輔助設(shè)計(jì)

5．快速高效地找出符合3D模型的現(xiàn)實(shí)零件

例如工業(yè)上的3D模型設(shè)計(jì)完成后，需要根據(jù)3D模型中參數(shù)，尋找可對(duì)應(yīng)的現(xiàn)實(shí)中的零件，用于制造實(shí)際的產(chǎn)品。利用機(jī)器學(xué)習(xí)來(lái)完成這個(gè)任務(wù)的話(huà)，可以快速，高匹配率地找出符合3D模型參數(shù)的那些現(xiàn)實(shí)零件。

圖33是根據(jù)3D模型設(shè)計(jì)的參數(shù)，機(jī)器學(xué)習(xí)模型計(jì)算各個(gè)現(xiàn)實(shí)零件與這些參數(shù)的類(lèi)似度，從而篩選出匹配的現(xiàn)實(shí)零件。沒(méi)有使用機(jī)器學(xué)習(xí)時(shí)，篩選的匹配率大概是68％，也就是說(shuō)，找出的現(xiàn)實(shí)零件中有1／3不能滿(mǎn)足3D模型設(shè)計(jì)的參數(shù)，而使用機(jī)器學(xué)習(xí)后，匹配率高達(dá)96％。

圖33 檢索匹配的零件

（九）機(jī)器學(xué)習(xí)中的日常生活場(chǎng)景

1． 市民出行選乘公交預(yù)測(cè)

基于海量公交數(shù)據(jù)記錄，希望挖掘市民在公共交通中的行為模式。以市民出行公交線(xiàn)路選乘預(yù)測(cè)為方向，期望通過(guò)分析公交線(xiàn)路的歷史公交卡交易數(shù)據(jù)，挖掘固定人群在公共交通中的行為模式，分析推測(cè)乘客的出行習(xí)慣和偏好，從而建立模型預(yù)測(cè)人們?cè)谖磥?lái)一周內(nèi)將會(huì)搭乘哪些公交線(xiàn)路，為廣大乘客提供信息對(duì)稱(chēng)、安全舒適的出行環(huán)境，用數(shù)據(jù)引領(lǐng)未來(lái)城市智慧出行。

2． 商品圖片分類(lèi)

電商網(wǎng)站含有數(shù)以百萬(wàn)計(jì)的商品圖片，“拍照購(gòu)”“找同款”等應(yīng)用必須對(duì)用戶(hù)提供的商品圖片進(jìn)行分類(lèi)。同時(shí)，提取商品圖像特征，可以提供給推薦、廣告等系統(tǒng)，提高推薦／廣告的效果。希望通過(guò)對(duì)圖像數(shù)據(jù)進(jìn)行學(xué)習(xí)，以達(dá)到對(duì)圖像進(jìn)行分類(lèi)劃分的目的。

3． 基于文本內(nèi)容的垃圾短信識(shí)別

垃圾短信已日益成為困擾運(yùn)營(yíng)商和手機(jī)用戶(hù)的難題，嚴(yán)重影響到人們正常生活、侵害到運(yùn)營(yíng)商的社會(huì)形象以及危害著社會(huì)穩(wěn)定。而不法分子運(yùn)用科技手段不斷更新垃圾短信形式且傳播途徑非常廣泛，傳統(tǒng)的基于策略、關(guān)鍵詞等過(guò)濾的效果有限，很多垃圾短信“逃脫”過(guò)濾，繼續(xù)到達(dá)手機(jī)終端。希望基于短信文本內(nèi)容，結(jié)合機(jī)器學(xué)習(xí)算法、大數(shù)據(jù)分析挖掘來(lái)智能地識(shí)別垃圾短信及其變種。

4． 國(guó)家電網(wǎng)客戶(hù)用電異常行為分析

隨著電力系統(tǒng)升級(jí)，智能電力設(shè)備的普及，國(guó)家電網(wǎng)公司可以實(shí)時(shí)收集海量的用戶(hù)用電行為數(shù)據(jù)、電力設(shè)備監(jiān)測(cè)數(shù)據(jù)，因此，國(guó)家電網(wǎng)公司希望通過(guò)大數(shù)據(jù)分析技術(shù)，科學(xué)的開(kāi)展防竊電監(jiān)測(cè)分析，以提高反竊電工作效率，降低竊電行為分析的時(shí)間及成本。

5．自動(dòng)駕駛場(chǎng)景中的交通標(biāo)志檢測(cè)

在自動(dòng)駕駛場(chǎng)景中，交通標(biāo)志的檢測(cè)和識(shí)別對(duì)行車(chē)周?chē)h(huán)境的理解起著至關(guān)重要的作用。例如通過(guò)檢測(cè)識(shí)別限速標(biāo)志來(lái)控制當(dāng)前車(chē)輛的速度等；另一方面，將交通標(biāo)志嵌入到高精度地圖中，對(duì)定位導(dǎo)航也起到關(guān)鍵的輔助作用。希望機(jī)遇完全真實(shí)場(chǎng)景下的圖片數(shù)據(jù)用于訓(xùn)練和測(cè)試，訓(xùn)練能夠?qū)嶋H應(yīng)用在自動(dòng)駕駛中的識(shí)別模型。

6．大數(shù)據(jù)精準(zhǔn)營(yíng)銷(xiāo)中用戶(hù)畫(huà)像挖掘

在現(xiàn)代廣告投放系統(tǒng)中，多層級(jí)成體系的用戶(hù)畫(huà)像構(gòu)建算法是實(shí)現(xiàn)精準(zhǔn)廣告投放的基礎(chǔ)技術(shù)之一。期望基于用戶(hù)歷史一個(gè)月的查詢(xún)?cè)~與用戶(hù)的人口屬性標(biāo)簽（包括性別、年齡、學(xué)歷）做為訓(xùn)練數(shù)據(jù)，通過(guò)機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘技術(shù)構(gòu)建分類(lèi)算法來(lái)對(duì)新增用戶(hù)的人口屬性進(jìn)行判定。

7． 監(jiān)控場(chǎng)景下的行人精細(xì)化識(shí)別

隨著平安中國(guó)、平安城市的提出，視頻監(jiān)控被廣泛應(yīng)用于各種領(lǐng)域，這給維護(hù)社會(huì)治安帶來(lái)了便捷；但同時(shí)也帶來(lái)了一個(gè)問(wèn)題，即海量的視頻監(jiān)控流使得發(fā)生突發(fā)事故后，需要耗費(fèi)大量的人力物力去搜索有效信息。希望基于監(jiān)控場(chǎng)景下多張帶有標(biāo)注信息的行人圖像，在定位（頭部、上身、下身、腳、帽子、包）的基礎(chǔ)上研究行人精細(xì)化識(shí)別算法，自動(dòng)識(shí)別出行人圖像中行人的屬性特征。

8．需求預(yù)測(cè)與倉(cāng)儲(chǔ)規(guī)劃方案

擁有海量的買(mǎi)家和賣(mài)家交易數(shù)據(jù)的情況下，利用數(shù)據(jù)挖掘技術(shù)，我們能對(duì)未來(lái)的商品需求量進(jìn)行準(zhǔn)確地預(yù)測(cè)，從而幫助商家自動(dòng)化很多供應(yīng)鏈過(guò)程中的決策。這些以大數(shù)據(jù)驅(qū)動(dòng)的供應(yīng)鏈能夠幫助商家大幅降低運(yùn)營(yíng)成本，更精確的需求預(yù)測(cè)，能夠大大地優(yōu)化運(yùn)營(yíng)成本，降低收貨時(shí)效，提升整個(gè)社會(huì)的供應(yīng)鏈物流效率，朝智能化的供應(yīng)鏈平臺(tái)方向更加邁進(jìn)一步。高質(zhì)量的商品需求預(yù)測(cè)是供應(yīng)鏈管理的基礎(chǔ)和核心功能。

9．股價(jià)走勢(shì)預(yù)測(cè)

隨著經(jīng)濟(jì)社會(huì)的發(fā)展，以及人們投資意識(shí)的增強(qiáng)，人們?cè)絹?lái)越多的參與到股票市場(chǎng)的經(jīng)濟(jì)活動(dòng)中，股票投資也已經(jīng)成為人們生活的一個(gè)重要組成部分。然而在股票市場(chǎng)中，眾多的指標(biāo)、眾多的信息，很難找出對(duì)股價(jià)更為關(guān)鍵的因素；其次股市結(jié)構(gòu)極為復(fù)雜，影響因素具有多樣性、相關(guān)性。這導(dǎo)致了很難找出股市內(nèi)在的模式。希望在盡可能全面的收集股市信息的基礎(chǔ)上，建立股價(jià)預(yù)測(cè)模。

10．地震預(yù)報(bào)

根據(jù)歷史全球大地震的時(shí)空?qǐng)D，找出與中國(guó)大陸大地震有關(guān)的14個(gè)相關(guān)區(qū)，對(duì)這些相關(guān)區(qū)逐一鑒別，選取較優(yōu)的9個(gè)，再根據(jù)這9個(gè)相關(guān)區(qū)發(fā)生的大震來(lái)預(yù)測(cè)中國(guó)大陸在未來(lái)一年內(nèi)會(huì)不會(huì)有大震發(fā)生。

11．穿衣搭配推薦

穿衣搭配是服飾鞋包導(dǎo)購(gòu)中非常重要的課題，基于搭配專(zhuān)家和達(dá)人生成的搭配組合數(shù)據(jù)，百萬(wàn)級(jí)別的商品的文本和圖像數(shù)據(jù)，以及用戶(hù)的行為數(shù)據(jù)。期待能從以上行為、文本和圖像數(shù)據(jù)中挖掘穿衣搭配模型，為用戶(hù)提供個(gè)性化、優(yōu)質(zhì)的、專(zhuān)業(yè)的穿衣搭配方案，預(yù)測(cè)給定商品的搭配商品集合。

12．依據(jù)用戶(hù)軌跡的商戶(hù)精準(zhǔn)營(yíng)銷(xiāo)

隨著用戶(hù)訪(fǎng)問(wèn)移動(dòng)互聯(lián)網(wǎng)的與日俱增，如何根據(jù)用戶(hù)的畫(huà)像對(duì)用戶(hù)進(jìn)行精準(zhǔn)營(yíng)銷(xiāo)成為了很多互聯(lián)網(wǎng)和非互聯(lián)網(wǎng)企業(yè)的新發(fā)展方向。希望根據(jù)商戶(hù)位置及分類(lèi)數(shù)據(jù)、用戶(hù)標(biāo)簽畫(huà)像數(shù)據(jù)提取用戶(hù)標(biāo)簽和商戶(hù)分類(lèi)的關(guān)聯(lián)關(guān)系，然后根據(jù)用戶(hù)在某一段時(shí)間內(nèi)的位置數(shù)據(jù)，判斷用戶(hù)進(jìn)入該商戶(hù)地位范圍300米內(nèi)，則對(duì)用戶(hù)推送符合該用戶(hù)畫(huà)像的商戶(hù)位置和其他優(yōu)惠信息。

13．氣象關(guān)聯(lián)分析

在社會(huì)經(jīng)濟(jì)生活中，不少行業(yè)，如農(nóng)業(yè)、交通業(yè)、建筑業(yè)、旅游業(yè)、銷(xiāo)售業(yè)、保險(xiǎn)業(yè)等，無(wú)一例外與天氣的變化息息相關(guān)。為了更深入地挖掘氣象資源的價(jià)值，希望基于共計(jì)60年的中國(guó)地面歷史氣象數(shù)據(jù)，推動(dòng)氣象數(shù)據(jù)與其他各行各業(yè)數(shù)據(jù)的有效結(jié)合，尋求氣象要素之間、以及氣象與其它事物之間的相互關(guān)系，讓氣象數(shù)據(jù)發(fā)揮更多元化的價(jià)值。

14．交通事故成因分析

隨著時(shí)代發(fā)展，便捷交通對(duì)社會(huì)產(chǎn)生巨大貢獻(xiàn)的同時(shí)，各類(lèi)交通事故也嚴(yán)重地影響了人們生命財(cái)產(chǎn)安全和社會(huì)經(jīng)濟(jì)發(fā)展。希望通過(guò)對(duì)事故類(lèi)型、事故人員、事故車(chē)輛、事故天氣、駕照信息、駕駛?cè)藛T犯罪記錄數(shù)據(jù)以及其他和交通事故有關(guān)的數(shù)據(jù)進(jìn)行深度挖掘，形成交通事故成因分析方案。

15．基于興趣的實(shí)時(shí)新聞推薦

隨著近年來(lái)互聯(lián)網(wǎng)的飛速發(fā)展，個(gè)性化推薦已成為各大主流網(wǎng)站的一項(xiàng)必不可少服務(wù)。提供各類(lèi)新聞的門(mén)戶(hù)網(wǎng)站是互聯(lián)網(wǎng)上的傳統(tǒng)服務(wù)，但是與當(dāng)今蓬勃發(fā)展的電子商務(wù)網(wǎng)站相比，新聞的個(gè)性化推薦服務(wù)水平仍存在較大差距。希望通過(guò)對(duì)帶有時(shí)間標(biāo)記的用戶(hù)瀏覽行為和新聞文本內(nèi)容進(jìn)行分析，挖掘用戶(hù)的新聞瀏覽模式和變化規(guī)律，設(shè)計(jì)及時(shí)準(zhǔn)確的推薦系統(tǒng)預(yù)測(cè)用戶(hù)未來(lái)可能感興趣的新聞。

四、深度學(xué)習(xí)：機(jī)器學(xué)習(xí)的更高智能進(jìn)階

1．深度學(xué)習(xí)的背景

2006年，加拿大多倫多大學(xué)教授、機(jī)器學(xué)習(xí)領(lǐng)域的泰斗Geoffrey Hinton和學(xué)生Salakhutdinov在Science上發(fā)表文章 《Reducing the Dimensionalitg of Data with Neural Neworks》，這篇文章有兩個(gè)主要觀(guān)點(diǎn)：1）多隱層神經(jīng)網(wǎng)絡(luò)有更厲害的學(xué)習(xí)能力，可以表達(dá)更多特征來(lái)描述對(duì)象；2）訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)時(shí)，可通過(guò)降維（pre－training）來(lái)實(shí)現(xiàn)，老教授設(shè)計(jì)出來(lái)的Autoencoder網(wǎng)絡(luò)能夠快速找到好的全局最優(yōu)點(diǎn)，采用無(wú)監(jiān)督的方法先分開(kāi)對(duì)每層網(wǎng)絡(luò)進(jìn)行訓(xùn)練，然后再來(lái)微調(diào)。該文章的發(fā)表翻開(kāi)了深度學(xué)習(xí)的新篇章。2013年4月，深度學(xué)習(xí)技術(shù)被《麻省理工學(xué)院技術(shù)評(píng)論》（MIT TechnologyReview）雜志列為2013年十大突破性技術(shù)（Breakthrough Technology） 之首。與淺層學(xué)習(xí)模型依賴(lài)人工經(jīng)驗(yàn)不同，深層學(xué)習(xí)模型通過(guò)構(gòu)建機(jī)器學(xué)習(xí)模型和海量的訓(xùn)練數(shù)據(jù)，來(lái)學(xué)習(xí)更有用的特征，從而最終提升分類(lèi)或預(yù)測(cè)的準(zhǔn)確性。

圖34 ?深度學(xué)習(xí)的發(fā)展歷程

2．深度學(xué)習(xí)的定義

深度學(xué)習(xí)是機(jī)器學(xué)習(xí)研究領(lǐng)域的分支，隸屬于神經(jīng)網(wǎng)絡(luò)體系。深度學(xué)習(xí)通過(guò)建立、模擬人腦的信息處理神經(jīng)結(jié)構(gòu)來(lái)實(shí)現(xiàn)對(duì)外部輸入的數(shù)據(jù)進(jìn)行從低級(jí)到高級(jí)的特征提取，從而能夠使機(jī)器理解學(xué)習(xí)數(shù)據(jù)，獲得信息，因具有多個(gè)隱藏層的神經(jīng)網(wǎng)絡(luò)又被稱(chēng)為深度神經(jīng)網(wǎng)絡(luò)。深度學(xué)習(xí)將數(shù)據(jù)輸入系統(tǒng)后，通過(guò)建模及模擬人腦的神經(jīng)網(wǎng)從而進(jìn)行學(xué)習(xí)的技術(shù)，像生物神經(jīng)元一樣，神經(jīng)網(wǎng)絡(luò)系統(tǒng)中有系列分層排列的模擬神經(jīng)元（信息傳遞的連接點(diǎn)），且經(jīng)過(guò)每個(gè)神經(jīng)元的響應(yīng)函數(shù)都會(huì)分配一個(gè)相應(yīng)的“權(quán)值”，表示彼此之間的連接強(qiáng)度。通過(guò)每層神經(jīng)元相互“連接”，計(jì)算機(jī)就可以由達(dá)到最佳方案時(shí)所有神經(jīng)元的加權(quán)和，從而可以實(shí)現(xiàn)這一決策方案。

3．深度學(xué)習(xí)的基礎(chǔ)和實(shí)現(xiàn)

①深度學(xué)習(xí)的思想基礎(chǔ)一誤差逆?zhèn)鞑ニ惴ǎ˙P算法）

BP神經(jīng)網(wǎng)絡(luò)（如圖35） 是1986年Rumelhart和McClelland等人提出的，是一種按誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋神經(jīng)網(wǎng)絡(luò)，它存儲(chǔ)大量映射模式關(guān)系，無(wú)需揭示其映射方程。BP算法的核心思想是采用最速下降法（梯度下降法），通過(guò)反向傳播調(diào)試網(wǎng)絡(luò)的權(quán)值和閾值，使得其誤差平方和最小。

圖35 BP神經(jīng)網(wǎng)絡(luò)

②圖像處理領(lǐng)域的里程碑一卷積神經(jīng)網(wǎng)絡(luò)（CNN）

20世紀(jì)60年代，Hubel和Wiesel在研究貓腦皮層中用于局部敏感和方向選擇的神經(jīng)元時(shí)發(fā)現(xiàn)網(wǎng)絡(luò)結(jié)構(gòu)可以降低反饋神經(jīng)網(wǎng)絡(luò)的復(fù)雜性，進(jìn)而提出了卷積神經(jīng)網(wǎng)絡(luò)的概念。由于其避免了對(duì)圖像的前期預(yù)處理，可以直接輸入原始圖像，CNN已經(jīng)成為神經(jīng)網(wǎng)絡(luò)的標(biāo)志性代表之一。

圖36 ?卷積神經(jīng)網(wǎng)絡(luò)（CNN）

③深度神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)基礎(chǔ)一玻爾茲曼機(jī)和受限玻爾茲曼機(jī)

玻爾茲曼機(jī) 是Hinton和Sejnowski提出的隨機(jī)遞歸神經(jīng)網(wǎng)絡(luò)，也可以看做是隨機(jī)的Hopfield網(wǎng)絡(luò)，因樣本分布遵循玻爾茲曼分布而命名為BM。

圖37 ?玻爾茲曼機(jī)

4．深度學(xué)習(xí)的重大成就

利用機(jī)器學(xué)習(xí)，人工智能系統(tǒng)獲得了歸納推理和決策能力；而深度學(xué)習(xí)更將這一能力推向了更高的層次。目前，在深度學(xué)習(xí)中，卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，簡(jiǎn)稱(chēng)CNN）作為最有效的深層神經(jīng)網(wǎng)絡(luò)，現(xiàn)在已經(jīng)被越來(lái)越多地應(yīng)用到許多智能領(lǐng)域之中，并且它們?cè)絹?lái)越像人類(lèi)了，例如AlphaGo、SIRI和FACEBOOK等都應(yīng)用了卷積神經(jīng)網(wǎng)絡(luò)。在中國(guó)目前非常關(guān)注的智能制造領(lǐng)域中，制造機(jī)器人是深度學(xué)習(xí)的經(jīng)典案例，深度學(xué)習(xí)的機(jī)器人能夠自動(dòng)適應(yīng)外部環(huán)境的變化，面對(duì)新型任務(wù)時(shí)可以自動(dòng)重新調(diào)整算法和技術(shù)，

5．深度學(xué)習(xí)的發(fā)展展望

深度學(xué)習(xí)必將成為人工智能發(fā)展的核心驅(qū)動(dòng)力。雖然深度學(xué)習(xí)在實(shí)際應(yīng)用中取得了許多成就，但是仍有局限性：理論研究缺乏、無(wú)監(jiān)督學(xué)習(xí)能力弱、缺少邏輯推理和記憶能力等。深度學(xué)習(xí)的研究多是基于實(shí)驗(yàn)訓(xùn)練進(jìn)行的，但是對(duì)其內(nèi)部原理，學(xué)習(xí)本質(zhì)研究很少。現(xiàn)在的研究多是在網(wǎng)絡(luò)架構(gòu)、參數(shù)選擇等方面，而且深度學(xué)習(xí)的還有進(jìn)一步提升空間，也需要更加完備深入的理論支撐其發(fā)展。

目前主流應(yīng)用還是以監(jiān)督學(xué)習(xí)為主的，但在實(shí)際生活中，無(wú)標(biāo)簽未知的數(shù)據(jù)占主體，所以更應(yīng)該應(yīng)用可以發(fā)現(xiàn)事物內(nèi)在關(guān)系的無(wú)監(jiān)督學(xué)習(xí)，未來(lái)還有更廣闊的發(fā)展空間。深度學(xué)習(xí)是人工智能發(fā)展的巨大推力，目前階段中深度學(xué)習(xí)更側(cè)重于處理數(shù)據(jù)，在面對(duì)更復(fù)雜的任務(wù)時(shí)，則需要更多記憶能力和邏輯推理能力。

五：機(jī)器學(xué)習(xí)的未來(lái)：挑戰(zhàn)與機(jī)遇并存

機(jī)器學(xué)習(xí)是人工智能應(yīng)用的又一重要研究領(lǐng)域。當(dāng)今，盡管在機(jī)器學(xué)習(xí)領(lǐng)域已經(jīng)取得重大技術(shù)進(jìn)展，但就目前機(jī)器學(xué)習(xí)發(fā)展現(xiàn)狀而言，自主學(xué)習(xí)能力還十分有限，還不具備類(lèi)似人那樣的學(xué)習(xí)能力，同時(shí)機(jī)器學(xué)習(xí)的發(fā)展也面臨著巨大的挑戰(zhàn)，諸如泛化能力、速度、可理解性以及數(shù)據(jù)利用能力等技術(shù)性難關(guān)必須克服。但令人可喜的是，在某些復(fù)雜的類(lèi)人神經(jīng)分析算法的開(kāi)發(fā)領(lǐng)域，計(jì)算機(jī)專(zhuān)家已經(jīng)取得了很大進(jìn)展，人們已經(jīng)可以開(kāi)發(fā)出許多自主性的算法和模型讓機(jī)器展現(xiàn)出高效的學(xué)習(xí)能力。對(duì)機(jī)器學(xué)習(xí)的進(jìn)一步深入研究，勢(shì)必推動(dòng)人工智能技術(shù)的深化應(yīng)用與發(fā)展。