相信大家在觀看吳恩達機器學習公開課的第一節(jié)課中，印象比較深的有使用強化學習去訓練與控制機器人，直升飛機，讓它們學會新的技能。

那么，機器學習在機器人中有哪些應用呢？本文將對這個問題進行簡單的介紹。

1.計算機視覺

因為“機器人視覺”不僅涉及到計算機算法，有些人會認為正確的術(shù)語是機器視覺或機器人視覺。機器人學家或工程師也必須選擇攝像頭硬件能夠允許機器人處理物理數(shù)據(jù)。機器人視覺與機器視覺密切相關，后者用于引導機器人引導和自動檢測系統(tǒng)。它們之間的微小差異可能在應用于機器人視覺的運動學中，其包括參考框架校準和機器人對其環(huán)境的物理影響的能力。

大量數(shù)據(jù)即網(wǎng)絡上可用的視覺信息（包括注釋/標記的照片和視頻）的涌入推動了計算機視覺的進步，這反過來也有助于進一步基于機器學習的結(jié)構(gòu)化預測學習技術(shù)，推動機器人視覺應用，如物體的識別和排序。一個分支的例子是無人監(jiān)督學習的異常檢測，例如能夠使用卷積神經(jīng)網(wǎng)絡找到并評估硅芯片故障的建筑系統(tǒng)，由Biomimetic機器人和機器學習實驗室的研究人員設計，該研究人員是非營利機構(gòu)Assistenzrobotik的一部分電子伏特在慕尼黑。諸如雷達，激光雷達和超聲波等超感知技術(shù)也推動了自主車輛和無人機的360度視覺系統(tǒng)的開發(fā)。

2 .模仿學習

模仿學習與觀察學習密切相關，這是嬰幼兒展示的行為。模仿學習也是強化學習的總體類別，也是讓agent在世界范圍內(nèi)采取行動的最大挑戰(zhàn)。貝葉斯或概率模型是這種機器學習方法的常見特征。模仿學習是否可以用于類人機器人的問題早在1999年就被假定了。

模仿學習已經(jīng)成為現(xiàn)場機器人技術(shù)的一個組成部分，其中一些工廠的移動特性，如建筑，農(nóng)業(yè)，搜索和救援，軍事等領域的移動特性使手動編程機器人解決方案變得具有挑戰(zhàn)性。例子包括逆向優(yōu)化控制方法，或者“通過演示進行編程(PbD)”.CMU和其他組織在類人機器人，腿式運動和越野粗糙地形移動導航儀領域中得到應用。亞利桑那州立大學的研究人員在兩年前發(fā)表了這個視頻，展示了一個類人機器人，使用模仿學習獲得不同的掌握技巧。

貝葉斯信念網(wǎng)絡也被應用于前向?qū)W習模型，其中機器人在沒有先驗知識的情況下學習運動系統(tǒng)或外部環(huán)境。 這個例子就是“motor babbling”，正如伊利諾伊大學厄巴納 - 香檳分校（UIUC）的語言習得和機器人小組所組織的，Bert是“iCub”人形機器人。

3.自我監(jiān)督學習

自我監(jiān)督的學習方法使機器人能夠生成自己的培訓示例，以提高性能;這包括使用先驗訓練和數(shù)據(jù)捕獲近距離來解釋“遠程不明確的傳感器數(shù)據(jù)”。它被并入機器人和光學設備中，可以檢測和排除物體（例如灰塵和雪）;識別崎嶇地形中的蔬菜和障礙物;并在3D場景分析和建模車輛動力學。

Watch-Bot是一個具體的例子，由Cornell和Stanford的研究人員創(chuàng)建，它使用3D傳感器（Kinect），相機，筆記本電腦和激光筆來檢測“正常的人類活動”，這是通過概率方法學習的模式。 Watch-Bot使用激光筆將目標對象作為提醒（例如，留在冰箱中的牛奶）。在初始測試中，機器人能夠成功地提醒人類60％的時間（它沒有理解它在做什么或為什么），研究人員通過允許其機器人從在線視頻（稱為項目RoboWatch）學習擴展了試驗。

應用于機器人技術(shù)的自我監(jiān)督學習方法的其他示例包括在具有道路概率分布模型（RPDM）和模糊支持向量機（FSVM）的前視單目相機中的道路檢測算法，在麻省理工學院為自主車輛設計和其他移動在路機器人。

自主學習是一種涉及深度學習和無監(jiān)督方法的自我監(jiān)督學習的變體，也被應用于機器人和控制任務。倫敦帝國學院的一個團隊與劍橋大學和華盛頓大學的研究人員合作，創(chuàng)造出一種加快學習的新方法，將學習模式不確定性（概率模型）納入長期規(guī)劃和控制器學習，從而減少影響的學習新技能的模型錯誤。

4.輔助和醫(yī)療技術(shù)

輔助機器人是一種可以感知，處理感官信息并執(zhí)行有益于殘疾人和老年人的行為的設備（雖然智能輔助技術(shù)也適用于一般人群，如駕駛員輔助工具）。運動治療機器人提供診斷或治療益處。這些都是大部分（不幸的是）仍然局限于實驗室的技術(shù)，因為對于美國和國外的大多數(shù)醫(yī)院來說，這些技術(shù)仍然是成本高昂的。

輔助技術(shù)的早期例子包括由斯坦福大學和帕洛阿爾托退伍軍人事務康復研究與發(fā)展公司于1990年代初開發(fā)的DeVAR或臺式職業(yè)助理機器人。目前正在開發(fā)最新的基于機器學習的機器人輔助技術(shù)的例子，其中包括組合更多自主性的輔助機器，例如通過Kinect Sensor觀察世界的MICO機器人手臂（Northwester University開發(fā)的）。這些影響更復雜，更智能的輔助機器人可以更容易地適應用戶需求，但也需要部分自主權(quán)（即，機器人與人之間的共享控制）。

在醫(yī)學界，機器人學習方法的進步正在迅速發(fā)展，盡管在許多醫(yī)療機構(gòu)中并不容易。通過Cal-MR：醫(yī)療機器人自動化和學習中心，多所大學的研究人員和醫(yī)生網(wǎng)絡（與多家大學和醫(yī)生的研究人員的合作）導致了智能組織自主機器人（STAR）的創(chuàng)建，通過自主學習和3D感應技術(shù)的創(chuàng)新，STAR能夠以比最好的人類外科醫(yī)生更好的精度和可靠性將“豬腸”（用于代替人體組織）拼接在一起，研究人員和醫(yī)生說明STAR不能替代外科醫(yī)生 - 在可預見的將來，誰將在附近處理緊急情況 - 但是在執(zhí)行類似類型的精巧手術(shù)方面提供了重大的好處。

5. 多Agent學習

協(xié)調(diào)和協(xié)商是多Agent學習的關鍵組成部分。它涉及到了基于機器學習的機器人（或agent，目前關于agent的相關技術(shù)已被廣泛應用于游戲），能夠適應其他機器人/代理人的轉(zhuǎn)變格局，并找到“均衡多代理學習方法的例子包括不遺余力的學習工具。其中主要涉及到強化學習算法，“加強”多agent策劃中的學習成果，以及基于市場的分布式控制系統(tǒng)的學習。

一個更具體的例子是分布式agent或機器人的研究人員創(chuàng)建的算法，由麻省理工學院的信息和決策系統(tǒng)實驗室在2014年底。機器人協(xié)作構(gòu)建一個更好，更包容的學習模型比一個機器人（更小的信息塊處理，然后結(jié)合），基于探索建筑及其房間布局的概念，自主建立知識庫。

每個機器人構(gòu)建自己的目錄，并結(jié)合其他機器人的數(shù)據(jù)集，分布式算法在創(chuàng)建此知識庫方面優(yōu)于標準算法。雖然不是一個完美的系統(tǒng)，但是這種機器學習方法使得機器人可以比較目錄或數(shù)據(jù)集，加強相互觀察和正確的遺漏或過度泛化，無疑將在幾個機器人應用中發(fā)揮近期的作用，包括多個自治地和空降車。