在這三部分系列的第一部分中，作者調(diào)查了機器學習技術(shù)在高度自動化駕駛場景中的驅(qū)動因素和潛在應(yīng)用。第二部分定義了機器學習技術(shù)的理論背景，以及汽車開發(fā)人員可用的神經(jīng)網(wǎng)絡(luò)類型。第三部分在功能安全要求的背景下評估這些選項。

機器學習可以定義為一組有助于基于過去學習進行預測的算法。

在機器學習算法中，輸入數(shù)據(jù)被組織為數(shù)據(jù)點。每個數(shù)據(jù)點都由描述所表示數(shù)據(jù)的特征組成。例如，大小和速度是可以區(qū)分汽車和街上自行車的特征。汽車的尺寸和速度通常都高于自行車。機器學習方法的目標是將輸入數(shù)據(jù)轉(zhuǎn)換為有意義的輸出，例如將輸入數(shù)據(jù)分類為汽車和非汽車數(shù)據(jù)點或?qū)ο蟆］斎胪ǔ懗?vector x，由幾個數(shù)據(jù)點組成。輸出寫為y。

二維或三維輸入數(shù)據(jù)可以在所謂的特征空間中進行說明和查看，其中每個數(shù)據(jù)點x都相對于其特征進行繪制。圖 8 （a） 顯示了描述汽車和非汽車對象的二維特征空間的簡化示例。

圖 8. 根據(jù)大小和速度對汽車和非汽車對象進行分類：特征空間 （a） 和兩個類別之間的相應(yīng)分離 （b）。

所謂的學習映射函數(shù) 或model，h_θ （x）給出了特征向量之間的差異（例如，分類為汽車和非汽車數(shù)據(jù)點）。模型的結(jié)構(gòu)范圍從簡單的線性函數(shù)，例如圖 8 （a） 中劃分汽車和非汽車對象的線，到復雜的非線性神經(jīng)網(wǎng)絡(luò)。學習方法的目標是確定系數(shù)的值，這些θ-系數(shù)從可用的輸入數(shù)據(jù)中表示模型的參數(shù)。映射函數(shù)的輸出是算法對輸入數(shù)據(jù)描述的預測。

機器學習方法可以根據(jù)映射函數(shù)的學習方式進行分類（圖 9）。有三種可能：

監(jiān)督學習—— 映射函數(shù)是根據(jù)訓練數(shù)據(jù)對計算的，其中y預先知道的輸出在訓練階段分別提供給學習算法。一旦計算了模型的參數(shù)，就可以將模型部署到目標應(yīng)用程序中。它的輸出——當它接收到一個未知的數(shù)據(jù)點時——將是 的預測值y。

無監(jiān)督學習—— 在這種情況下，與監(jiān)督學習相比，在訓練階段沒有可用的特征標簽對。學習算法的輸入僅包含未標記的數(shù)據(jù)點。這種機器學習方法的目標是x直接從特征空間中的分布推斷輸入特征的標簽。

強化（半監(jiān)督）學習—— 在這種情況下，訓練數(shù)據(jù)也沒有標簽，但模型的構(gòu)建是為了通過一組動作促進與環(huán)境的交互。映射函數(shù)將環(huán)境狀態(tài)映射到由輸入數(shù)據(jù)給出的動作。獎勵信號表示在特定環(huán)境狀態(tài)下執(zhí)行的操作。當信號表示積極影響時，學習算法會加強行動。如果識別出負面影響，該算法將阻止環(huán)境的特定動作或狀態(tài)。

圖 9.基于訓練方法的機器學習算法分類。

深度學習革命

近年來，所謂的深度學習范式徹底改變了機器學習領(lǐng)域。深度學習通過解決以前傳統(tǒng)模式識別方法無法解決的挑戰(zhàn)，對機器學習社區(qū)產(chǎn)生了巨大影響（LeCun 等人，2015 年）。深度學習的引入極大地提高了為視覺識別、對象檢測、語音識別、異常檢測或基因組學設(shè)計的系統(tǒng)的精度。深度學習的關(guān)鍵方面是用于解釋數(shù)據(jù)的特征是從訓練數(shù)據(jù)中自動學習的，而不是由工程師手動制作的。

圖 10.訓練識別圖像中汽車的深度卷積神經(jīng)網(wǎng)絡(luò)。

到目前為止，構(gòu)建一個好的模式識別算法的主要挑戰(zhàn)是手工設(shè)計的用于分類的特征向量，例如在第 1 部分中描述的早期版本的交通標志識別系統(tǒng)中使用的局部二進制模式。 深度學習的出現(xiàn)已經(jīng)用可以自動發(fā)現(xiàn)原始輸入數(shù)據(jù)中重要特征的學習算法取代了特征向量的手動工程。

在架構(gòu)上，深度學習系統(tǒng)由多層非線性單元組成，可以將原始輸入數(shù)據(jù)轉(zhuǎn)換為更高層次的抽象。每一層都將前一層的輸出映射成更復雜的表示，適合回歸或分類任務(wù)。這種學習通常在使用反向傳播算法訓練的深度神經(jīng)網(wǎng)絡(luò)上進行。該算法迭代地調(diào)整網(wǎng)絡(luò)的參數(shù)或權(quán)重，以模擬輸入的訓練數(shù)據(jù)。因此，網(wǎng)絡(luò)在訓練結(jié)束時已經(jīng)學習了輸入數(shù)據(jù)點的復雜非線性映射函數(shù)。

圖 10 顯示了一個深度神經(jīng)網(wǎng)絡(luò)的符號表示，該網(wǎng)絡(luò)經(jīng)過訓練可以識別圖像中的汽車。輸入層表示原始輸入像素。隱藏層 1 通常模擬圖像的某些位置和方向是否存在邊緣。第二個隱藏層使用在前一層中計算的邊緣對對象部件進行建模。第三個隱藏層構(gòu)建了建模對象的抽象表示，在我們的例子中，這就是汽車的成像方式。輸出層根據(jù)第三個隱藏層的高級特征計算給定圖像包含汽車的概率。

不同的網(wǎng)絡(luò)架構(gòu)源于神經(jīng)網(wǎng)絡(luò)的單元和層的分布方式。所謂感知器是最簡單的，由單個輸出神經(jīng)元組成。通過建立在感知器上可以獲得大量的神經(jīng)網(wǎng)絡(luò)風味。這些網(wǎng)絡(luò)中的每一個都比其他網(wǎng)絡(luò)更適合特定的應(yīng)用程序。圖 11 顯示了近年來創(chuàng)建的眾多神經(jīng)網(wǎng)絡(luò)架構(gòu)中最常見的三種。

深度前饋神經(jīng)網(wǎng)絡(luò)（圖 11a）是一種結(jié)構(gòu)，其中兩個相鄰層之間的神經(jīng)元完全互連，信息流僅在一個方向上，從系統(tǒng)的輸入到輸出。這些網(wǎng)絡(luò)可用作通用分類器，并用作所有其他類型的深度神經(jīng)系統(tǒng)的基礎(chǔ)。

圖 11.深度神經(jīng)網(wǎng)絡(luò)架構(gòu)

深度卷積神經(jīng)網(wǎng)絡(luò)（圖 11b）改變了視覺感知方法的開發(fā)方式。這種網(wǎng)絡(luò)由交替的卷積層和池化層組成，它們通過從輸入數(shù)據(jù)中進行泛化來自動學習對象特征。這些學習到的特征被傳遞到一個完全互連的前饋網(wǎng)絡(luò)進行分類。這種類型的卷積網(wǎng)絡(luò)是圖 10 所示的汽車檢測架構(gòu)和第1 部分中描述的用例的基礎(chǔ)。

雖然深度卷積網(wǎng)絡(luò)對視覺識別至關(guān)重要，但深度遞歸神經(jīng)網(wǎng)絡(luò)（圖 11c）對于自然語言處理至關(guān)重要。由于隱藏層中神經(jīng)元之間的自遞歸連接，此類架構(gòu)中的信息是時間相關(guān)的。網(wǎng)絡(luò)的輸出可能會根據(jù)數(shù)據(jù)輸入網(wǎng)絡(luò)的順序而有所不同。例如，如果在單詞“mouse”之前輸入單詞“cat”，則會獲得某個輸出?，F(xiàn)在，如果輸入順序改變，輸出順序也可能改變。

機器學習算法的類型

盡管深度神經(jīng)網(wǎng)絡(luò)是復雜機器學習挑戰(zhàn)中最常用的解決方案之一，但還有各種其他類型的機器學習算法可用。表 1 根據(jù)它們的性質(zhì)（連續(xù)或離散）和訓練類型（監(jiān)督或無監(jiān)督）對它們進行分類。

表 1. 機器學習算法的類型

機器學習估計器可以根據(jù)其輸出值或訓練方法進行粗略分類。如果后者估計連續(xù)值函數(shù)（即連續(xù)輸出），則該算法被歸類為回歸估計器。機器學習算法在其輸出為離散變量時稱為分類器。第1 部分中描述的交通標志檢測和識別系統(tǒng)是此類算法的一種實現(xiàn)。y

？ Ry ？ {0，1，…，q}

異常檢測是無監(jiān)督學習的一種特殊應(yīng)用。這里的目標是識別數(shù)據(jù)集中的異常值或異常。異常值被定義為與應(yīng)用程序中常見的特征向量相比具有不同屬性的特征向量。換句話說，它們在特征空間中占據(jù)不同的位置。

表 1 還列出了一些流行的機器學習算法。這些將在下面簡要說明。

線性回歸是一種用于將線、平面或超平面擬合到數(shù)據(jù)集的回歸方法。擬合模型是一個線性函數(shù)，可用于對實值函數(shù)進行預測y。

邏輯回歸是線性回歸方法的離散對應(yīng)物，其中將映射函數(shù)給出的預測實數(shù)值轉(zhuǎn)換為概率輸出，表示輸入數(shù)據(jù)點屬于某個類別。

樸素貝葉斯分類器是一套建立在貝葉斯定理基礎(chǔ)上的機器學習方法，它假設(shè)每個特征都獨立于其他特征。

支持 向量機 （SVM）旨在使用所謂的邊距計算類之間的分離。邊距被計算為盡可能寬，以便盡可能清楚地分開類。

集成方法，如決策樹、隨機森林或AdaBoost組合了 一組基分類器，有時稱為“弱”學習器，目的是獲得“強”分類器。

神經(jīng)網(wǎng)絡(luò)是機器學習算法，其中回歸或分類問題由一組稱為神經(jīng)元的互連單元解決。本質(zhì)上，神經(jīng)網(wǎng)絡(luò)試圖模仿人腦的功能。

k-means 聚類是一種用于將具有共同屬性的特征組合在一起的方法，即它們在特征空間中彼此接近。k-means 根據(jù)給定的集群數(shù)量迭代地將共同特征分組到球形集群中。

Mean-shift也是一種數(shù)據(jù)聚類技術(shù)，它對于異常值更通用和穩(wěn)健。與 k-means 不同，mean-shift 只需要一個調(diào)整參數(shù)（搜索窗口大小），并且不假定數(shù)據(jù)簇的先驗形狀為球形。

主成分分析 （PCA）是一種數(shù)據(jù)降維技術(shù)，它將一組可能相關(guān)的特征轉(zhuǎn)換為一組稱為主成分的線性不相關(guān)變量。主成分按方差順序排列。第一個組件具有最高的變化；第二個在此之下有下一個變化，依此類推。

第三部分在功能安全要求的背景下評估這些機器學習算法。

審核編輯：郭婷