對(duì)于依賴深度學(xué)習(xí)作為自動(dòng)駕駛關(guān)鍵的自動(dòng)駕駛汽車(chē) (AV) 供應(yīng)商而言，數(shù)據(jù)就是一切——在許多方面，它是唯一的東西。

數(shù)據(jù)是 AV 公司在公共道路上積累數(shù)英里的測(cè)試經(jīng)驗(yàn)、記錄和儲(chǔ)存數(shù) PB 的道路知識(shí)的原因。例如，Waymo 在 7 月份聲稱在現(xiàn)實(shí)世界中行駛了超過(guò) 1000 萬(wàn)英里，在模擬中行駛了 100 億英里。

但還有一個(gè)行業(yè)不喜歡問(wèn)的問(wèn)題：

假設(shè) AV 公司已經(jīng)在真實(shí)道路上收集了 PB 甚至 EB 的數(shù)據(jù)。該數(shù)據(jù)集有多少已被標(biāo)記？也許更重要的是，被注釋的數(shù)據(jù)有多準(zhǔn)確？

Edge Case Research 的聯(lián)合創(chuàng)始人兼首席技術(shù)官 Phil Koopman 在最近接受 EE Times 采訪時(shí)斷言，“沒(méi)有人可以為所有這些貼上標(biāo)簽?！?/p>

數(shù)據(jù)標(biāo)注：費(fèi)時(shí)費(fèi)力

注釋通常需要專(zhuān)業(yè)的人眼觀看短視頻剪輯，然后在每輛車(chē)、行人、路標(biāo)、交通燈或任何其他可能與自動(dòng)駕駛算法相關(guān)的項(xiàng)目周?chē)L制和標(biāo)記框。這個(gè)過(guò)程不僅耗時(shí)而且成本很高。

Medium 上最近的一篇題為“數(shù)據(jù)注釋?zhuān)?a target="_blank">人工智能突破背后的十億美元業(yè)務(wù)”的報(bào)道說(shuō)明了“托管數(shù)據(jù)標(biāo)記服務(wù)”的迅速出現(xiàn)，該服務(wù)旨在提供特定領(lǐng)域的標(biāo)記數(shù)據(jù)，并強(qiáng)調(diào)質(zhì)量控制。故事指出：

除了內(nèi)部數(shù)據(jù)標(biāo)記團(tuán)隊(duì)，科技公司和自動(dòng)駕駛初創(chuàng)公司也嚴(yán)重依賴這些托管標(biāo)記服務(wù)……一些自動(dòng)駕駛公司每月向數(shù)據(jù)標(biāo)記公司支付數(shù)百萬(wàn)美元。

在幾年前來(lái)自 IEEE Spectrum 的另一個(gè)故事中，Drive.ai 的聯(lián)合創(chuàng)始人兼總裁 Carol Reiley 被引述說(shuō)：

成千上萬(wàn)的人在物品周?chē)N上標(biāo)簽。每行駛一小時(shí)，標(biāo)記大約需要 800 小時(shí)。這些團(tuán)隊(duì)都會(huì)掙扎。我們的速度已經(jīng)快了很多，而且我們還在不斷優(yōu)化。

一些公司，例如 Drive，正在使用深度學(xué)習(xí)來(lái)增強(qiáng)注釋數(shù)據(jù)的自動(dòng)化，以此來(lái)加速繁瑣的數(shù)據(jù)標(biāo)記過(guò)程。

讓我們使用未標(biāo)記的數(shù)據(jù)

然而，Koopman 認(rèn)為還有另一種方法可以“從積累的數(shù)據(jù)中榨取價(jià)值”?！安粯?biāo)記大多數(shù) PB 的記錄數(shù)據(jù)”如何完成此任務(wù)？

他解釋說(shuō)，Edge Case Research 在設(shè)計(jì)一種允許 AV 行業(yè)加速開(kāi)發(fā)更安全的感知軟件的方法時(shí)“偶然發(fā)現(xiàn)”了這一點(diǎn)。Edge Case Research 將其稱為“Hologram”，本質(zhì)上是為 AV 設(shè)計(jì)的“AI 感知壓力測(cè)試和風(fēng)險(xiǎn)分析系統(tǒng)”。

更具體地說(shuō)，正如 Koopman 解釋的那樣，“Hologram 使用未標(biāo)記的數(shù)據(jù)”，系統(tǒng)會(huì)兩次運(yùn)行相同的未標(biāo)記數(shù)據(jù)。

首先，它在現(xiàn)成的正常感知引擎上運(yùn)行基線未標(biāo)記數(shù)據(jù)。然后，對(duì)于相同的未標(biāo)記數(shù)據(jù)，應(yīng)用全息圖，添加非常輕微的擾動(dòng)——噪聲。事實(shí)證明，通過(guò)對(duì)系統(tǒng)施加壓力，Hologram 可以暴露 AI 算法感知的潛在弱點(diǎn)。

例如，如果在視頻剪輯中添加一點(diǎn)顆粒，人類(lèi)可能會(huì)感知到“那里有東西，但我不知道它是什么”。

但是一個(gè)人工智能驅(qū)動(dòng)的感知系統(tǒng)，在壓力下，要么完全錯(cuò)過(guò)一個(gè)未知的物體，要么把它踢過(guò)門(mén)檻，把它放進(jìn)不同的分類(lèi)箱。

當(dāng) AI 仍在學(xué)習(xí)時(shí)，了解它的置信度（因?yàn)樗鼪Q定了它所看到的）是有用的。但是當(dāng)人工智能在世界上應(yīng)用時(shí)，置信水平并不能告訴我們太多。人工智能通常是“猜測(cè)”或簡(jiǎn)單地“假設(shè)”。

換句話說(shuō)，人工智能是在偽造它。

根據(jù)設(shè)計(jì)，全息圖可以“戳”人工智能驅(qū)動(dòng)的感知軟件。它揭示了人工智能系統(tǒng)失敗的地方。例如，一個(gè)有壓力的系統(tǒng)通過(guò)神秘地讓一個(gè)物體從場(chǎng)景中消失來(lái)解決它的困惑。

也許，更有趣的是，Hologram 還可以在噪聲下識(shí)別人工智能“幾乎失敗”但猜對(duì)了的地方。Koopman 說(shuō)，全息圖在視頻剪輯中披露了人工智能驅(qū)動(dòng)系統(tǒng)“可能會(huì)走運(yùn)”的區(qū)域。

Koopman 說(shuō)，無(wú)需標(biāo)記 PB 數(shù)據(jù)但運(yùn)行兩次，Hologram 可以通過(guò)收集更多數(shù)據(jù)或進(jìn)行更多培訓(xùn)來(lái)提供一個(gè)提示，即事情看起來(lái)“可疑”，以及“你最好回去再看一遍”的區(qū)域。 .

這當(dāng)然是全息圖的一個(gè)非常簡(jiǎn)化的版本，因?yàn)樵摴ぞ弑旧韺?shí)際上“帶有許多由大量工程支持的秘密調(diào)味料，”庫(kù)普曼說(shuō)。但是，如果 Hologram 可以告訴用戶“只有好的部分”值得人工審查，那么它可以帶來(lái)一種非常有效的方式，從當(dāng)前鎖定的數(shù)據(jù)中獲取真正的價(jià)值。

“機(jī)器非常擅長(zhǎng)與系統(tǒng)博弈，”Koopman 指出?；蛘摺白?p-hacking'之類(lèi)的事情?！?P-hacking 是一種偏見(jiàn)，當(dāng)研究人員收集或選擇數(shù)據(jù)或統(tǒng)計(jì)分析，直到非顯著結(jié)果變得顯著時(shí)，才會(huì)出現(xiàn)這種偏見(jiàn)。例如，機(jī)器可以在不存在的數(shù)據(jù)中找到相關(guān)性。

開(kāi)源數(shù)據(jù)集

當(dāng)被問(wèn)及這對(duì) Edge Case Research 是否是個(gè)好消息時(shí)，Koopman 說(shuō)：“不幸的是，這些數(shù)據(jù)集僅供研究界使用。不用于商業(yè)用途?！?/p>

此外，即使您使用這樣的數(shù)據(jù)集來(lái)運(yùn)行 Hologram，您也應(yīng)該使用用于收集數(shù)據(jù)的相同感知引擎，以了解一個(gè)人的 AI 系統(tǒng)中的薄弱環(huán)節(jié)。

全息圖的屏幕截圖

下面是一個(gè)屏幕截圖，顯示了最新的全息圖商業(yè)版本的工作原理。

全息圖引擎發(fā)現(xiàn)感知系統(tǒng)未能識(shí)別此停車(chē)標(biāo)志的實(shí)例，并為分析人員提供強(qiáng)大的工具來(lái)發(fā)現(xiàn)觸發(fā)條件，例如嘈雜的背景。（來(lái)源：邊緣案例研究）

通過(guò)添加噪聲，Hologram 會(huì)尋找使 AI 系統(tǒng)幾乎錯(cuò)過(guò)停車(chē)標(biāo)志（橙色條）或完全無(wú)法識(shí)別停車(chē)標(biāo)志（向下紅色條）的觸發(fā)條件。

橙色條通過(guò)收集更多數(shù)據(jù)來(lái)警告 AI 設(shè)計(jì)人員需要重新訓(xùn)練 AL 算法的特定領(lǐng)域。紅條讓 AI 設(shè)計(jì)師可以探索和推測(cè)觸發(fā)條件：是什么導(dǎo)致 AI 錯(cuò)過(guò)了停車(chē)標(biāo)志？標(biāo)志是不是離電線桿太近了？是否有嘈雜的背景或沒(méi)有足夠的可見(jiàn)對(duì)比度？Edge Case Research 的產(chǎn)品經(jīng)理 Eben Myers 解釋說(shuō)，當(dāng)積累了足夠多的觸發(fā)條件示例時(shí)，就有可能識(shí)別出特定的觸發(fā)條件。

Hologram 幫助 AV 設(shè)計(jì)人員找到他們的感知軟件表現(xiàn)出奇怪的、潛在的不安全行為的邊緣情況。（來(lái)源：邊緣案例研究）

與 Ansys 合作

本周早些時(shí)候，Ansys 宣布與 Edge Case Research 達(dá)成合作協(xié)議。Ansys 計(jì)劃將 Hologram 集成到其仿真軟件中。Ansys 將集成視為設(shè)計(jì)“業(yè)界首個(gè)用于開(kāi)發(fā) AV 的整體仿真工具鏈”的關(guān)鍵基礎(chǔ)組件。Ansys 正在與 BMW 合作，后者已承諾在 2021 年交付其首款 AV。

ANSYS 和 BMW 為自動(dòng)駕駛創(chuàng)建仿真工具鏈（來(lái)源：Ansys）

— Junko Yoshida，AspenCore Media 全球聯(lián)合主編，EE Times首席國(guó)際記者