計算機(jī)視覺是一個研究領(lǐng)域，旨在助力計算機(jī)使用復(fù)雜算法（可以是傳統(tǒng)算法，也可以是基于深度學(xué)習(xí)的算法）來理解數(shù)字圖像和視頻并提取有用的信息。

什么是計算機(jī)視覺？

計算機(jī)視覺的主要目標(biāo)是，先理解視頻和靜止圖像的內(nèi)容，然后從中收集有用的信息，以便解決越來越多的問題。作為人工智能 （AI） 和深度學(xué)習(xí)的子領(lǐng)域，計算機(jī)視覺可訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò) （CNN），以便針對各種應(yīng)用場合開發(fā)仿人類視覺功能。計算機(jī)視覺包括對 CNN 進(jìn)行特定訓(xùn)練，以便利用圖像和視頻進(jìn)行數(shù)據(jù)分割、分類和檢測。

卷積神經(jīng)網(wǎng)絡(luò) （CNN） 能夠針對多種應(yīng)用場合執(zhí)行分割、分類和檢測：

分割：圖像分割是指將像素歸類為特定類別，如汽車、道路或行人。它廣泛用于自動駕駛汽車應(yīng)用（包括 NVIDIA DRIVE? 軟件堆棧），用于顯示道路、汽車和人員。您可以將其想象成一種可視化技術(shù)，該技術(shù)能夠使人們更容易理解計算機(jī)的工作。

分類：圖像分類用于確定圖像中的內(nèi)容。例如，神經(jīng)網(wǎng)絡(luò)經(jīng)過訓(xùn)練后能夠識別狗或貓，或者許多其他東西，并且具有高精確度。

檢測：通過圖像檢測，計算機(jī)可以定位對象的位置。在許多應(yīng)用中，CNN 會在相關(guān)區(qū)域周圍設(shè)置矩形邊界框，將對象完全包含在內(nèi)。檢測器也可以接受訓(xùn)練，以便檢測圖像中汽車或人員的位置。

分割、分類和檢測

分割分類檢測

非常適合用于描述對象是貓還是狗？它存在于空間中的什么位置？

在自動駕駛汽車中使用精確分類識別關(guān)乎安全的事物

計算機(jī)視覺為何重要？

在體育、汽車、農(nóng)業(yè)、零售、銀行、施工和保險等行業(yè)，計算機(jī)視覺應(yīng)用非常廣泛。得益于目前機(jī)器用于識別物體的圖像處理器 – 卷積神經(jīng)網(wǎng)絡(luò) （CNN） ，各種由 AI 驅(qū)動的機(jī)器紛紛開始采用仿人眼技術(shù)來獲得更多助力。CNN 已成為當(dāng)今自動駕駛汽車、石油勘探和聚變能源研究領(lǐng)域的“眼睛”。它們還有助于在醫(yī)學(xué)成像領(lǐng)域快速發(fā)現(xiàn)疾病并挽救生命。

數(shù)十年來，傳統(tǒng)的計算機(jī)視覺和圖像處理技術(shù)已經(jīng)應(yīng)用于眾多應(yīng)用和研究工作。然而，現(xiàn)代 AI 技術(shù)采用人工神經(jīng)網(wǎng)絡(luò)，能夠?qū)崿F(xiàn)更高的性能準(zhǔn)確性；高性能計算依托 GPU 取得長足進(jìn)步，實現(xiàn)超人的準(zhǔn)確性，從而在運輸、零售、制造、醫(yī)療健康和金融服務(wù)等行業(yè)廣泛應(yīng)用。

在將圖像和視頻分類為精細(xì)離散的類別和分類方面，如同醫(yī)學(xué)計算機(jī)軸向斷層掃描或 CAT 掃描中隨時間推移而產(chǎn)生的微小變化，傳統(tǒng)或基于 AI 的計算機(jī)視覺系統(tǒng)遠(yuǎn)勝于人類。在這個意義上，計算機(jī)視覺將人類有可能完成的任務(wù)自動化，但其準(zhǔn)確性和速度要高得多。

當(dāng)前和潛在的應(yīng)用多種多樣，因此計算機(jī)視覺技術(shù)和解決方案的增長預(yù)測相當(dāng)驚人，這點不足為奇。一項市場調(diào)研表明，到 2023 年，該市場將以驚人的 47% 的年增長率增長，屆時將在全球達(dá)到 250 億美元。在整個計算機(jī)科學(xué)范疇內(nèi)，計算機(jī)視覺是熱門、活躍的研發(fā)領(lǐng)域之一。

計算機(jī)視覺的工作原理是什么？

計算機(jī)視覺分析圖像，然后使用卷積神經(jīng)網(wǎng)絡(luò) （CNN） 創(chuàng)建其 “所見” 的數(shù)值表示。CNN 是一類人工神經(jīng)網(wǎng)絡(luò)，使用卷積層從輸入中篩選出有用信息。卷積運算需要綜合使用輸入數(shù)據(jù)（特征圖）與卷積內(nèi)核（濾波器），以便生成轉(zhuǎn)換后的特征圖。卷積層濾波器可根據(jù)學(xué)習(xí)參數(shù)進(jìn)行修改，以便為特定任務(wù)提取最有用的信息。卷積網(wǎng)絡(luò)可根據(jù)任務(wù)自動調(diào)整，尋找最重要的特征。在執(zhí)行一般的物體識別任務(wù)時，CNN 會過濾物體的形狀信息；但在進(jìn)行識別鳥的任務(wù)時，CNN 則會提取鳥的顏色信息。這是由于 CNN 認(rèn)為，不同類的物體會具有不同的形狀，而對于不同類型的鳥而言，其顏色可能要比形狀的差異性更大。

計算機(jī)視覺的行業(yè)用例

計算機(jī)視覺用例包括圖像識別、圖像分類、視頻標(biāo)記和虛擬助手。計算機(jī)視覺領(lǐng)域中更加流行和突出的用例包括：

醫(yī)學(xué)。

醫(yī)學(xué)圖像處理需要快速提取重要的圖像數(shù)據(jù)以便對患者進(jìn)行正確診斷，包括快速檢測腫瘤和動脈硬化。雖然計算機(jī)視覺本身無法提供診斷，但它是現(xiàn)代醫(yī)療診斷技術(shù)中寶貴的一部分，可以更大程度地弱化醫(yī)生的想法，并且為醫(yī)生提供越來越多的原本無法看到的信息。

自動駕駛汽車。

另一個非?；钴S的計算機(jī)視覺調(diào)研領(lǐng)域，自動駕駛車輛可以完全由計算機(jī)視覺解決方案接管，或者其操作可以得到顯著增強(qiáng)。目前已有的常用應(yīng)用包括汽車中的早期警報系統(tǒng)。

行業(yè)用途。

制造業(yè)中有很多計算機(jī)視覺解決方案的當(dāng)前和潛在用途，以支持制造流程。目前的用途包括質(zhì)量控制，其中計算機(jī)視覺系統(tǒng)會檢查部件和產(chǎn)品成品是否有缺陷。在農(nóng)業(yè)領(lǐng)域，計算機(jī)視覺系統(tǒng)使用光學(xué)分揀去除食品中不需要的材質(zhì)。

數(shù)據(jù)科學(xué)家和計算機(jī)視覺

Python 是機(jī)器學(xué)習(xí) （ML） 領(lǐng)域的熱門編程語言，許多數(shù)據(jù)科學(xué)家都熟悉其易用性及其大型庫（其中大多數(shù)庫都是免費和開源的）。數(shù)據(jù)科學(xué)家在 ML 系統(tǒng)中使用 Python 進(jìn)行數(shù)據(jù)挖掘和數(shù)據(jù)分析，因為 Python 支持各種 ML 模型和算法。鑒于 ML 和計算機(jī)視覺之間的關(guān)系，數(shù)據(jù)科學(xué)家可以利用計算機(jī)視覺應(yīng)用向各類企業(yè)的擴(kuò)展，從圖像和視頻存儲中提取重要信息，增強(qiáng)數(shù)據(jù)驅(qū)動的決策制定。

借助 GPU 加速卷積神經(jīng)網(wǎng)絡(luò)

在架構(gòu)方面，CPU 僅由幾個具有大緩存內(nèi)存的核心組成，一次只可以處理幾個軟件線程。相比之下，GPU 由數(shù)百個核心組成，可以同時處理數(shù)千個線程。

由于神經(jīng)網(wǎng)絡(luò)由大量相同的神經(jīng)元構(gòu)建而成，因此本質(zhì)上具有高度并行性。這種并行性自然地會映射到 GPU ，能夠提供數(shù)據(jù)并行的算術(shù)架構(gòu)，并且相比僅限 CPU 的訓(xùn)練，計算速度大幅增加。這種類型的架構(gòu)對一系列圖像數(shù)據(jù)執(zhí)行類似的計算。GPU 的單指令多數(shù)據(jù) （SIMD） 功能使其適合運行計算機(jī)視覺任務(wù)，這些任務(wù)通常涉及對整個圖像進(jìn)行類似的計算。具體而言，NVIDIA GPU 可顯著加速計算機(jī)視覺操作，為其他工作釋放 CPU 。此外，在同一臺機(jī)器上可以使用多個 GPU ，創(chuàng)建能夠并行運行多個計算機(jī)視覺算法的架構(gòu)。

NVIDIA GPU 加速的深度學(xué)習(xí)框架

GPU 加速深度學(xué)習(xí)框架為 Python 等常用編程語言提供編程接口。其還具備輕松創(chuàng)建和探索自定義 CNN 和 DNN 的靈活性，同時能夠?qū)崿F(xiàn)實驗和工業(yè)部署所需的超高速度。NVIDIA CUDA-X AI 能夠加快 Caffe 、Microsoft Cognitive Toolkit （CNTK） 、TensorFlow 、Theano 和 Torch 等廣泛使用的深度學(xué)習(xí)框架以及眾多其他機(jī)器學(xué)習(xí)應(yīng)用的運行速度。深度學(xué)習(xí)框架在 GPU 上的運行速度更快，并可以在單節(jié)點內(nèi)的多個 GPU 間擴(kuò)展。要將框架與 GPU 一起用于卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和推理過程，NVIDIA 分別提供 cuDNN 和 TensorRT? 。cuDNN 和 TensorRT 可為卷積層、池化層、歸一化和激活層等標(biāo)準(zhǔn)例程實現(xiàn)高度調(diào)整。

為快速開發(fā)和部署視覺模型，NVIDIA 向視覺 AI 開發(fā)者提供 DeepStream SDK 。其中包含 TAO 工具包，可用于為計算機(jī)視覺領(lǐng)域創(chuàng)建準(zhǔn)確高效的 AI 模型。

NVIDIA GPU 加速的端到端數(shù)據(jù)科學(xué)

建立在 CUDA 基礎(chǔ)上的 NVIDIA RAPIDS? 開源軟件庫套件使您能夠完全在 GPU 上執(zhí)行端到端數(shù)據(jù)科學(xué)和分析流程，同時仍然使用 Pandas 和 Scikit-Learn API 等熟悉的界面。