工業(yè)相機(jī)技術(shù)和用于機(jī)器視覺(jué)應(yīng)用的圖像傳感器的發(fā)展——如平板顯示器、印刷電路板和半導(dǎo)體的檢查，以及倉(cāng)庫(kù)物流、智能運(yùn)輸系統(tǒng)、作物監(jiān)測(cè)和數(shù)字病理學(xué)——對(duì)相機(jī)和圖像傳感器提出了新的要求。其中最主要的是需要在更高分辨率和速度的驅(qū)動(dòng)與更低的功耗和數(shù)據(jù)帶寬之間取得平衡。在某些情況下，也有推動(dòng)小型化的趨勢(shì)。

在外部，相機(jī)是帶有安裝功能和光學(xué)元件的外殼。雖然這對(duì)用戶很重要，但內(nèi)部存在影響性能、功能和功耗的重大挑戰(zhàn)。硬件，如圖像傳感器和處理器，以及軟件在這里起著關(guān)鍵作用。

根據(jù)我們所知道的，我們將在未來(lái)十年看到相機(jī)、處理器、圖像傳感器和處理方面的哪些變化呢？它們將如何影響我們的生活質(zhì)量呢？

圖像性能

當(dāng)您選擇一輛新車(chē)時(shí)，一個(gè)尺寸并不適合所有人。圖像傳感器也是如此。

確實(shí)，越來(lái)越大、越來(lái)越強(qiáng)大的圖像傳感器對(duì)于某些類(lèi)別的高性能視覺(jué)應(yīng)用非常有吸引力。在這些情況下，這些應(yīng)用中使用的圖像傳感器的尺寸、功耗和價(jià)格并不像性能那么重要。平板顯示器的檢查就是一個(gè)很好的例子。一些平板制造商現(xiàn)在正在尋找優(yōu)質(zhì)顯示器中的亞微米缺陷。這實(shí)際上小到足以檢測(cè)顯示器上的細(xì)菌。

地面和天基天文學(xué)應(yīng)用需要更高的性能。美國(guó)能源部 SLAC 國(guó)家加速器實(shí)驗(yàn)室的研究人員展示了一個(gè) 3 Gigapixel 的成像解決方案——相當(dāng)于今天的數(shù)百個(gè)相機(jī)——使用了幾個(gè)較小的圖像傳感器陣列。根據(jù) SLAC 的說(shuō)法，這些圖像的“分辨率非常高，以至于你可以從大約 15 英里外看到一個(gè)高爾夫球”。我們可以從這一非凡的成就中推斷出，世界研究實(shí)驗(yàn)室可以實(shí)現(xiàn)的未來(lái)幾乎是無(wú)限的。

大型天氣觀測(cè)望遠(yuǎn)鏡 LSST 相機(jī)團(tuán)隊(duì)的成員準(zhǔn)備將 L3 鏡頭安裝到相機(jī)的焦平面上，這是一個(gè)能夠拍攝 3.2 兆像素圖像的圓形 CCD 傳感器陣列。

但無(wú)論分辨率有多高，我們都可以看到成熟的 2D 成像功能開(kāi)始耗盡。先進(jìn)的光學(xué)檢測(cè)系統(tǒng)實(shí)際上并不需要更高的速度或更多的數(shù)據(jù)。他們需要更多且僅是有用的信息。

尋求更多信息

圍繞每個(gè)像素所需信息量不斷增加的一些趨勢(shì)正在逐漸普及。

3D 圖像捕捉

3D圖像捕捉提供了額外的維度，提供了更多的粒度、細(xì)節(jié)和檢測(cè)功能。像電池檢測(cè)、電視/筆記本電腦/手機(jī)屏幕制造等應(yīng)用都在推動(dòng)光學(xué)檢測(cè)傳感器收集更多信息。在這種情況下，即使是在亞微米分辨率下找到2D缺陷也變得不夠，這迫使我們計(jì)算出它們的高度，甚至可能是它們的形狀，以確定圖像是否受到可清潔灰塵、硬顆?；蜥樀阮w粒物的影響。

應(yīng)用程序開(kāi)發(fā)人員正在努力利用顏色、角度和不同的成像方式(如3D或偏振，這是另一種光的維度)來(lái)滿足客戶的需求。反過(guò)來(lái)，相機(jī)制造商也在努力為這一行業(yè)提供工具。

高光譜成像

高光譜成像是另一個(gè)迅速加強(qiáng)的趨勢(shì)。與大多數(shù)遙感技術(shù)一樣，高光譜成像利用了這樣一個(gè)事實(shí)，即所有物體由于其電子結(jié)構(gòu)（對(duì)于可見(jiàn)光譜）和分子結(jié)構(gòu)（對(duì)于 SWIR/MWIR 光譜）都具有基于波長(zhǎng)的獨(dú)特光譜指紋。它們吸收和反射的可見(jiàn)光和不可見(jiàn)光。這揭示了普通彩色成像系統(tǒng)（例如，人或相機(jī)）看不到的大量細(xì)節(jié)。在材料中“看到”化學(xué)性質(zhì)的能力在礦產(chǎn)、天然氣和石油勘探、天文學(xué)以及監(jiān)測(cè)洪泛平原和濕地方面具有廣泛的應(yīng)用。高光譜分辨率、分離度和速度在晶圓檢測(cè)、計(jì)量和健康科學(xué)中非常有用。

在這些市場(chǎng)中，傳感器和相機(jī)制造商正在推動(dòng)速度、成本、分辨率和功能的界限。我們正在光譜范圍內(nèi)擴(kuò)展我們的技術(shù)，涵蓋從 X 射線開(kāi)始到高精度熱成像結(jié)束的能量檢測(cè)，從而使更多應(yīng)用能夠使用這些技術(shù)。這種更仔細(xì)、更快和更精確的檢測(cè)有助于制造商對(duì)例如食品、尋找污染物、測(cè)量?jī)?nèi)容物和篩查食源性細(xì)菌等進(jìn)行 100% 檢測(cè)。

更智能的檢查

圖像處理本質(zhì)上是數(shù)據(jù)密集型的。當(dāng)今以極高幀速率運(yùn)行的高分辨率成像器可以產(chǎn)生超過(guò) 16GB/s 的連續(xù)數(shù)據(jù)。然后，應(yīng)用程序需要捕獲、分析和處理這些數(shù)據(jù)。人工智能 (AI) 的緊急情況進(jìn)一步推動(dòng)了處理需求的邊界。

挑戰(zhàn)

以用于交通信號(hào)燈執(zhí)法的基于人工智能的攝像頭為例。通常，這些應(yīng)用使用 10 兆像素傳感器，每秒運(yùn)行約 60 幀。這提供了只有 600MB/s 數(shù)據(jù)的連續(xù)數(shù)據(jù)流。

當(dāng)今典型的神經(jīng)網(wǎng)絡(luò)處理建立在使用小圖像幀的基礎(chǔ)上，顏色約為 224x224 像素 = 3*50 千像素，每像素 3*1 字節(jié)（每幀 150kB）?，F(xiàn)代 PC 的 CPU 可以使對(duì)象識(shí)別神經(jīng)網(wǎng)絡(luò)以每秒 20 幀的速度運(yùn)行，從而實(shí)現(xiàn)約 3MB/s 的數(shù)據(jù)吞吐量。這比交通攝像頭的數(shù)據(jù)吞吐量低 200 倍，因此嚴(yán)重限制了可能的輸入數(shù)據(jù)流。

智能交通解決方案可以將視頻和熱像儀與人工智能、視頻分析、雷達(dá)和 V2X 與交通管理和數(shù)據(jù)分析軟件相結(jié)合，幫助城市安全順暢地運(yùn)行。

重要的是要注意輸出流應(yīng)該被視為信息，而不僅僅是原始數(shù)據(jù)。以 600MB/s 的圖像流為例，系統(tǒng)執(zhí)行跟蹤、讀取和處理以獲得每個(gè)場(chǎng)景的幾個(gè)數(shù)字。我們可能會(huì)看到一個(gè)車(chē)牌，或者在分類(lèi)應(yīng)用程序中，甚至只是“彈出：是或否”，將龐大的數(shù)據(jù)流縮減為一個(gè)位。

雖然這不是一件容易的事，但如果實(shí)現(xiàn)了，它將對(duì)下游數(shù)據(jù)捕獲、處理和存儲(chǔ)非常有吸引力。為了解決這些輸入數(shù)據(jù)流的限制，我們需要結(jié)合巧妙的傳感器工程、先進(jìn)的 AI 處理器和集成算法解決方案。

強(qiáng)大（且耗電）的處理器

絕大多數(shù)相機(jī)使用傳統(tǒng)半導(dǎo)體，例如中央處理器 (CPU) 或現(xiàn)場(chǎng)可編程門(mén)陣列 (FPGA)。更強(qiáng)大的單元可能會(huì)使用更強(qiáng)大的 FPGA 或圖形處理單元 (GPU)。到目前為止，這些類(lèi)型的處理器已經(jīng)能夠遵循摩爾定律，但過(guò)去的性能并不能保證未來(lái)。

此外，GPU、CPU 和 FPGA 消耗大量功率，因此會(huì)產(chǎn)生大量熱量。在某種程度上，這可以通過(guò)良好的設(shè)計(jì)來(lái)管理，但我們需要替代處理器和處理——架構(gòu)來(lái)解決長(zhǎng)期的挑戰(zhàn)。

量子計(jì)算和集成光子/電子處理器正在排隊(duì)滿足任何圖像處理應(yīng)用程序最苛刻的性能/功率要求。

然而，在這些技術(shù)變得可用并在商業(yè)上可行之前，較新的處理器架構(gòu)（例如內(nèi)存計(jì)算或集成專(zhuān)用加速）將不斷突破可能的界限。

原則上，制造商在為其系統(tǒng)選擇合適的處理器時(shí)應(yīng)考慮每秒每瓦特 (TOPS/W) 的萬(wàn)億次操作。雖然這是一個(gè)對(duì)原始功率效率有用的品質(zhì)因數(shù)，但我們必須記住，最終要求實(shí)際上是每瓦特決策，這是一個(gè)尚不存在的指標(biāo)。

巧妙處理

在處理方面，在微軟、蘋(píng)果和谷歌等巨頭的推動(dòng)下，我們看到了算法在速度和能力方面的進(jìn)步。基于人工智能的解決方案變得越來(lái)越輕巧，但功能更強(qiáng)大，范圍更廣。傳統(tǒng)的基于算法的解決方案以更高的效率利用現(xiàn)代處理器架構(gòu)?？梢约傻浆F(xiàn)有部署流程中的商業(yè) AI 軟件工具的可用性正在降低功耗和成本，同時(shí)提高功能。

減少數(shù)據(jù)

結(jié)合先進(jìn)的圖像傳感器技術(shù)，我們還看到了低數(shù)據(jù)解決方案的進(jìn)步，包括在空間、時(shí)間甚至光子級(jí)別上實(shí)現(xiàn)的基于事件的傳感，例如光子倍增管或電子倍增 CCD (EMCCD)替代品。

Evolve 相機(jī)系列包括由 Teledyne e2v 設(shè)計(jì)和制造的世界領(lǐng)先的 EMCCD 傳感器，以實(shí)現(xiàn)量子效率和低讀取噪聲。Teledyne Photometrics 將傳感器集成到相機(jī)中，用于單分子成像和 TIRF 顯微鏡等極低光應(yīng)用。

基于事件的傳感器對(duì)變化做出反應(yīng)，直接在傳感器中過(guò)濾不相關(guān)的數(shù)據(jù)，僅將來(lái)自已更改像素的信息發(fā)送到處理器。這與傳統(tǒng)的基于幀的傳感器不同，后者記錄并發(fā)送所有像素進(jìn)行處理，從而使系統(tǒng)的管道負(fù)擔(dān)過(guò)重。我們經(jīng)常將這種類(lèi)型的數(shù)據(jù)流稱(chēng)為神經(jīng)形態(tài)處理，因?yàn)樗臄?shù)據(jù)處理架構(gòu)模仿了人腦處理信息的方式。雖然神經(jīng)形態(tài)處理可以在處理器中完成，但如果我們想要實(shí)現(xiàn)最佳的數(shù)據(jù)量減少，我們需要將基于事件的傳感器與神經(jīng)形態(tài)處理器相結(jié)合。

還有其他巧妙的方法可以動(dòng)態(tài)減少數(shù)據(jù)傳輸，包括智能感興趣區(qū)域 (ROI) 功能和動(dòng)態(tài)數(shù)據(jù)減少算法，我們開(kāi)始在高端傳感器中出現(xiàn)這些方法。

將專(zhuān)門(mén)的數(shù)據(jù)捕獲行為與高性能處理器和智能輕量級(jí)算法相集成，為我們提供了在邊緣做出決策所需的關(guān)鍵組合，即事件發(fā)生并需要采取行動(dòng)的地方。使用這種方法，即使是高性能、高信息量的光學(xué)檢測(cè)系統(tǒng)也可以獨(dú)立運(yùn)行，而無(wú)需冗長(zhǎng)、緩慢和昂貴的 PC 連接，從而使它們能夠通過(guò) 100% 的監(jiān)控以更低的成本更快地對(duì)問(wèn)題做出反應(yīng)。

總體而言，這些進(jìn)步將提高各種產(chǎn)品、農(nóng)產(chǎn)品和商品的安全性和質(zhì)量，同時(shí)降低生產(chǎn)成本。

尋找分子

還有另一種層次的檢查方法是傳統(tǒng)方法無(wú)法做到的。與平板制造商不同，平板制造商不希望在他們的顯示器上檢測(cè)細(xì)菌，在某些情況下，用戶需要在非常高的分辨率下看到細(xì)菌。

在這里，我們使用高倍顯微鏡技術(shù)，結(jié)合光學(xué)、化學(xué)、生物和計(jì)算的方法來(lái)提供關(guān)于我們世界的納米結(jié)構(gòu)的更深入的信息。

圖像傳感器使檢測(cè)人體組織中的癌細(xì)胞成為可能。雖然目前檢測(cè)組織樣本中的癌癥的方法還很粗糙，需要手術(shù)切除組織樣本，然后將其送往實(shí)驗(yàn)室進(jìn)行進(jìn)一步研究，但有一天，當(dāng)病人還在手術(shù)臺(tái)上時(shí)，一項(xiàng)新的技術(shù)——細(xì)胞計(jì)數(shù)法將允許醫(yī)生近實(shí)時(shí)地確定樣本是否癌變。隨著處理能力越來(lái)越接近像素，我們現(xiàn)在可以捕捉細(xì)胞的圖像，并查看它的DNA，在臨床環(huán)境中的大型實(shí)驗(yàn)室中。在未來(lái)，我們將把這種接近實(shí)時(shí)的細(xì)胞檢查從大型實(shí)驗(yàn)室轉(zhuǎn)移到當(dāng)?shù)貙?shí)驗(yàn)室，最后轉(zhuǎn)移到手術(shù)臺(tái)上。

香港大學(xué)的研究人員開(kāi)發(fā)了成像流式細(xì)胞術(shù)技術(shù)，以減少血液篩查的時(shí)間和成本。使用脈沖激光線掃描成像和 Teledyne SP Devices 的數(shù)字化儀，他們能夠在 1-2 分鐘內(nèi)處理大量的結(jié)果數(shù)據(jù)——高達(dá) 100,000 個(gè)單細(xì)胞圖像/秒和 1 TB 的圖像數(shù)據(jù)——結(jié)合深度- 學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)和自動(dòng)“大數(shù)據(jù)”分析。

想象一下，在手術(shù)過(guò)程中為外科醫(yī)生配備工具以完成診斷?？梢詫?shí)時(shí)對(duì)腫瘤進(jìn)行分類(lèi)和切除，而不是給患者施加壓力等待期并迫使醫(yī)生進(jìn)行第二次手術(shù)。這是生活質(zhì)量的真正改善。

小型化

尺寸對(duì)成像和視覺(jué)發(fā)展提出了另一層挑戰(zhàn)。新穎的高性能解決方案通常既昂貴又龐大。如果我們要為醫(yī)生及其患者實(shí)現(xiàn)更小、更易于使用的解決方案，那么在體內(nèi)手術(shù)期間將基因組分析儀放在桌面上的目標(biāo)就是我們必須克服的挑戰(zhàn)。

用于微型相機(jī)應(yīng)用的超小型圖像傳感器、光源和處理器即將派上用場(chǎng)。微型尖端芯片 CMOS 圖像傳感器為外科醫(yī)生提供了比過(guò)去更有效地執(zhí)行微創(chuàng)內(nèi)窺鏡和腹腔鏡手術(shù)所需的增強(qiáng)視力。機(jī)器人引導(dǎo)的手術(shù)同樣受益于具有非常小的像素間距和針對(duì)特定醫(yī)療程序優(yōu)化的圖像質(zhì)量的緊湊型圖像傳感器。

用于一次性和柔性內(nèi)窺鏡和腹腔鏡的“尖端芯片”CMOS 圖像傳感器需要具有非常小的像素間距和圖像質(zhì)量的緊湊型傳感器，專(zhuān)門(mén)針對(duì)醫(yī)療應(yīng)用進(jìn)行了優(yōu)化。

借助可供醫(yī)生使用的強(qiáng)大而有效的工具，醫(yī)療程序?qū)⒆兊酶臁⑶秩胄愿　⒏晒?，從而使患者、醫(yī)生和整個(gè)醫(yī)學(xué)界受益。

即將到來(lái)的未來(lái)

相機(jī)和圖像傳感技術(shù)的進(jìn)步將不僅對(duì)工廠車(chē)間、倉(cāng)庫(kù)或智能運(yùn)輸系統(tǒng)產(chǎn)生重大影響。這款新一代相機(jī)被部署在無(wú)人機(jī)上或嵌入手持設(shè)備中，它將利用光譜技術(shù)告訴我們，我們的農(nóng)產(chǎn)品或飲用水中是否有毒素，或者我們呼吸的空氣中是否有環(huán)境毒素。

即使是對(duì)SARS-CoV-2等疾病的聚合酶鏈反應(yīng)(PCR)檢測(cè)也將更容易、更廉價(jià)，因?yàn)槌杀据^低的圖像傳感器將用于分子診斷工具。DNA測(cè)序曾經(jīng)需要大型、昂貴的機(jī)器來(lái)對(duì)人類(lèi)基因組進(jìn)行測(cè)序，以確定祖先，但由于成像和分析技術(shù)的創(chuàng)新，這一技術(shù)將變得越來(lái)越容易獲得，也越來(lái)越便宜。

雖然我們不能100%準(zhǔn)確地預(yù)測(cè)，但我們可以根據(jù)我們對(duì)市場(chǎng)需求和不斷發(fā)展的技術(shù)的了解做出預(yù)測(cè)。期待更強(qiáng)大的AI處理器，在更低的功耗和更低的溫度下提供更強(qiáng)的計(jì)算能力。結(jié)合強(qiáng)大的算法解決方案，解決方案提供商將獲得更廣泛的合適應(yīng)用。

神經(jīng)形態(tài)計(jì)算平臺(tái)將模仿人類(lèi)視覺(jué)的效率。更直觀的人工智能軟件算法將比以往更有效地訓(xùn)練機(jī)器視覺(jué)模型。高光譜成像將繼續(xù)帶我們探索地球表面之下。微型圖像傳感器可以在病人還在手術(shù)時(shí)進(jìn)行分子診斷。

自從18世紀(jì)早期第一臺(tái)照相機(jī)發(fā)明以來(lái)，照相機(jī)已經(jīng)走了一百萬(wàn)英里。隨著相機(jī)和圖像傳感器的創(chuàng)新，我們將有能力了解周?chē)氖澜纭约拔覀儍?nèi)心的世界，我們將多旅行數(shù)百萬(wàn)次。

編輯：黃飛

?