圖像傳感器是把攝像頭接收到的光信號(hào)轉(zhuǎn)化成電子信號(hào)的感光元件，可以記錄光場(chǎng)強(qiáng)度的分布，對(duì)于拍照設(shè)備來(lái)說(shuō)，它就如同人眼的視網(wǎng)膜。手機(jī)或者相機(jī)的傳感器一般是一個(gè)包含了很多個(gè)小單元的陣列，每個(gè)小單元對(duì)應(yīng)著照片中的一個(gè)像素。我們平時(shí)說(shuō)的，相機(jī)2000萬(wàn)像素就是指圖像傳感器上有2000萬(wàn)個(gè)小單元（感光點(diǎn)）。

圖像傳感器單像素成像原理然而，近十多年來(lái)，科學(xué)家們卻在探索一種新型的“單像素相機(jī)”[2]，即圖像傳感器只包含一個(gè)像素，這種另類的光學(xué)成像方式就是“單像素成像”[1]。 那么單像素相機(jī)又是怎么工作的呢？單像素成像中，通過(guò)一個(gè)投影器件不斷向目標(biāo)物體照射不同的結(jié)構(gòu)光圖案，單像素探測(cè)器依次記錄下每次照射時(shí)物體場(chǎng)景總體光強(qiáng)度，最后計(jì)算重建出具有空間分辨率的物體圖像。數(shù)學(xué)上來(lái)說(shuō)，單像素探測(cè)器記錄的光強(qiáng)度是投影圖案和物體圖像之間的內(nèi)積。單像素成像與以往常常提到的鬼成像和關(guān)聯(lián)成像的概念比較接近。

典型的單像素成像系統(tǒng)單像素成像智能處理算法由于單像素相機(jī)與普通相機(jī)有著不同的成像機(jī)制和框架，在最近的研究中，筆者設(shè)計(jì)了四種為其“量身打造”的圖像智能處理算法。 （1）運(yùn)動(dòng)物體單像素成像中模糊去除和質(zhì)量提升 單像素成像中需要依次投影大量不同圖案，記錄下很長(zhǎng)一串單像素值序列，才能重建出一張物體圖像，這顯然需要一定的成像時(shí)間。所以，拍攝快速運(yùn)動(dòng)的物體時(shí)，幀率往往比較低，記錄前幾個(gè)單像素值時(shí)還“朝發(fā)白帝”,記錄后幾個(gè)單像素值時(shí)就已經(jīng)“暮到江陵”了。這導(dǎo)致最后記錄下的單像素值數(shù)據(jù)里包含了不同位置物體的混合信息，重建的圖像會(huì)包含比較多模糊和噪聲，類似于普通相機(jī)拍攝一輛飛馳而過(guò)的汽車得到的“拖尾”照片一樣。 為解決這一問(wèn)題，可以考慮一個(gè)基本的物理定律——運(yùn)動(dòng)的相對(duì)性，物體在運(yùn)動(dòng)，投影圖案是靜止的，等效于物體是靜止的，而投影圖案在反方向運(yùn)動(dòng)。物體從左到右運(yùn)動(dòng)，相當(dāng)于投影圖案從右到左運(yùn)動(dòng)；物體順時(shí)針轉(zhuǎn)動(dòng)，相當(dāng)于投影圖案逆時(shí)針轉(zhuǎn)動(dòng)。通過(guò)搜索估算物體的平移或者轉(zhuǎn)動(dòng)速度，對(duì)投影圖案做相應(yīng)的反向變換，然后計(jì)算時(shí)使用變換后的投影圖案替代原本的投影圖案，重建出的物體圖像就會(huì)清晰很多，質(zhì)量得到明顯提升[3]。

實(shí)驗(yàn)中，拍攝一個(gè)快速轉(zhuǎn)動(dòng)圓盤(pán)上的數(shù)字，我們?cè)O(shè)計(jì)的算法可以去除重建圖像中的模糊和噪聲 [3]。 （2）基于單像素成像的全光學(xué)物體快速分類 圖像常常需要進(jìn)行自動(dòng)分類識(shí)別，比如照片里的是一只貓，還是一只狗？一般無(wú)論普通相機(jī)還是單像素相機(jī)，都要先拍攝到物體（比如數(shù)字或交通標(biāo)志）清晰的圖片，才能使用機(jī)器學(xué)習(xí)方法進(jìn)行圖像分類任務(wù)。 不過(guò)，筆者提出的基于單像素成像的全光學(xué)物體快速分類方案中[4]，不需要重建物體圖像，物體只被很少數(shù)量的投影圖案所照射，探測(cè)器只記錄下“寥寥無(wú)幾”的單像素值，該算法直接基于這些單像素值，在“不知道物體到底長(zhǎng)得什么樣”情況下，能夠進(jìn)行快速物體分類。比如我們要把物體分為10類，只需要從大量訓(xùn)練圖片中優(yōu)化設(shè)計(jì)出10個(gè)投影圖案，一共投影10次，而進(jìn)行完整的圖像重建可能需要投影幾百幾千次。

從10個(gè)類別的數(shù)字圖像和交通標(biāo)志圖像中分別優(yōu)化設(shè)計(jì)出的10個(gè)用于快速物體分類的投影圖案（第四行）。 分類結(jié)果可以通過(guò)單像素值序列中最大光強(qiáng)度值直接顯示出來(lái)，無(wú)需后續(xù)的數(shù)字處理，整個(gè)系統(tǒng)相當(dāng)于一個(gè)可以進(jìn)行線性分類任務(wù)的“光學(xué)計(jì)算機(jī)”。相比于2018年Science論文中多層級(jí)聯(lián)相位板結(jié)構(gòu)的全光學(xué)衍射神經(jīng)網(wǎng)絡(luò)(DNN)系統(tǒng)[5]，我們的系統(tǒng)可以完成類似的全光學(xué)物體分類任務(wù)，同時(shí)具有非相干光照射下工作，低實(shí)驗(yàn)復(fù)雜性，高可編程性等優(yōu)點(diǎn)，更容易實(shí)現(xiàn)。 （3）單像素成像中圖像盲重建 單像素成像中一般既需要已知所有投影圖案，又需要已知所有單像素值，才能進(jìn)行物體圖像的重建。這樣看起來(lái)二者缺一就無(wú)法重建圖像，其實(shí)未必。

假設(shè)投影圖案雖然是未知的，但它們保持固定不變。如果已知一定數(shù)量不同的物體圖像和它們對(duì)應(yīng)單像素值序列作為訓(xùn)練樣本，可以通過(guò)機(jī)器學(xué)習(xí)方式實(shí)現(xiàn)盲重建。筆者在研究[6]中并沒(méi)有使用“時(shí)尚潮流之選”的深度學(xué)習(xí)方法，而使用了更簡(jiǎn)單的基于線性回歸模型的方式恢復(fù)未知的投影圖案，但獲得的結(jié)果在一定條件下優(yōu)于深度學(xué)習(xí)的結(jié)果。 事實(shí)上，很多相干和非相干的光學(xué)成像系統(tǒng)都是線性的，一些傳統(tǒng)方法也可能對(duì)系統(tǒng)進(jìn)行精確模擬，那么近年在各領(lǐng)域都普遍使用的深度學(xué)習(xí)方法是否一定優(yōu)于傳統(tǒng)方法？一些仿真和實(shí)驗(yàn)結(jié)果顯示，對(duì)于單像素成像系統(tǒng)和其他一些線性光學(xué)系統(tǒng)，深度學(xué)習(xí)其實(shí)未必總能表現(xiàn)出優(yōu)勢(shì)，尤其在需要大量訓(xùn)練樣本和泛化性這兩個(gè)方面表現(xiàn)出一定不足[6]。 （4）單像素成像中的可視加密 作為90后經(jīng)典童年回憶的《冒險(xiǎn)小虎隊(duì)》中，通過(guò)解密卡才能看到雜亂無(wú)章的條紋中隱藏的信息，這其實(shí)很類似于一種“可視加密”技術(shù)。

可視加密(Visual Cryptography)把要隱藏的圖像分解成幾個(gè)隨機(jī)圖案，把它們打印在透明膠片上，每個(gè)圖案稱為一個(gè)可視密鑰(Visual Key)，無(wú)法從中看到隱藏的圖像。可是當(dāng)可視密鑰重疊在一起時(shí)，隱藏圖像就可以在視覺(jué)上顯現(xiàn)出來(lái)。單像素成像中的探測(cè)器收集物體圖像總體光強(qiáng)度的方式，相當(dāng)于進(jìn)行了像素值的虛擬疊加操作，與可視加密一定程度上“異曲同工”。 筆者提出通過(guò)物體圖像和通過(guò)投影圖案兩種方式將可視加密在單像素成像中實(shí)現(xiàn)[7]。單像素的可視加密可以適用于打印在不透明介質(zhì)上的可視密鑰圖案，并且容易在肉眼觀察不到的非可見(jiàn)光波段以及視平線之外隱藏角落實(shí)現(xiàn)可視加密，物理層面上提升可視加密的安全性。 例如，(a)和(b)兩個(gè)二維碼可以作為一組可視密鑰，用手機(jī)掃它們，可以讀出同樣的信息，不過(guò)讀出的并不是要隱藏的信息，而是做偽裝的“幌子”。通過(guò)單像素可視加密系統(tǒng)虛擬疊加到一起之后，依舊是一個(gè)可以用手機(jī)掃的二維碼(c)，不過(guò)真正隱藏的信息”O(jiān)K”浮現(xiàn)了出來(lái)。

此外單像素成像中，只對(duì)一組投影圖案的隨機(jī)置換也能實(shí)現(xiàn)圖像加密[8]。單像素成像的應(yīng)用單像素成像可以把傳感器從一個(gè)單元陣列簡(jiǎn)化為單個(gè)像素，與此同時(shí)，則需要額外的投影器件，比如，數(shù)字微鏡陣列DMD，并且要投影照射和記錄很多次，而不是一次性成像。 然而，這不妨礙在很多情況下，單像素相機(jī)仍然比普通相機(jī)更具有優(yōu)勢(shì)，比如在可見(jiàn)光以外的一些波段，單元陣列傳感器難以制造，或者成本非常高，而只包含一個(gè)像素的簡(jiǎn)單傳感器就容易實(shí)現(xiàn)得多，單像素成像為這些波段的低成本相機(jī)提供了一個(gè)好的選擇。 再比如普通相機(jī)拍攝照片時(shí)，物體需要放到鏡頭或者傳感器的視平線范圍內(nèi)，而單像素探測(cè)器可以拍攝隱藏在拐角處的物體。當(dāng)同時(shí)對(duì)多個(gè)光譜和多個(gè)偏振態(tài)的光場(chǎng)進(jìn)行記錄時(shí)，難以在同一個(gè)單元陣列傳感器上對(duì)這么多的“頻道”同時(shí)進(jìn)行復(fù)用，單像素探測(cè)器則比較容易在“頻道”間靈活來(lái)回切換。 目前，該技術(shù)已被研究者嘗試應(yīng)用于多個(gè)領(lǐng)域，如遙感成像、顯微鏡、光譜儀、無(wú)人駕駛激光雷達(dá)、加油站氣體泄露監(jiān)測(cè)、便攜式掃描儀等，單像素成像的潛在應(yīng)用場(chǎng)景一直在不斷被發(fā)掘和擴(kuò)展。

作者簡(jiǎn)介

焦述銘，深圳大學(xué)納米光子學(xué)研究中心副研究員，香港城市大學(xué)博士畢業(yè)。主要從事單像素成像，全息成像及顯示，圖像處理等方面研究。以第一作者發(fā)表期刊論文20余篇，曾入選Hong Kong PhD Fellowship Scheme和廣東省“珠江人才計(jì)劃”博士后資助項(xiàng)目。

審核編輯：郭婷