首先來看下CMOS圖像傳感器長啥樣：

我們都知道計算機不能處理模擬信號，只能處理數(shù)字信號，所以現(xiàn)實世界的光影也不能直接被計算機處理，所以要記錄數(shù)字影像，那么我們必須把真實的影像通過數(shù)字化轉(zhuǎn)變?yōu)橛嬎銠C能讀取寫入的格式。因此我們就需要一種東西，能夠把光信號轉(zhuǎn)換為電信號，這也就是CCD和CMOS的由來，由于成本和功耗等等原因我們現(xiàn)在看到的數(shù)字相機和手機都是CMOS,具體原因展開太麻煩所以也就不詳細(xì)說了。

每一個CMOS像素都包括感光二極管(Photodiode)、浮動式擴散層(Floating diffusion layer)、傳輸電極門(Transfer gate)、起放大作用的MOSFET、起像素選擇開關(guān)作用的M0SFET.在CMOS的曝光階段，感光二極管完成光電轉(zhuǎn)換，產(chǎn)生信號電荷，曝光結(jié)束后，傳輸電極門打開，信號電荷被傳送到浮動式擴散層，由起放大作用的MOSFET電極門來拾取，電荷信號轉(zhuǎn)換為電壓信號。所以這樣的CMOS也就完成了光電轉(zhuǎn)換、電荷電壓轉(zhuǎn)換、模擬數(shù)字轉(zhuǎn)換的三大作用，通過它我們就能把光信號轉(zhuǎn)化為電信號，最終得到數(shù)字信號被計算機讀取，這樣，我們就已經(jīng)擁有了記錄光線明暗的能力，但這還不夠，因為我們需要色彩。

現(xiàn)代彩色CMOS的原理也很簡單，直接在黑白圖像傳感器的基礎(chǔ)上增加色彩濾波陣列(CFA)，從而實現(xiàn)從黑白到彩色的成像。很著名的一種設(shè)計就是Bayer CFA（拜耳色彩濾波陣列）。一個很有趣的事就是，我們用來記錄光影的CMOS,和我們用來輸出光影的顯示器，原理也剛好是向相反的，CMOS把光轉(zhuǎn)化為電信號最后以數(shù)字格式記錄，顯示器把解碼的數(shù)字格式從電信號重新轉(zhuǎn)化為光。光電之間的轉(zhuǎn)換也就構(gòu)成了我們?nèi)祟悢?shù)字影像的基礎(chǔ)。好了回到正題，為什么是RGB三種顏色？為什么G的占比要高于R和B呢？

這是因為人視網(wǎng)膜上的感光細(xì)胞分為兩種：視錐細(xì)胞和視桿細(xì)胞，分別對應(yīng)人眼的明視覺和暗視覺。視錐細(xì)胞又分三種：紅色感光細(xì)胞、綠色感光細(xì)胞、藍(lán)色感光細(xì)胞，它們對照明的明暗條件敏感度較低，只有當(dāng)光照強度達(dá)到一定條件錐細(xì)胞才能夠起作用。視桿細(xì)胞對光照的敏感度較高，可以在光照條件很暗的情況下對景物成像，卻不能感受顏色。這也解釋了為什么在晚上的時候人仍然能夠看到物體,卻不能有效地分辨物體的顏色的現(xiàn)象跟顏色有關(guān)的三種視錐細(xì)胞，每一種都對RGB三種顏色最敏感。

注意，是最敏感，所以藍(lán)視錐細(xì)胞不僅能感應(yīng)藍(lán)色，也可以感應(yīng)到綠和一部分紅色，綠視錐細(xì)胞不僅能感應(yīng)綠，也可以感應(yīng)一部份藍(lán)和紅，最后紅視錐細(xì)胞也是如此。所以通過三種視錐細(xì)胞感應(yīng)到不同波長光譜的比例，人類就能識別出視覺上除了紅綠藍(lán)之外的其他顏色。

人造的大部分顯示器，也都是利用這個特性來欺騙人類看到紅綠藍(lán)之外的顏色，比如上圖就是我的顯示器在顯示黃色時實際發(fā)出的光譜，根本就沒有黃色，這就是一個騙子顯示器，但是通過對人眼視覺特性的利用，我們看到的就是黃色。1931年，CIE（國際標(biāo)準(zhǔn)照明委員會）建立了一系列表示可見光譜的顏色空間標(biāo)準(zhǔn)，定義了CIE-RGB基色系統(tǒng)。規(guī)定了RGB系統(tǒng)的三原色光波長分別為700nm，546.1nm，435.8nm的紅光（R）、綠光（G）、藍(lán)光（B）。

通過混色實驗可以得到上圖的一組曲線，它們表示在380nm-780nm范圍內(nèi)當(dāng)各個光譜能量一樣時，某一波長的光譜色與

混色結(jié)果一樣，并稱這三條曲線為CIE1931 RGB系統(tǒng)光譜三刺激值曲線，這與后文中我們要提到的標(biāo)定有很大關(guān)系。

這還可以延伸一下，由于計算顏色三刺激值時會出現(xiàn)負(fù)值，所以CIE又設(shè)計出了一套CIE-XYZ系統(tǒng)，用X, Y, Z來代表紅綠藍(lán)三原色，上圖也就是CIE1931 XYZ系統(tǒng)光譜三刺激值曲線。

著名的CIE 1931 xy色度圖也就是從此而來，我們可以用它描述出任意的一種人眼可見色彩。當(dāng)然后來為了更精確的修正，還有CIE 1976 u'v色度圖，我們的很多評測也都使用了這個標(biāo)準(zhǔn)。因此，在理論上只需要記錄RGB,也就能還原出我們眼睛看到的所有顏色了。

另一個事實是：皮皮蝦擁有16種視錐細(xì)胞，所以如果讓它看我們的顯示器，它只會覺得你給我看的這是個什么玩意？？？

好了我們回到濾鏡顏色的問題上。對于基于Bayer CFA的設(shè)計，當(dāng)我們拍攝右側(cè)圖1的場景時，CMOS所有像素傳回來的圖像直接組合的結(jié)果就是右側(cè)圖2,當(dāng)我們將濾鏡顏色加到像素上會得到圖3,很明顯這也不應(yīng)該是我們最后看到的圖像。所以由3到4的過程，就需要插值算法來補足，之前真假4800萬像素的爭論也就是在這一步。

對于Bayer CFA設(shè)計的CMOS,有常用的插值算法，比如相鄰像素插值、雙線性插值、三次多項式插值等，它們的目的都是為了還原出全部的RGB三個通道分量，比如雙線性插值就是這么算的：對于只有紅色分量的像素：例如R32：

對于只有綠色分量的像素：例如G33

對于只有藍(lán)色分量的像素：例如B43

通過還原得到完整的RGB分量，我們就能得到一幅沒有缺損的圖像了，但是這就是終點了嗎？并不是，我們不能直接把這樣的圖像存儲，因為這其中有一個很重要的問題：Bayer CFA經(jīng)過插值之后，CFA的色特性與人眼的視覺特性并不一定重合，所以圖像中的像素顏色可能都是偏色的，這里可能是光學(xué)透鏡的光譜特性導(dǎo)致，也可能是Bayer CFA上的彩色濾鏡光譜特性導(dǎo)致，跟拍攝的環(huán)境光也有很大關(guān)系。所以還有一步，那就是校正標(biāo)定。校正標(biāo)定之中最重要的則是伽馬校正和顏色校正，先看伽馬校正：在現(xiàn)實世界中，幾乎所有的顯示器、攝影膠片以及很多電子照相機的光電轉(zhuǎn)換特性都是非線性的。這些非線性部件的輸出與輸入之間的關(guān)系通常用冪函數(shù)表示。理想狀態(tài)下，色彩強度(Intensity)與電子束的電壓信號之間成線性關(guān)系，但實際情況剛好想法，色彩強度與輸入的電壓信號之間是非線性關(guān)系。顯示器的輸出強度和輸出電壓的響應(yīng)大致成冪指數(shù)關(guān)系，下方式子表示輸出的強度隨著輸入電壓的增長成指數(shù)增長，通常我們就把這個冪指數(shù)稱為伽馬(Gamma)：

為了使圖像在顯示器上的效果和實際情形更為接近，在攝像機獲取圖像后，必須進行伽馬校正，把上邊式子的非線性關(guān)系校正為線性關(guān)系：

其中，是經(jīng)過校正處理后的圖像的像素值；是沒有經(jīng)過校正的像素值；伽馬值γ表示校正的程度，γ=1時，不進行校正，γ值越大，像素灰度值的校正程度越大。顏色校正：由于不同廠家在制造CMOS時使用的彩色濾光片不同，CMOS對不同波段的光電響應(yīng)度不同，都會導(dǎo)致相機的光譜響應(yīng)曲線不同，比如這是某一個CMOS的光譜相應(yīng)曲線：

很容易的就會發(fā)現(xiàn)彩色相機RGB三刺激值曲線圖和之前我們提到過的CIE 1931-RGB系統(tǒng)有很大差別。

想減小這種差異，就要對原始圖像的像素灰度值(R,G,B)進行必要的補償，帶來和人眼感知相近的顏色，這其中的工作就是顏色標(biāo)定。好了，鋪墊了這么久，終于講到那當(dāng)我們把RGGB換成RYYB,用黃色濾鏡替代綠色會怎么樣了。

黃光的光譜主波是570-590納米，剛好被夾在紅綠主波之間，所以只要彩色濾鏡的光譜特性設(shè)計得足夠好，那么理論上黃色也就能記錄紅+綠，下圖就是一個我假象的光譜響應(yīng)示意圖：

在這種非常理想的條件下，RYYB的感光總量肯定可以超過RGGB,不過這也給插值算法補全RGB的那一步帶來了一定困難，插值不理想的話后期色彩標(biāo)定也會出現(xiàn)問題。

而且現(xiàn)實情況也是要復(fù)雜得多，這里找到了一篇論文：Raj Shrestha, V. et al. Polarization-tuned Dynamic Color Filters Incorporating a Dielectric-loaded Aluminum Nanowire Array. Sci. Rep. 5, 12450; doi: 10.1038/srep12450 (2015).在這之中就有相當(dāng)多的彩色濾鏡，甚至有直接將黃光主波壓制，保留紅綠藍(lán)光譜的彩色濾片設(shè)計。

文章轉(zhuǎn)載來源：https://tech.qudong.com/2019/0402/558867.shtml