現(xiàn)在科技進步很快，新技術層出不窮，各種各樣的“黑科技”經(jīng)常蹦出來，我們先來看看下面這兩個。

　　在很多的影視劇作品中，我們都曾看到過這樣的場景：案件調查人員通過技術手段，將攝像頭捕捉的模糊圖像放大，形成更為精細、清晰的圖像，幫助識別嫌疑人。然而遺憾的是，現(xiàn)實中的技術還遠達不到能夠將低分辨率圖像“收放自如”形成人眼能夠識別的高清圖像。

　　讓低分辨率圖像精細化成像

　　但谷歌近日公布的一項研究成果，則可能讓上述那些只存在于影視劇作品中的“神奇”真正成為現(xiàn)實。谷歌人工智能研究部門谷歌大腦近日發(fā)布了一篇研究文章，再度展示了人工智能技術的強大功能，通過對深度神經(jīng)網(wǎng)絡技術的應用，可以將低分辨率的圖像放大成高清晰度、精細化的人眼可識別圖像。

　　該項研究具體是通過兩個同時運行的神經(jīng)網(wǎng)絡來實現(xiàn)，一個被稱為“條件網(wǎng)絡”，另一個被稱為“優(yōu)先網(wǎng)絡”?！皸l件網(wǎng)絡”通過對低分辨率的圖像和相似的高分辨率的圖像進行比照，并描繪出粗略的框架。“優(yōu)先網(wǎng)絡”則用于分析圖像中的像素點，并在低分辨率圖像的基礎上進行細部像素的細化。簡單來說，兩者是通過在宏觀和微觀上的結合，來實現(xiàn)最終結果的最優(yōu)化。

　　在進行該項實驗時，谷歌的研究人員運用了包含超過20萬名人頭像的CelebFaces Attributes Dataset數(shù)據(jù)集和超過300萬圖像的“臥室”照片數(shù)據(jù)集，通過這些大量的數(shù)據(jù)，不斷訓練模型，使其結果不斷優(yōu)化。

　　經(jīng)過大量數(shù)據(jù)訓練后的模型最終能夠實現(xiàn)低分辨率圖像的高清精細化還原，例如在上圖中，將8×8分辨率的圖像輸入后，模型能夠輸出32×32的圖像。可以看出模型繪制出的較高分辨率的圖像與真實圖像之間的差異從肉眼來看已經(jīng)很難分辨，很大程度上實現(xiàn)了將低分辨率圖像高精細化的目的。

　　作為實驗效果測驗的一部分，谷歌研究人員還將真實圖像和模型繪制出的圖像同時呈現(xiàn)給其他工作人員，讓他們給出哪些是模型繪制圖像，哪些是真實拍攝的圖像的判斷，測試結果是50%的參與者認為模型繪制出的圖像已經(jīng)很好地模擬了真實圖像，以至于難以分辨這兩者。

　　研究人員給出的實驗結論是，在單獨使用“條件網(wǎng)絡”進行繪制圖像時，效果不如在此基礎上同時運用“優(yōu)先網(wǎng)絡”那么好，“優(yōu)先網(wǎng)絡”能夠使得“條件網(wǎng)絡”在無法準確預測局部細節(jié)時，進一步優(yōu)化細節(jié)，產(chǎn)生更為精細的預測結果。

　　毫無疑問，這項技術在未來一定有著非常廣泛的應用前景和實際價值，但需要指出的是，目前該技術依然處在非常初期的階段，訓練數(shù)據(jù)目前僅限于“人臉”和“臥室”圖像，但這實際上也是“有監(jiān)督學習”的人工智能研究目前普遍所需要面臨的必經(jīng)階段，即任何實際的人工智能技術的應用，都要基于大量數(shù)據(jù)的訓練和模型的不斷優(yōu)化。

　　手機拍子彈出膛不是夢

　　自從去年2月索尼IMX318發(fā)布后，影像巨頭索尼公司已經(jīng)有一年時間沒有推出令人眼前一亮的感光元件（CMOS）了。即便去年和國內少數(shù)手機廠商合作定制了諸如IMX386和IMX398這樣的CMOS，但終究還是原有在售CMOS基礎上的小改款而已。

　　索尼在其日本官網(wǎng)上發(fā)布消息稱，它們研發(fā)出全球首款三層堆棧式CMOS。這款CMOS相比原有的堆棧式CMOS增加了DRAM層，大幅提高CMOS的數(shù)據(jù)處理能力，令其可以拍攝最高1000fps的超慢速視頻。那么下面就跟大家介紹一下這款索尼最新的CMOS吧，雖然索尼現(xiàn)在還沒給它起好名字。

　　首先用一張列表介紹一下這款全新的索尼CMOS基本參數(shù)：

　　索尼全新三層堆棧式CMOS的主要參數(shù)（來源索尼日本）

　　由于這款新感光元件還在開發(fā)期沒有商用，索尼暫時沒有為其正式命名。從規(guī)格上看，這款CMOS的像素值為2120萬，最高可以拍攝5520*3840分辨率的圖像。CMOS對角線長度7.73mm，尺寸1/2.3英寸，單個像素面積為1.22μm。支持1/120秒內讀取1930萬像素圖片并拍攝最高1000fps的超慢速視頻，架構為傳統(tǒng)的拜耳陣列。

　　主流索尼Exmor RS堆棧式CMOS的參數(shù)對比

　　從上面的參數(shù)來看這款CMOS將主要發(fā)力點放在了高速處理和視頻拍攝上面。從靜態(tài)圖像參數(shù)上講，2120萬像素的數(shù)字在索尼自家的Exmor RS CMOS中也屬于比較靠前的位次，1/2.3英寸的CMOS面積同樣位次靠前，可以提供相對不錯的畫質輸出。單位像素1.22μm不及自家一些1.44μm的產(chǎn)品，與HTC的UltraPixel 2μm相比也有不小差距。拜耳陣列是傳統(tǒng)的RGBG結構，與IMX298和IMX398的RGBW架構不同，所以綜合來看在進光量上面可能會吃一些虧。

　　背照式CMOS（左）與堆棧式CMOS（右）（圖片來源索尼日本）

　　早在2012年8月索尼就推出了堆棧式CMOS架構，它使用有信號處理電路的芯片替代了之前常見的背照式CMOS圖像傳感器中的支持基板，在芯片上重疊形成背照式CMOS元件的像素部分，從而實現(xiàn)了在較小的芯片尺寸上形成大量像素點的工藝。由于像素部分和電路部分是獨立設計的，因此像素部分可以針對高畫質優(yōu)化，電路部分可以針對高性能優(yōu)化。

　　堆棧式CMOS（左）與加入DRAM層的三層堆棧式CMOS（圖片來源索尼日本）

　　這次，索尼將CMOS架構做出了調整，在像素層和電路層之間新加入了DRAM層（動態(tài)隨機存儲單元），這一部分在整個CMOS模組當中充當緩存角色，用于存儲像素層獲取到的圖像信息，因此大幅提升了傳感器處理數(shù)據(jù)的速度。根據(jù)索尼方面的數(shù)據(jù)，新CMOS可以在1/120秒內讀取1930萬像素的圖片，這個速度比自家的旗艦級CMOS IMX318快上4倍。

　　加入DRAM層的索尼最新三層堆棧式CMOS橫斷面（圖片來源索尼日本）

　　同時，雖然數(shù)據(jù)處理速度大幅提升，但DRAM層的加入并沒有對整個CMOS模組的能耗造成拖累。加上依舊保持堆棧式CMOS體積小的優(yōu)勢，可以被應用在某些追求超纖薄的智能手機上面，符合智能手機整體纖薄化的發(fā)展趨勢。