近段時(shí)間發(fā)布的小米10系列影像能力得到了頗多關(guān)注，其中小米10 Pro參與了DxOMark測(cè)試，得分為124分，是目前DxOMark排行榜第一名，表現(xiàn)優(yōu)秀。

不只是后置一億主攝+2000萬(wàn)超廣角+800萬(wàn)長(zhǎng)焦+1200萬(wàn)人像四攝的強(qiáng)大硬件，小米10 Pro AI算法方面的發(fā)力也彌足重要，AI相機(jī)是小米AI影像能力全面提升的一個(gè)代表作。

2月19日，小米AI相機(jī)核心研發(fā)工程師汪軒然發(fā)布了關(guān)于小米10 Pro AI相機(jī)的詳細(xì)技術(shù)帖，介紹了其背后隱藏的一些技術(shù)難點(diǎn)和挑戰(zhàn)。

據(jù)小米聯(lián)合創(chuàng)始人，副董事長(zhǎng)林斌介紹，汪軒然是2010年就加入小米的軟件技術(shù)大咖，兩年多前他開始負(fù)責(zé)小米相機(jī)的軟件算法研發(fā)，這兩年小米影像的技術(shù)進(jìn)步，與該團(tuán)隊(duì)的貢獻(xiàn)密不可分。

接下來(lái)就讓我們一起了解一下，以下是小米汪軒然原帖全文：

小米10發(fā)布會(huì)上，新一代小米AI相機(jī)是小米10pro中AI影響的一個(gè)重頭戲，是小米AI影像能力全面提升的一個(gè)代表作。作為這個(gè)功能的核心研發(fā)工程師，我來(lái)給大家介紹一下這個(gè)特性背后隱藏的一些技術(shù)難點(diǎn)和挑戰(zhàn)。

AI相機(jī)作為一個(gè)概念并不新鮮，早在小米8的時(shí)代我們就推出了第一代小米AI相機(jī)。傳統(tǒng)的AI相機(jī)的做法，通常分成兩個(gè)部分，一是識(shí)別，二是后處理。

前者通過(guò)神經(jīng)網(wǎng)絡(luò)來(lái)“認(rèn)知”當(dāng)前拍攝的場(chǎng)景，后者根據(jù)不同的場(chǎng)景，使用一些傳統(tǒng)的方式來(lái)針對(duì)特定場(chǎng)景做一些優(yōu)化，比如加一些特殊的濾鏡。所謂“AI“，其實(shí)只有前面的識(shí)別部分跟AI掛鉤。這種方式最大的問(wèn)題是只能針對(duì)特定的幾個(gè)預(yù)設(shè)好的場(chǎng)景來(lái)做優(yōu)化，并且針對(duì)同一個(gè)場(chǎng)景，只能采用一樣的模板來(lái)處理，而沒(méi)有針對(duì)當(dāng)前的色彩，光影等做一些更有針對(duì)性的局部?jī)?yōu)化，效果會(huì)大打折扣。

為了解決這一問(wèn)題，我們團(tuán)隊(duì)開創(chuàng)性的將傳統(tǒng)的場(chǎng)景感知拓展成為全方位的色彩、對(duì)比度、光影等內(nèi)容感知，使用深度神經(jīng)網(wǎng)絡(luò)對(duì)整個(gè)畫面進(jìn)行全局和局部的分析，獲取到最優(yōu)的畫面效果，并且實(shí)時(shí)地對(duì)畫質(zhì)進(jìn)行增強(qiáng)。所以AI大片是覆蓋所有場(chǎng)景的優(yōu)化?？梢哉f(shuō)，新的AI相機(jī)，對(duì)于同樣的一片草地，在不同的光照，角度，甚至背景下，都會(huì)有不一樣的優(yōu)化效果。并且我們的技術(shù)把識(shí)別+處理合二為一，一站式的實(shí)現(xiàn)了AI修圖師的效果。

這個(gè)技術(shù)最大的挑戰(zhàn)在于計(jì)算量。眾所周知，針對(duì)圖像像素處理的深度神經(jīng)網(wǎng)絡(luò)的計(jì)算量極高，對(duì)手機(jī)的計(jì)算能力是一個(gè)很大的考驗(yàn)，而我們除了要實(shí)現(xiàn)預(yù)覽實(shí)時(shí)處理，所見(jiàn)即所得的效果之外，更“變態(tài)“的要求能針對(duì)一億像素的原片進(jìn)行處理。

為了實(shí)現(xiàn)這兩個(gè)看似不可能的任務(wù)，團(tuán)隊(duì)的攻城獅們對(duì)于神經(jīng)網(wǎng)絡(luò)的優(yōu)化達(dá)到了每個(gè)四則運(yùn)算都去細(xì)摳的程度。除了使用常見(jiàn)的網(wǎng)絡(luò)減枝，網(wǎng)絡(luò)壓縮的技術(shù)，我們還創(chuàng)造性地提出了一種新的基于導(dǎo)向圖的開關(guān)網(wǎng)絡(luò)結(jié)構(gòu)，這個(gè)網(wǎng)絡(luò)不僅僅可以使得網(wǎng)絡(luò)參數(shù)和計(jì)算量大幅下降，也可以滿足優(yōu)化的多樣性要求（噪聲，亮度，顏色，對(duì)比度，高動(dòng)態(tài)等等），最終得以將全新的AI相機(jī)展現(xiàn)給用戶。

除了攻城獅哥哥們的辛勤努力，新的AI相機(jī)也包含了團(tuán)隊(duì)中很多設(shè)計(jì)師妹子們的心血。為了讓深度神經(jīng)網(wǎng)絡(luò)能完美的復(fù)現(xiàn)出修圖師的美化效果，我們給網(wǎng)絡(luò)“喂“了數(shù)十萬(wàn)張訓(xùn)練數(shù)據(jù)，并同時(shí)做了多套效果，最終通過(guò)盲評(píng)，選擇了一個(gè)認(rèn)可度最高的模型效果。

發(fā)布會(huì)的幾頁(yè)ppt，背后隱藏的是團(tuán)隊(duì)每個(gè)成員日日夜夜的辛苦付出。小米影像技術(shù)起步的確有點(diǎn)晚，但我們一直都在很努力的往前跑著。在我們的眼中，沒(méi)有什么友商，沒(méi)有什么銷量，我們只想著怎么用最新的技術(shù)來(lái)讓拍照變得更加有趣，讓每個(gè)人都能拍出一張好照片，借此讓大家的生活能變得美好一點(diǎn)點(diǎn)，僅此而已。我們會(huì)繼續(xù)努力。

處理前

處理后

處理前

處理后

處理前

責(zé)任編輯：wv