全國(guó)范圍內(nèi)，一場(chǎng)關(guān)于5G建設(shè)的產(chǎn)業(yè)大潮被按下加速鍵。作為5G率先落地的重要應(yīng)用領(lǐng)域，以4K為代表的超高清視頻成為產(chǎn)業(yè)鏈集中布局的新方向。與此同時(shí)，5G+4K為大屏電視的未來(lái)形態(tài)插上想象的翅膀，為IPTV、OTT提供更多的智能賦能新動(dòng)能。

5月8-9日，以“啟智 ? 視聽”為主題的流媒體網(wǎng)第十七屆論道暨中國(guó)IPTV/OTT視聽產(chǎn)業(yè)高峰論壇在山東濟(jì)南舉行。8日下午，在主題為“探索*求新5G+4K” 的分論壇上，福建帝視信息科技有限公司首席科學(xué)家李根進(jìn)行了主題為《人工智能在視頻增強(qiáng)領(lǐng)域中的應(yīng)用與挑戰(zhàn)》的演講。

關(guān)于帝視科技

帝視科技成立于2016年，是一家致力于引領(lǐng)機(jī)器學(xué)習(xí)和計(jì)算機(jī)視覺(jué)前沿技術(shù)研究與開發(fā)的人工智能公司, 利用人工智能技術(shù)來(lái)實(shí)現(xiàn)圖片和視頻的深度壓縮和視覺(jué)增強(qiáng)，提供更加高效、低成本的圖片和視頻傳輸解決方案。

近兩年半的時(shí)間內(nèi)，帝視科技已有一名國(guó)家級(jí)人才，以及三名省級(jí)人才，已經(jīng)申報(bào)了近30多項(xiàng)國(guó)家發(fā)明專利和軟著。2018年，我們公司獲得了日本軟銀領(lǐng)投的A輪融資。

近兩年，我們公司獲得很多榮譽(yù)，包括英偉達(dá)中國(guó)最佳初創(chuàng)人工智能公司五強(qiáng)，網(wǎng)易創(chuàng)業(yè)家大賽廈門賽區(qū)的冠軍，全國(guó)總決賽的亞軍，創(chuàng)響福建中小企業(yè)創(chuàng)新創(chuàng)業(yè)大賽亞軍。我們團(tuán)隊(duì)入選了福建省百人計(jì)劃。

經(jīng)過(guò)幾年的發(fā)展，視頻內(nèi)容已經(jīng)從標(biāo)清到高清，再到超高清時(shí)代。在國(guó)內(nèi)，1992年推出標(biāo)清視頻標(biāo)準(zhǔn)，也就是DVD/VCD的時(shí)代，視頻的物理分辨率在720P以下。在高清視頻時(shí)代，視頻的物理分辨率已經(jīng)超過(guò)720或者1080P 。

國(guó)家廣電總局發(fā)布了高清視頻標(biāo)準(zhǔn)。2008年，北京奧運(yùn)會(huì)全程都是以高清分辨率進(jìn)行比賽直播。今年開始，機(jī)頂盒不支持高清以下的分辨率。也就是說(shuō)，今后大家無(wú)法通過(guò)機(jī)頂盒收視720P 以下的視頻內(nèi)容。

接下來(lái)進(jìn)入超高清的時(shí)代。最大的變化是它的分辨率超過(guò)了1080P，國(guó)家廣電總局先后發(fā)布了4K超高清電視選購(gòu)標(biāo)準(zhǔn)和超高清視頻產(chǎn)業(yè)發(fā)展行動(dòng)計(jì)劃。大家看一下，國(guó)內(nèi)發(fā)表的《超高清視頻產(chǎn)業(yè)發(fā)展行動(dòng)計(jì)劃(2019-2022年)》的大致內(nèi)容，國(guó)內(nèi)是4K先行，兼顧8K的總體技術(shù)路線。到2020年，超高清視頻產(chǎn)業(yè)總體規(guī)模會(huì)超過(guò)4萬(wàn)億元。4K電視終端全面普及，符合高動(dòng)態(tài)范圍(HDR)、寬色域、三維聲、高幀率、高色深要求的4K電視終端銷量占電視總銷量的比例超過(guò)40%;8K關(guān)鍵技術(shù)產(chǎn)品研發(fā)和產(chǎn)業(yè)化取得突破，8K電視占比要達(dá)到5%?，F(xiàn)在全國(guó)有很多電子廠商在推出8K電視，包括夏普、三星、索尼、海信、創(chuàng)維、TCL等。

在政府大力扶持下，超高清市場(chǎng)還是面臨著視頻內(nèi)容匱乏，網(wǎng)絡(luò)承載有限，標(biāo)準(zhǔn)規(guī)范尚未完善的問(wèn)題。

前面幾位嘉賓也提到，即將會(huì)普及5G網(wǎng)絡(luò)。另外，很多國(guó)家都在大力支持4K/8K的視頻標(biāo)準(zhǔn)。所以，網(wǎng)絡(luò)和標(biāo)準(zhǔn)化問(wèn)題會(huì)有非常大的改善。

超高清視頻內(nèi)容匱乏的問(wèn)題可能很難在短時(shí)間內(nèi)通過(guò)視頻采集，編輯等方式解決。因?yàn)楦哔|(zhì)量的視頻內(nèi)容制作有周期長(zhǎng)、成本高、成片率低的缺點(diǎn)。

因此，我們公司產(chǎn)品研發(fā)路線非常明確，通過(guò)基于人工智能的視頻增強(qiáng)技術(shù)解決現(xiàn)階段超高清視頻內(nèi)容匱乏的問(wèn)題。

什么是超高清視頻?

那我們經(jīng)常被問(wèn)到什么叫超高清視頻?超高清視頻是視頻的面積，體積上具有更高級(jí)別的要求。視頻面積上，提升到4K/8K高分辨率，目的在于，可以提高視頻清晰度。

在色深聲方面，提高到10位/12位。色深體現(xiàn)在顏色漸變會(huì)更平滑。色域采用 BT2020的寬色域，其效果更接近真實(shí)的場(chǎng)景的顏色。

除此之外，超高清視頻采用高動(dòng)態(tài)范圍HDR，HDR的好處在于可以提升陰暗對(duì)比度會(huì)。 視頻體積上也有改進(jìn)。視頻的幀率提高到60幀或者120幀。高幀率好處在于視頻播放更流暢。

我們帝視科技，超高清視頻轉(zhuǎn)碼時(shí)，同時(shí)考慮超高清五項(xiàng)標(biāo)準(zhǔn)。因?yàn)闀r(shí)間關(guān)系，這里主要簡(jiǎn)單介紹視頻超分辨率和高幀率重制算法。

視頻超分辨率，基于人工智能技術(shù)實(shí)現(xiàn)超分辨率的算法可以分為六大類。

第一種，采用傳統(tǒng)差值放大后提取圖像細(xì)節(jié)特征，第二種，低分辨率圖像中直接提取細(xì)節(jié)特征，然后采用特征層進(jìn)行放大。這樣的好處是可以得到加速的效果。第三種，采用漸進(jìn)式的放大，得到超大倍率的超分效果。

第四種，采用多次特征層上采樣和下采樣。第五種，引用了語(yǔ)義信息，較為相似特征的不同類別的目標(biāo)，采用不同的模型，從而得到更好的超分效果。

另外一種，引用了強(qiáng)化學(xué)習(xí)，但是，這些方法都存在計(jì)算代價(jià)太大，很難應(yīng)用于工業(yè)界。

因此，我們公司針對(duì)不同客戶，提出兩種策略。針對(duì)實(shí)時(shí)性要求不高的客戶，提供效果優(yōu)先的離線轉(zhuǎn)碼策略，另外針對(duì)實(shí)時(shí)性要求較高的互聯(lián)網(wǎng)產(chǎn)業(yè)的客戶提供效率優(yōu)先的輕量級(jí)移動(dòng)端模型。

離線轉(zhuǎn)碼模型是采用密集連接的方式實(shí)現(xiàn)視頻超分，移動(dòng)端模型采用深度可分離卷積和循環(huán)密集連接的策略。

以上兩種算法都已得到國(guó)際頂級(jí)學(xué)術(shù)會(huì)議的認(rèn)可，業(yè)界性能指標(biāo)評(píng)估中，都獲得不錯(cuò)的效果。

給大家演示高清轉(zhuǎn)超高清的效果。左邊是1080P的視頻，右邊是局部區(qū)域的視頻內(nèi)容。 很容易看出超分處理后的效果明顯好于傳統(tǒng)插值放大的效果，很多細(xì)節(jié)表現(xiàn)的更清楚。

高幀率，可分為四種類型。第一種，采用了光流信息，第二種采用光流和深度信息。第三種是采用雙向光流信息，第四種是端到端實(shí)現(xiàn)高幀率重制效果。

一般情況下，很難獲取光流和深度信息，因此，我們端到端的訓(xùn)練策略，改進(jìn)了高幀率重制算法，從而得到非常好的高幀率重制效果。

怎樣提高超高清視頻質(zhì)量?

視頻內(nèi)容可能會(huì)受到某些因素，直接影響視頻畫質(zhì)。比如為了降低帶寬成本，互聯(lián)網(wǎng)行業(yè)傳輸視頻的時(shí)候，降低碼率，這直接影響視頻質(zhì)量。

視頻內(nèi)容會(huì)受到采集設(shè)備的影響，不同品牌的拍攝設(shè)備的像素密度都存在一些差異性，像素密度低，采集的視頻內(nèi)容可能會(huì)存在失真現(xiàn)象。拍攝經(jīng)驗(yàn)不足，也會(huì)導(dǎo)致拍攝內(nèi)容中存在一些缺陷。

那先給大家分享，帝視科技如何去解決存在壓縮偽影的視頻呢?首先存在這些視頻壓縮偽影的視頻進(jìn)行去壓縮偽影，采用視頻的空間信息和時(shí)序信息去除壓縮偽影，其后，在進(jìn)行視頻超分，從而得到去除偽影區(qū)域的污點(diǎn)肯和毛刺。

另外，跟華為mate10去壓縮偽影效果對(duì)比，在計(jì)算復(fù)雜度是華為的16%的情況下，我們只利用普通的GPU上去偽影的效果超過(guò)華為的效果。

接下來(lái)，大家可能碰到用手機(jī)夜間拍攝時(shí)，光通量不足的情況，這會(huì)采集的視頻中引入很多噪聲，直接用傳統(tǒng)方式視頻降噪，會(huì)導(dǎo)致很多細(xì)節(jié)會(huì)變成模糊。

我們帝視科技采取基于人工智能的視頻降噪的方式，自適應(yīng)的判斷噪聲區(qū)域和噪聲強(qiáng)度。

這兩個(gè)例子中，我們可以看出降噪算法的魯棒性，與左邊視頻相比，右邊視頻的噪聲強(qiáng)度更大。但是我們只利用一種降噪算法就能處理噪聲區(qū)域的污點(diǎn)。

接下來(lái)看一下老舊影片的降噪效果，很容易發(fā)現(xiàn)老舊影片實(shí)例中也能得到非常好的降噪效果。

色彩增強(qiáng)，視頻例子中可以看出，我們帝視科技的色彩增強(qiáng)后的色彩，亮度、對(duì)比度、飽和度更討人喜歡。

視頻上色，我們的視頻上色算法采用了注意力機(jī)制，語(yǔ)義信息和調(diào)色板。以下是黑白圖片上色的效果。不僅能處理風(fēng)景，而且也能處理人物的場(chǎng)景。接下來(lái)看一下，羅馬假日視頻中的上色效果，目前視頻上色還存在一些時(shí)序不一致的問(wèn)題，我們還在優(yōu)化算法，有待提升視頻上色效果。

簡(jiǎn)單介紹幾種基于人工智能的視頻增強(qiáng)及修復(fù)的技術(shù)，那我們公司怎么利用這些視頻增強(qiáng)及修復(fù)功能呢?

怎樣實(shí)現(xiàn)傻瓜式的超高清視頻轉(zhuǎn)碼?

考慮到客戶的需求，帝視科技盡量把超高清視頻轉(zhuǎn)碼服務(wù)，做成非常傻瓜式的轉(zhuǎn)碼操作平臺(tái)。

我們公司提出AI 4K重制工具包，工具包中含有非常多視頻增強(qiáng)及修復(fù)功能，包括超高清標(biāo)準(zhǔn)化功能，視頻內(nèi)容分析，視頻增強(qiáng)及修復(fù)功能，客戶可以根據(jù)需求手動(dòng)或者自動(dòng)選擇幾個(gè)參數(shù)，帝視科技轉(zhuǎn)碼服務(wù)器自動(dòng)配置轉(zhuǎn)碼任務(wù)，并進(jìn)行視頻轉(zhuǎn)碼。

我們的產(chǎn)品是主要通過(guò)兩種方式面向客戶：

第一種是視頻增強(qiáng)轉(zhuǎn)碼服務(wù)器的形式，給客戶提供標(biāo)清轉(zhuǎn)高清、高清轉(zhuǎn)4K的服務(wù)，視頻增強(qiáng)轉(zhuǎn)碼服務(wù)器中就有 AI4K工具。

另外一種是公有云的形式，通過(guò)視頻云轉(zhuǎn)碼平臺(tái)進(jìn)行視頻轉(zhuǎn)碼。