機(jī)器學(xué)習(xí)的研究正進(jìn)行的如火如荼，各種新方法層出不窮。盡管這樣，還有一個問題擺在面前，研究這些算法對于現(xiàn)實(shí)有什么用。特別是當(dāng)討論起機(jī)器學(xué)習(xí)在手機(jī)和其他設(shè)備上的應(yīng)用時，經(jīng)常會被問到到：「機(jī)器學(xué)習(xí)有什么殺手級應(yīng)用？」

機(jī)器學(xué)習(xí)工程師 Pete Warden 思考了很多種答案，包括從語音交互到全新的使用傳感器數(shù)據(jù)的方法等，但他認(rèn)為實(shí)際上短期內(nèi)最激動人性的一個方向是壓縮算法。盡管壓縮算法在研究領(lǐng)域基本上是人盡皆知的一個方向，還是有很多人還是會對這個看法感到驚訝。在本篇博文中，Pete Warden 分享了他的關(guān)于為什么壓縮算法如此有前景的看法。雷鋒網(wǎng)(公眾號：雷鋒網(wǎng))AI 科技評論編譯如下。

當(dāng)我讀到一篇名為「神經(jīng)自適應(yīng)內(nèi)容感知的互聯(lián)網(wǎng)視頻分發(fā)」（Neural Adaptive Content-aware Internet Video Delivery）的論文的時候，我意識到了這個領(lǐng)域的重要性。這篇文章在總結(jié)里說到，通過神經(jīng)網(wǎng)絡(luò)，在保證帶寬相同的情況下，該方法能夠?qū)①|(zhì)量體驗指標(biāo)提高 43%。或者在在保證相同的觀看質(zhì)量下，減少 17% 的帶寬使用。實(shí)際上還有很多類似研究方向的論文，比如生成式壓縮（https://arxiv.org/pdf/1703.01467.pdf）和自適應(yīng)圖像壓縮（https://arxiv.org/pdf/1705.05823.pdf ） ，但為什么沒有聽說到更多的關(guān)于壓縮算法的機(jī)器學(xué)習(xí)實(shí)際應(yīng)用呢？

目前還沒有足夠的計算能力

所有這些基于機(jī)器學(xué)習(xí)的壓縮方法都需要相對較大的神經(jīng)網(wǎng)絡(luò)，并且所需的計算量與像素數(shù)量成正比。這意味著高分辨率圖像或者高幀率視頻需要更多的計算能力，可能遠(yuǎn)遠(yuǎn)超過當(dāng)前移動電話或類似設(shè)備能夠提供計算量。目前大多數(shù)CPU能夠處理每秒幾百億次的算術(shù)運(yùn)算，而在高清視頻上運(yùn)行機(jī)器學(xué)習(xí)壓縮算法很容易就需要十倍以上的計算量。

好消息是現(xiàn)在有了一些新的硬件解決方案，比如 Edge TPU 等，在未來可能能夠提供更多可用的計算資源。我希望我們能夠?qū)⑦@些資源應(yīng)用于各種壓縮問題，從視頻和圖像以及到音頻。

自然語言是最終極的壓縮

我認(rèn)為機(jī)器學(xué)習(xí)非常適合于壓縮算法的另一個原因是，我們最近在自然語言處理中得到了很多有趣的結(jié)果。如果你仔細(xì)琢磨圖片的話，其實(shí)是可以將圖像描述看作是圖片的一種終極壓縮方法。我一直以來都希望創(chuàng)建一個項目，一個能夠以每秒一幀的速度給照相機(jī)拍下的圖片配上描述文字，之后將這些描述文字寫入到日志文件中。通過這個就能夠得到一個非常簡單的故事，講述著相機(jī)隨著時間的推移看到了什么。我認(rèn)為這就可以看作一個能夠敘事的傳感器。

我將這種東西叫做壓縮的原因是，我們其實(shí)可以使用一個生成神經(jīng)網(wǎng)絡(luò)來根據(jù)字幕生成圖片。這個生成出的圖片并不一定要與輸入圖片完全一樣，只要它們具有同樣的意思就可以了，這就可以看作是一個解壓縮算法。如果想要輸出的結(jié)果與輸入盡可能相似的壓縮算法，可以參考圖像風(fēng)格化的算法，將圖片壓縮為每個場景的輪廓線。這些算法與傳統(tǒng)壓縮算法的共同之處在于，它們找到了輸入中對于我們?nèi)祟愖钪匾男畔?，而忽略了其他的?xì)枝末節(jié)。

不僅僅是圖像

語言世界也有類似的趨勢。語音識別技術(shù)正在迅速改進(jìn)，合成語音的能力也在迅速提高。識別過程可以看作是將音頻壓縮為自然語言文本的過程，而合成則正好反過來。而人之間的對話可以通過將音頻翻譯為文字表示而的到極大的壓縮。我現(xiàn)在還很難想象是否需要走那么遠(yuǎn)，但是似乎有可能通過我們對與語言特征的新理解來實(shí)現(xiàn)更好的壓縮質(zhì)量以及更低的帶寬。

我甚至看到了將機(jī)器學(xué)習(xí)壓縮算法應(yīng)用到文本本身的可能。Andrej Karpathy 的 Char-RNN（https://github.com/karpathy/char-rnn）展示了神經(jīng)網(wǎng)絡(luò)可以很好的模擬給定樣本的風(fēng)格，這種學(xué)習(xí)風(fēng)格的本質(zhì)與壓縮問題是很相似的。如果考慮一下典型的 HTML 頁面有多少冗余，機(jī)器學(xué)習(xí)壓縮算法其實(shí)有很好的機(jī)會去改進(jìn) gzip。但這只是我的一個猜想，畢竟我沒有機(jī)器學(xué)習(xí)文本壓縮的經(jīng)驗。

壓縮算法已經(jīng)是一個有市場的項目

在我創(chuàng)業(yè)生涯中，我曾嘗試向企業(yè)銷售產(chǎn)品而最終失敗，從中我學(xué)到了一件事情，就是如果企業(yè)已經(jīng)有大量的資金分配在你所銷售的產(chǎn)品類別上，那么進(jìn)行銷售會更加容易。企業(yè)對于某種產(chǎn)品有預(yù)算意味著公司已經(jīng)做出了是否要在該項解決方案上花錢的決定，現(xiàn)在的唯一問題是要購買哪種解決方案。這就是為什么我認(rèn)為機(jī)器學(xué)習(xí)可以在這個領(lǐng)域取得巨大進(jìn)展的原因之一，因為制造商已經(jīng)擁有專門用于視頻和音頻的壓縮工程師，以及對應(yīng)的資金和芯片制造產(chǎn)業(yè)。如果我們能夠證明將機(jī)器學(xué)習(xí)添加到現(xiàn)有的解決方案中可以提高某些指標(biāo)，如質(zhì)量速度或者功耗，這些方法就能夠很快被采用。

帶寬成本需要平攤到用戶和運(yùn)營商身上，而質(zhì)量和續(xù)航是產(chǎn)品的一大賣點(diǎn)，因此采用機(jī)器學(xué)習(xí)進(jìn)行壓縮相比于其他應(yīng)用方向有更直接的動機(jī)?，F(xiàn)有的研究表明，機(jī)器學(xué)習(xí)算法進(jìn)行壓縮非常的高效，而且我樂觀的認(rèn)為還有很多方法等著被發(fā)現(xiàn)，所以我希望壓縮算法會成為機(jī)器學(xué)習(xí)的一個重要應(yīng)用。