本文主要分享英特爾和京東在基于Spark和BigDL的深度學(xué)習(xí)技術(shù)在搭建大規(guī)模圖片特征提取框架上的實(shí)戰(zhàn)經(jīng)驗(yàn)。

背景

圖像特征提取被廣泛地應(yīng)用于相似圖片檢索，去重等。在使用BigDL框架（下文即將提到）之前，我們嘗試過(guò)在多機(jī)多GPU卡、GPU集群上分別開(kāi)發(fā)并部署特征抽取應(yīng)用。但以上框架均存在比較明顯的缺點(diǎn)：

在GPU集群中，以GPU卡為單位的資源分配策略非常復(fù)雜，資源分配容易出問(wèn)題，如剩余顯存不夠而導(dǎo)致OOM和應(yīng)用崩潰。

在單機(jī)情況下，相對(duì)集群方式，需要開(kāi)發(fā)者手動(dòng)做數(shù)據(jù)分片、負(fù)載和容錯(cuò)。

GPU模式的應(yīng)用以Caffe為例有很多依賴(lài)，包括CUDA等等，增加了部署和維護(hù)的難度，如碰到不同操作系統(tǒng)版本和GCC版本有問(wèn)題時(shí)，都需要重新編譯打包。

以上問(wèn)題使得基于GPU的前向程序從架構(gòu)上面臨諸多技術(shù)應(yīng)用挑戰(zhàn)。

再來(lái)看看場(chǎng)景本身。因?yàn)楹芏鄨D片的背景復(fù)雜，主體物體占比通常較小，所以為了減少背景對(duì)特征提取準(zhǔn)確性的干擾，需要將主體從圖片中分離出來(lái)。自然地，圖片特征提取的框架分為兩步，先用目標(biāo)檢測(cè)算法檢測(cè)出目標(biāo)，然后用特征提取算法提取目標(biāo)特征。在這里，我們采用SSD[1] (Single shot multibox detector) 進(jìn)行目標(biāo)檢測(cè)，并用DeepBit[2]網(wǎng)絡(luò)進(jìn)行特征提取。

京東內(nèi)部有海量的（數(shù)億張以上）商品圖片存在于主流的分布式的開(kāi)源數(shù)據(jù)庫(kù)里。因此如何高效地在大規(guī)模分布式環(huán)境下進(jìn)行數(shù)據(jù)檢索和處理，是圖片特征提取流水線一個(gè)很關(guān)鍵的問(wèn)題?，F(xiàn)有的基于GPU的方案在解決上述場(chǎng)景的需求中面臨著另外一些挑戰(zhàn)：

數(shù)據(jù)下載耗費(fèi)很長(zhǎng)的時(shí)間，基于GPU的方案不能很好地對(duì)其進(jìn)行優(yōu)化。

針對(duì)分布式的開(kāi)源數(shù)據(jù)庫(kù)中的圖片數(shù)據(jù)，GPU方案的前期數(shù)據(jù)處理過(guò)程很復(fù)雜，沒(méi)有一個(gè)成熟的軟件框架用于資源管理，分布式數(shù)據(jù)處理和容錯(cuò)性管理等。

因?yàn)镚PU軟件和硬件框架的限制，擴(kuò)展GPU方案去處理大規(guī)模圖片有很大的挑戰(zhàn)性。

BigDL集成方案

在生產(chǎn)環(huán)境中，利用現(xiàn)有的軟件和硬件設(shè)施，將大幅提高生產(chǎn)效率（如減少新產(chǎn)品的研發(fā)時(shí)間），同時(shí)降低成本?；谠谶@個(gè)案例中，數(shù)據(jù)存儲(chǔ)在大數(shù)據(jù)集群中主流的分布式開(kāi)源數(shù)據(jù)庫(kù)上，如果深度學(xué)習(xí)應(yīng)用能利用已有的大數(shù)據(jù)集群（如Hadoop或Spark集群）進(jìn)行計(jì)算，便可非常容易地解決上述的挑戰(zhàn)。

Intel開(kāi)源的BigDL項(xiàng)目[3]，是在Spark上的一個(gè)分布式深度學(xué)習(xí)框架，提供了全面的深度學(xué)習(xí)算法支持。BigDL借助Spark平臺(tái)的分布式擴(kuò)展性，可以方便地?cái)U(kuò)展到上百或上千個(gè)節(jié)點(diǎn)。同時(shí)BigDL利用了Intel MKL數(shù)學(xué)計(jì)算庫(kù)以及并行計(jì)算等技術(shù)，在Intel Xeon服務(wù)器上可以達(dá)到很高的性能（計(jì)算能力可取得媲美主流GPU的性能）。

在我們的場(chǎng)景中，BigDL為支持各種模型（檢測(cè)，分類(lèi)）進(jìn)行定制開(kāi)發(fā)；模型從原來(lái)只適用于特定 環(huán)境移植到了支持通用模型（Caffe，Torch，Tensorflow）BigDL大數(shù)據(jù)環(huán)境 ；整個(gè)pipeline全流程獲得了優(yōu)化提速。

通過(guò)BigDL在spark環(huán)境進(jìn)行特征提取的流水線如Figure 1所示 ：

使用Spark從分布式開(kāi)源數(shù)據(jù)庫(kù)中讀入上億張?jiān)紙D片，構(gòu)建成RDD

使用Spark預(yù)處理圖片，包括調(diào)整大小，減去均值，將數(shù)據(jù)組成Batch

使用BigDL加載SSD模型，通過(guò)Spark對(duì)圖片進(jìn)行大規(guī)模、分布式的目標(biāo)檢測(cè)，得到一系列的檢測(cè)坐標(biāo)和對(duì)應(yīng)的分?jǐn)?shù)

保留分?jǐn)?shù)最高的檢測(cè)結(jié)果作為主題目標(biāo)，并根據(jù)檢測(cè)坐標(biāo)對(duì)原始圖片進(jìn)行裁剪得到目標(biāo)圖片

對(duì)目標(biāo)圖片RDD進(jìn)行預(yù)處理，包括調(diào)整大小，組成Batch

使用BigDL加載DeepBit模型，通過(guò)Spark對(duì)檢測(cè)到的目標(biāo)圖片進(jìn)行分布式特征提取，得到對(duì)應(yīng)的特征

將檢測(cè)結(jié)果(提取的目標(biāo)特征RDD)存儲(chǔ)在HDFS上

?

整個(gè)數(shù)據(jù)分析流水線，包括數(shù)據(jù)讀取，數(shù)據(jù)分區(qū)，預(yù)處理，預(yù)測(cè)和結(jié)果的存儲(chǔ)，都能很方便地通過(guò)BigDL在Spark中實(shí)現(xiàn)。在現(xiàn)有的大數(shù)據(jù)集群（Hadoop/Spark）上，用戶(hù)不需要修改任何集群配置，即可使用BigDL運(yùn)行深度學(xué)習(xí)應(yīng)用。并且，BigDL利用Spark平臺(tái)的高擴(kuò)展性，可以很容易地?cái)U(kuò)展到大量的節(jié)點(diǎn)和任務(wù)上，因此極大地加快數(shù)據(jù)分析流程。

除了分布式深度學(xué)習(xí)的支持，BigDL也提供了很多易用的工具，如圖片預(yù)處理庫(kù)，模型加載工具（包括加載第三方深度學(xué)習(xí)框架的模型）等，更方便用戶(hù)搭建整個(gè)流水線。

圖片預(yù)處理

BigDL提供了基于OpenCV[5]的圖像預(yù)處理庫(kù)[4], 支持各種常見(jiàn)的圖像轉(zhuǎn)換和圖像增強(qiáng)的功能，用戶(hù)可以很容易地使用這些基本功能搭建圖像預(yù)處理的流水線。此外，用戶(hù)也可以調(diào)用該庫(kù)所提供的OpenCV操作自定義圖像轉(zhuǎn)換的功能。