在數(shù)據(jù)和算法重新定義的世界中，數(shù)字化轉(zhuǎn)型正構(gòu)成傳統(tǒng)企業(yè)的新競(jìng)爭(zhēng)力，但實(shí)際被收集和利用的數(shù)據(jù)，遠(yuǎn)比人們想象中少。

有效數(shù)據(jù)量少、模型開發(fā)效率低、專業(yè)技術(shù)人才匱乏，這些問題在企業(yè)應(yīng)用數(shù)據(jù)分析面前形成了難以跨越的天塹。一邊中國(guó)市場(chǎng)上超半數(shù)的企業(yè)已經(jīng)采用機(jī)器學(xué)習(xí)方法，實(shí)現(xiàn)高級(jí)數(shù)據(jù)分析預(yù)測(cè)，另一邊機(jī)器學(xué)習(xí)、數(shù)據(jù)科學(xué)的普及之路仍荊棘叢生。

在這一背景下，IDC發(fā)布《數(shù)據(jù)分析新速度：加速數(shù)據(jù)科學(xué)轉(zhuǎn)變成商業(yè)洞察》白皮書，重新審視數(shù)據(jù)科學(xué)的定義與生態(tài)，對(duì)機(jī)器學(xué)習(xí)、數(shù)據(jù)科學(xué)在中國(guó)市場(chǎng)的落地現(xiàn)狀進(jìn)行全面調(diào)研。

數(shù)據(jù)爆炸時(shí)代：加速AI落地中的困境

在大數(shù)據(jù)、人工智能等新興技術(shù)的助推下，數(shù)據(jù)科學(xué)從常規(guī)數(shù)據(jù)分析發(fā)展到高級(jí)預(yù)測(cè)分析與智能預(yù)測(cè)，其定義正在被重新審視。

本白皮書中，IDC將機(jī)器學(xué)習(xí)與圖算法為主的工作負(fù)載定義為數(shù)據(jù)科學(xué)，其核心技術(shù)即經(jīng)典機(jī)器學(xué)習(xí)技術(shù)，正在企業(yè)用戶中開始復(fù)興。據(jù)IDC調(diào)研，當(dāng)前中國(guó)市場(chǎng)上74%的企業(yè)已采用包含機(jī)器學(xué)習(xí)的數(shù)據(jù)科學(xué)平臺(tái)，其他企業(yè)均表示在未來24個(gè)月內(nèi)有計(jì)劃采用這一平臺(tái)。

在當(dāng)前金融應(yīng)用場(chǎng)景中，80%的分析預(yù)測(cè)模型采用機(jī)器學(xué)習(xí)模型，支撐預(yù)判欺詐風(fēng)險(xiǎn)、優(yōu)化量化投資等業(yè)務(wù)應(yīng)用。而每成功識(shí)別一筆欺詐交易行為，每準(zhǔn)確預(yù)測(cè)一次市場(chǎng)行情變化，對(duì)企業(yè)的經(jīng)濟(jì)利益可能是百萬級(jí)甚至上億級(jí)。

還有在零售場(chǎng)景，隨著個(gè)性化服務(wù)需求升級(jí)，更多零售企業(yè)正通過機(jī)器學(xué)習(xí)形成線下線上融合的用戶畫像追蹤，實(shí)現(xiàn)千人千面精準(zhǔn)營(yíng)銷，顯著提升用戶粘度。

數(shù)據(jù)科學(xué)在文娛、教育、電信、制造、醫(yī)療、政府、媒體、能源、交通、地產(chǎn)等行業(yè)中均得到廣泛應(yīng)用。根據(jù)IDC提供的數(shù)據(jù)，中國(guó)企業(yè)在深度學(xué)習(xí)和機(jī)器學(xué)習(xí)方面的投入持續(xù)增加，高級(jí)數(shù)據(jù)預(yù)測(cè)分析、經(jīng)典機(jī)器學(xué)習(xí)相關(guān)的市場(chǎng)規(guī)模在2018年達(dá)到3.0億美金，預(yù)計(jì)到2022年將達(dá)到29億美金。

2018-2022年中國(guó)人工智能應(yīng)用市場(chǎng)規(guī)模（單位：百萬美金）

不過企業(yè)要想應(yīng)用機(jī)器學(xué)習(xí)，還需先解決很多挑戰(zhàn)。

首先，數(shù)據(jù)準(zhǔn)備和建模耗時(shí)長(zhǎng)。其次，數(shù)據(jù)資源嚴(yán)重匱乏。IDC調(diào)研發(fā)現(xiàn)，目前只有一線互聯(lián)網(wǎng)公司擁有超數(shù)千PB級(jí)別數(shù)據(jù)，大部分企業(yè)的數(shù)據(jù)量?jī)H在1TB-20TB之間。另外企業(yè)積累的大部分?jǐn)?shù)據(jù)不能直接用于模型訓(xùn)練，被注入到AI模型的數(shù)據(jù)不足1%。此外，數(shù)據(jù)科學(xué)工作負(fù)載開發(fā)效率不高。許多剛涉足機(jī)器學(xué)習(xí)應(yīng)用的企業(yè)，對(duì)底層算力和基于硬件的優(yōu)化缺乏清晰的認(rèn)知，尚未意識(shí)到加速計(jì)算給企業(yè)開發(fā)效率帶來的價(jià)值。

企業(yè)采用加速方案后的效果

要在應(yīng)用機(jī)器學(xué)習(xí)時(shí)繞開這些瓶頸，選擇合適的數(shù)據(jù)科學(xué)平臺(tái)則至為關(guān)鍵。

數(shù)據(jù)科學(xué)平臺(tái)選型：門檻低，速度快

DC在白皮書中，就平臺(tái)選擇的考量因素給出許多具體可行的建議。

例如使用機(jī)器學(xué)習(xí)平臺(tái)開發(fā)模型時(shí)，應(yīng)與企業(yè)實(shí)際業(yè)務(wù)需求充分匹配。

IDC發(fā)現(xiàn)，大部分企業(yè)已采用加速方案，其中采用GPU加速的居多，占比達(dá)50%。

企業(yè)采用機(jī)器學(xué)習(xí)平臺(tái)時(shí)使用到的加速方案情況

其中，NVIDIA在2018年10月推出RAPIDS開源GPU加速平臺(tái)正得到越來越多企業(yè)的應(yīng)用。

NVIDIA RAPIDS平臺(tái)致力于加速大規(guī)模數(shù)據(jù)分析和機(jī)器學(xué)習(xí)工作負(fù)載，該平臺(tái)建立在NVIDIA CUDA-X AI平臺(tái)之上，提供了一系列面向機(jī)器學(xué)習(xí)、深度學(xué)習(xí)和高性能計(jì)算的專用GPU加速庫(kù)，這些庫(kù)與NVIDIA Tensor Core GPU無縫地配合工作，可加速?gòu)臄?shù)據(jù)準(zhǔn)備、模型訓(xùn)練到預(yù)測(cè)的整個(gè)端到端流程，大大提升AI任務(wù)執(zhí)行效率和模型精度，同時(shí)降低基礎(chǔ)架構(gòu)TCO。

當(dāng)前百度、阿里云、IBM、Oracle、Kinetica、H2O、SAP、SAS、Databricks等公司都已采用NVIDIA RAPIDS平臺(tái)加速數(shù)據(jù)科學(xué)研究。

應(yīng)用無處不在，精度效率雙提升

從應(yīng)用角度來看，在國(guó)內(nèi)金融、零售、云計(jì)算等多個(gè)行業(yè)場(chǎng)景中，RAPIDS均已展現(xiàn)出色的加速能力。

1、案例一：提升端到端量化投資預(yù)測(cè)效果

在金融領(lǐng)域，如何提升開發(fā)效率是量化投資工具面臨的主要挑戰(zhàn)。

寬邦科技打造的AI量化投資平臺(tái)BigQuant旨在讓金融業(yè)務(wù)人員都能零門檻地使用AI提升投資效率和效果，每月為金融機(jī)構(gòu)和10萬C端用戶提供數(shù)百萬次機(jī)器學(xué)習(xí)模型訓(xùn)練。

采用NVIDIA RAPIDS平臺(tái)后，其GBDT模型在特征工程提取環(huán)節(jié)速度提升100倍，聚類算法速度提升200倍，同時(shí)系統(tǒng)預(yù)測(cè)準(zhǔn)確度也得以提升。

2、案例二：顯著提升理賠審核能力

銀行做信用評(píng)分時(shí)，通常用XGBoost在Spark上進(jìn)行運(yùn)算，完成一次端到端模型迭代一般需要幾天，新的用戶行為特征也不能實(shí)時(shí)更新到模型訓(xùn)練中，會(huì)影響后期的精度。

平安科技引入NVIDIA RAPIDS在NVIDIA DGX-2超級(jí)計(jì)算機(jī)上進(jìn)行模型運(yùn)算，將模型運(yùn)算速度提升40倍，模型訓(xùn)練時(shí)間從周壓縮到分鐘，不僅大大節(jié)省人力成本。

平安科技副總工程師、聯(lián)邦學(xué)習(xí)技術(shù)部總經(jīng)理王健宗表示，RAPIDS平臺(tái)“不僅大大提升了效率，對(duì)于精度的提升也指日可待”。

3、案例三：大幅提速數(shù)據(jù)準(zhǔn)備

云計(jì)算廠商也在借助RAPIDS平臺(tái)提升任務(wù)執(zhí)行效率，國(guó)內(nèi)首家提供RAPIDS加速庫(kù)服務(wù)的公有云廠商是阿里云。

機(jī)器學(xué)習(xí)算法往往產(chǎn)生大量數(shù)據(jù)傳輸，至今仍難以實(shí)現(xiàn)并行化。隨著服務(wù)器系統(tǒng)引入GPU加速的機(jī)器學(xué)習(xí)算法以及NVIDIA NVLink、NVSwitch等技術(shù)，模型訓(xùn)練現(xiàn)可輕松分布在多個(gè)GPU和多個(gè)節(jié)點(diǎn)間，幾乎不會(huì)產(chǎn)生延遲。

實(shí)例上，使用GPU加速的XGBoost訓(xùn)練任務(wù)可提速20倍以上。

結(jié)語(yǔ)：加速數(shù)據(jù)分析正滲透到更多行業(yè)

數(shù)據(jù)科學(xué)應(yīng)用的程度正拉大企業(yè)間的競(jìng)爭(zhēng)差距和收益差距，數(shù)字化程度好的銀行、航空公司、酒店等機(jī)構(gòu)，收入及稅前利潤(rùn)明顯高于數(shù)字化落后的同類機(jī)構(gòu)。

企業(yè)如果不想在智能化趨勢(shì)中落后于人，不僅希望有更易上手的數(shù)據(jù)科學(xué)平臺(tái)，而且需要采用更好的加速方案來縮短開發(fā)周期。

IDC預(yù)計(jì)到2021年，90%的新智能系統(tǒng)將嵌入以決策為中心的加速計(jì)算架構(gòu)，能自動(dòng)檢測(cè)和評(píng)估當(dāng)前形勢(shì)并作出應(yīng)對(duì)決策。這將幫助更多企業(yè)優(yōu)化生產(chǎn)效率，更為游刃有余地去適應(yīng)客戶需求以及競(jìng)爭(zhēng)環(huán)境的快速變化。