對于數(shù)據(jù)分析的工具，想必大家都或多或少的有一定的了解，常見的像是numpy和pandas更是大家日常使用的數(shù)據(jù)分析工具。但是面對大數(shù)據(jù)的處理時(shí)，像是numpy和pandas的在加載數(shù)據(jù)時(shí)，會看到內(nèi)存用量的飆升，而dask卻可以將這些大的數(shù)據(jù)進(jìn)行并行計(jì)算。

今天小編就帶領(lǐng)大家學(xué)習(xí)一個(gè)并行的計(jì)算庫——dask。dask可以幫助我們并行化處理pandas的DataFrame和numpy的計(jì)算，甚至是并行化處理機(jī)器學(xué)習(xí)算法。

01.dask庫的使用介紹

dask庫可以很好的兼容pandas的DataFrame數(shù)據(jù)和numpy的array數(shù)據(jù)，此外，像是Sklearn、XGBoost等機(jī)器學(xué)習(xí)庫，dask也能夠支持。dask的官網(wǎng)（https://dask.org/）對于支持的庫有一個(gè)全面的展示。

dask庫的強(qiáng)大之處在于它擁有豐富的已有庫的兼容性，而且只需要改動很少的程序，就可以在自己的電腦上使用并行計(jì)算。

02.dask的安裝

對于dask庫的安裝，也非常的簡單，大家只需要在anaconda環(huán)境下運(yùn)行conda install dask即可安裝。

03.dask庫的使用介紹

1）.Numpy的array數(shù)據(jù)dask庫對于numpy的array數(shù)組操作也非常的簡潔。dask是將numpy的數(shù)組進(jìn)行切分，切分成許多的block進(jìn)行操作，對于小數(shù)據(jù)來說，可能優(yōu)勢不明顯，但是當(dāng)數(shù)據(jù)集達(dá)到幾十G后，就能顯示出dask的優(yōu)勢。

上圖是利用dask進(jìn)行array的操作，可以看到dask對于numpy數(shù)組的處理與numpy的操作并沒有很大的區(qū)別，如果對于numpy數(shù)組操作熟悉的話，那么上手dask的numpy數(shù)組也是非常簡單的。

2）.Pandas的DataFrame數(shù)據(jù)

對于DataFrame數(shù)據(jù)，dask的操作同樣與pandas非常的類似。需要注意的是，當(dāng)求分組的“x“列均值時(shí)，dask并沒有直接輸出結(jié)果，而是在運(yùn)行s的compute（）函數(shù)后，才得到結(jié)果，這是與pandas不同的一點(diǎn)。

04.dask的Delayed

對于dask庫，Delayed模塊是它進(jìn)行并行計(jì)算的核心，delayed 通過將需要計(jì)算的任務(wù)記錄在計(jì)算圖中，并在之后，將其并行運(yùn)行在硬件上得到結(jié)果。由于不能立即得到結(jié)果，所以該模塊被稱為delayed。對于delayed模塊的使用。

可以看到，通過delayed裝飾器來修飾函數(shù)，在下一個(gè)計(jì)算框圖中定義z的計(jì)算，然后通過visualize函數(shù)來查看z的計(jì)算圖，如上圖右側(cè)所示。同時(shí)可以看到z的計(jì)算圖只需要不到1ms的時(shí)間即可完成。而z值的計(jì)算，同樣采用z.compute（）進(jìn)行計(jì)算即可。

05.對于機(jī)器學(xué)習(xí)算法的支持

對于dask機(jī)器學(xué)習(xí)的應(yīng)用，可以安裝Dask-ML，Dask-ML是將Dask與流行的機(jī)器學(xué)習(xí)庫（例如sklearn，XGBoost等）進(jìn)行結(jié)合，提供的并行化機(jī)器學(xué)習(xí)處理庫。可以利用pip install dask-ml進(jìn)行安裝。

有興趣的小伙伴可以安裝試一下，用慣了Pandas ，也可以試試換個(gè)口味了！

編輯：jq