這幾年，我們已經(jīng)試用過很多有趣的ARM小電腦了。

萬萬沒想到，我竟然還獲得了超算服務器的試用資格。

10月末的時候，我去了一趟西安，在工程熱物理會議上做了一個小小的報告。會議間隙里，“并行?”給我推薦了一下他們的超算服務器。

與一般的多節(jié)點高性能計算服務器不同的是，它們的服務器不需要把設備運到本地，而是可以在云端操作。這種云超算平臺的名字叫超算網(wǎng)格，是基于國家高性能計算環(huán)境與云計算技術，提供多家各大超算與數(shù)據(jù)中心的計算資源、優(yōu)化網(wǎng)絡、應用與工具、軟件與服務的一站式平臺，降低了高性能計算應用成本，用戶不管身居何處，都能對超算“觸手可及”。

超算云使用的是linux操作系統(tǒng)，這個與哈工大的計算服務器相同，但多了云端桌面，方便了遠程操作。下面是云端桌面的客戶端界面。

客戶端帶有網(wǎng)速測試功能。因為本地電腦只作為客戶端，并不參與計算，所以云端對本地的網(wǎng)速并沒有太高的要求，只要不影響正常操作就行。

用putty連接后，可以查看cpu和內存參數(shù)。當然，這里只能查看到其中一個節(jié)點的20個核。

實際使用中我們可以操作多個節(jié)點。比如8個節(jié)點，每個節(jié)點20核，就有160個核心可以用了。

服務器已經(jīng)預先裝上了常用的軟件和并行計算庫，其中GCC版本是4.8.5

申請賬號開通后，安裝上fluent軟件，就可以體驗云端超算了。

我們把算例文件上傳一下。文件稍大，是個6百萬網(wǎng)格的流場計算算例。

我們可以以多種方式向服務器提交計算工作

其中，srun命令屬于交互式提交作業(yè)，有屏幕輸出，但容易受網(wǎng)絡波動影響，斷網(wǎng)或關閉窗口會導致作業(yè)中斷。

我們用sbatch 提交腳本。這種方式不受本地網(wǎng)絡波動影響，提交作業(yè)后可以關閉本地電腦。由于sbatch命令沒有屏幕輸出，默認輸出日志為提交目錄下的 slurm-xxx.out文件，我們可以使用tail -f slurm-xxx.out 實時查看日志，其中 xxx 為作業(yè)號。

舉個例子，把一個名字叫fluent.sh的計算腳本提交，命令可以這樣寫：sbatch fluent.sh

在向服務器提交計算任務前，先查看一下計算節(jié)點的空閑情況。我們發(fā)現(xiàn)還有六十多個節(jié)點處于閑置狀態(tài)，妥妥地夠用啦。

我們先寫個fluent計算使用的jou文件，里面定義了算例文件名，和計算迭代次數(shù)。

這是個定常流動的計算算例，本身計算量就比非定常計算要小。

然后這里只做速度測試，所以只迭代10次。這種定常計算，正常一般都是1萬次以上迭代才能獲得一個收斂的結果。

然后我們寫一下計算腳本，分別使用不同的節(jié)點數(shù)量進行計算速度測試。

第一個腳本使用2個節(jié)點，共40個核心并行計算

第二個腳本使用4個節(jié)點，共80個核心并行計算

第三個腳本使用8個節(jié)點，共160個核心并行計算

接著，提交作業(yè)，然而發(fā)現(xiàn)了一個小問題。Unix的文本換行格式與windows不一樣。這個只要用dos2uninx命令轉一下就好了。

下面，正式提交第一個工作。

下圖中，我們可以發(fā)現(xiàn)，兩節(jié)點40個核心的計算速度還不錯的。大約每3秒完成一次迭代步（剛開始，剩余時間估計還沒穩(wěn)定，后來就穩(wěn)定了）。

這種多機并行的計算環(huán)境，CPU與內存之間的交互很快，然而機群節(jié)點間的網(wǎng)絡傳輸往往會形成瓶頸，即使是千兆網(wǎng)絡往往也會讓性能大打折扣。我們用ip命令會發(fā)現(xiàn)這種云超算使用了一種叫IB的網(wǎng)卡。

使用ethtool命令可以看到這個IB網(wǎng)卡的具體參數(shù)，速度達到了56Gb/s，已經(jīng)超過1萬兆啦。難怪并行速度那么快呢。

下一步，我們繼續(xù)提交第二個測試算例，使用4節(jié)點的80核并行計算。

下圖的計算結果可看出，4節(jié)點80核的計算條件下，每步迭代時間在1至2秒之間。

再提交第三個160核的計算任務吧。

這一步，發(fā)生了一些郁悶的事情。當申請的節(jié)點比較多時，需要排隊。

我們排了幾分鐘，還沒排上，等不及了，最后就取消這個任務了。

最后，我們模擬正常的計算情況，來一次1萬步的迭代計算。

其中計算資源使用4個節(jié)點，80核并行。

算了幾步以后，通過下面這個輸出文件，我們可以發(fā)現(xiàn)計算總耗時約在4小時左右，也就是說平均約1.4秒就能完成一個迭代步。

以上就是并行?超算云服務的試用體驗。

我覺得，這種服務器的性能是非常好的，內存大，CPU速度快，CPU核心數(shù)量多，甚至可以用50個節(jié)點進行一千核的并行計算（只是需要排隊）。當然，這些都不是最大的亮點了，最大的亮點是在云平臺。

我們不用擔心占地面積是否過大，不用擔心供電功率是否足夠，更不用擔心噪音擾民，只要通過云端操作就可以把需要巨大計算量的工作給搞定了。