隨著數(shù)據(jù)密集型問題的增長(zhǎng)，學(xué)術(shù)研究人員對(duì)訪問諸如高性能計(jì)算（HPC）等強(qiáng)大算力系統(tǒng)的需求也在增多，然而，當(dāng)前HPC資源的供應(yīng)尚不能滿足日益增長(zhǎng)的需求。HPC有益于不同科學(xué)和工程領(lǐng)域的研究人員應(yīng)對(duì)重要科研挑戰(zhàn)，推動(dòng)了尖端人工智能（AI）應(yīng)用的發(fā)展。但是，有限的HPC資源及其不充分利用，阻礙了研究人員開發(fā)新產(chǎn)品和服務(wù)的能力。我國(guó)在超級(jí)計(jì)算機(jī)方面發(fā)展迅速，達(dá)到國(guó)際先進(jìn)水平，但同樣需要增益超算資源的利用，以支持更多的科研和創(chuàng)新活動(dòng)。2020年12月7日，美國(guó)智庫信息技術(shù)與創(chuàng)新基金會(huì)（ITIF）數(shù)據(jù)創(chuàng)新中心發(fā)布《如何增加超算資源的訪問》報(bào)告，就如何擴(kuò)大AI研究人員對(duì)HPC資源的使用提出具體建議。

01

美國(guó)國(guó)會(huì)應(yīng)在未來五年內(nèi)向美國(guó)國(guó)家科學(xué)基金會(huì)（NSF）和美國(guó)能源部（DOE）提供100億美元，以滿足HPC資源的供需平衡。

在HPC基礎(chǔ)設(shè)施方面，美國(guó)NSF從國(guó)會(huì)獲得的資助額度從2010年到2019年下降了約一半，即從3.52億美元下降到1.67億美元。2019年的資助金額尚不足以支撐1/3的美國(guó)NSF HPC資源訪問需求，如圖1所示。為滿足快速增長(zhǎng)的HPC資源訪問需求，在未來五年內(nèi)，美國(guó)國(guó)會(huì)應(yīng)將其對(duì)美國(guó)NSF HPC基礎(chǔ)設(shè)施的資助額度提高到至少5億美元/年。

美國(guó)DOE從美國(guó)國(guó)會(huì)獲得的資助額度從2010年到2019年增加了約90%，即從2010年2.76億美元增加到2019年5.23億美元。但是，2019年，美國(guó)DOE HPC資源訪問需求仍是供應(yīng)的3倍。因此，美國(guó)國(guó)會(huì)應(yīng)授權(quán)美國(guó)DOE將其對(duì)HPC基礎(chǔ)設(shè)施的資助額度提高到至少15億美元/年。

圖1 2019年美國(guó)NSF XSEDE所需和可用服務(wù)單元對(duì)比

02

美國(guó)NSF應(yīng)該支持代表大多數(shù)研究人員的潛在HPC長(zhǎng)尾用戶。

美國(guó)許多州擁有從事AI研究的頂級(jí)研究機(jī)構(gòu)，但缺乏本地HPC資源的獲取途徑來進(jìn)行AI研究。美國(guó)NSF應(yīng)加大資助這些州的“中程HPC系統(tǒng)”和“中心HPC系統(tǒng)”。此外還應(yīng)關(guān)注AI研究和HPC資源都相對(duì)貧乏的區(qū)域或機(jī)構(gòu)，合理分配資助經(jīng)費(fèi)。

圖2 HPC計(jì)算系統(tǒng)的四個(gè)類別

03

美國(guó)DOE和NSF應(yīng)該更有效地分配HPC計(jì)算時(shí)間。

為了更精確的為研究人員分配HPC資源，DOE和NSF首先要了解用戶的計(jì)算需求。目前提議的一些流程主要集中于給定項(xiàng)目所需的HPC系統(tǒng)計(jì)算峰值方面。但除此之外，美國(guó)DOE和NSF還需進(jìn)一步了解用戶所需其它HPC能力，包括互連帶寬、數(shù)據(jù)長(zhǎng)期存儲(chǔ)等。

04

美國(guó)DOE和NSF應(yīng)為研究者提供HPC方面的專家，以提高科研生產(chǎn)力。

HPC系統(tǒng)的使用需要專業(yè)技術(shù)人才，美國(guó)DOE和NSF應(yīng)該探索如何以更有效和可擴(kuò)展的方式提供HPC專業(yè)知識(shí)，以提高研究人員的生產(chǎn)力。例如，美國(guó)NSF應(yīng)該擴(kuò)展“極端科學(xué)與工程發(fā)現(xiàn)環(huán)境”（XSEDE）項(xiàng)目的良好實(shí)踐，允許研究人員在申請(qǐng)HPC資源使用的同時(shí)申請(qǐng)相應(yīng)時(shí)段的專業(yè)技術(shù)人員指導(dǎo)。這些HPC專業(yè)技術(shù)人員來自XSEDE項(xiàng)目的合作伙伴，他們將協(xié)助所分配的項(xiàng)目，以加快項(xiàng)目進(jìn)展、達(dá)成研究目標(biāo)。類似此類實(shí)踐，美國(guó)DOE應(yīng)為阿貢國(guó)家實(shí)驗(yàn)室和橡樹嶺國(guó)家實(shí)驗(yàn)室的HPC資源配備更多的HPC專業(yè)技術(shù)人員，以期同時(shí)提供給用戶、提升科研生產(chǎn)力。

圖3 2019年美國(guó)NSF XSEDE資源服務(wù)的研究領(lǐng)域分配情況

05

美國(guó)NSF應(yīng)資助兩年制學(xué)院開發(fā)HPC課程，促進(jìn)其與四年制大學(xué)的無縫銜接。

HPC專業(yè)人員的需求日益增長(zhǎng)，但達(dá)到技術(shù)準(zhǔn)入門檻的合格技術(shù)人員數(shù)量明顯不夠。部分原因是因?yàn)閮赡曛茖W(xué)院的大學(xué)預(yù)科和四年制大學(xué)之間的教學(xué)漏洞，阻礙了許多學(xué)生從事計(jì)算機(jī)科學(xué)。為了彌補(bǔ)這一缺口，美國(guó)NSF應(yīng)該資助兩年制學(xué)院和四年制大學(xué)聯(lián)合開發(fā)HPC課程，確保兩年制學(xué)院或社區(qū)大學(xué)的學(xué)生掌握計(jì)算機(jī)科學(xué)低年級(jí)課程，以便無縫地進(jìn)入高年級(jí)學(xué)習(xí)。

06

美國(guó)NSF應(yīng)為AI研究者提供多樣化的HPC資源組合。

云計(jì)算為遠(yuǎn)程訪問HPC資源提供了可行路徑，突破了訪問HPC資源的空間限制。美國(guó)國(guó)會(huì)應(yīng)批準(zhǔn)“國(guó)家AI研究資源任務(wù)工作組法案2020”關(guān)于NSF成立專項(xiàng)任務(wù)組為AI研究開發(fā)國(guó)家公共云計(jì)算資源的提議。目前，美國(guó)NSF只在一個(gè)私有云環(huán)境（Jetstream）上分配HPC資源。美國(guó)NSF應(yīng)擴(kuò)大HPC資源組合以提供更多的云服務(wù)，諸如投資更多的私有云、與多種公有云合作。

圖3截至2019年美國(guó)NSF HPC系統(tǒng)和服務(wù)情況

07

美國(guó)NSF應(yīng)制定并發(fā)布路線圖，以明確未來投資方向。

下一代計(jì)算設(shè)施長(zhǎng)期計(jì)劃可以確保研究人員訪問最先進(jìn)的計(jì)算系統(tǒng)，進(jìn)而確保他們具有比競(jìng)爭(zhēng)對(duì)手更高的生產(chǎn)力和更快的創(chuàng)新速度。同時(shí)，長(zhǎng)期計(jì)劃還將為科學(xué)軟件開發(fā)提供指導(dǎo)。美國(guó)DOE已經(jīng)有此類路線圖，美國(guó)NSF應(yīng)該加快步伐。美國(guó)NSF應(yīng)該每年收集用戶需求并發(fā)布路線圖，以便更好地確定HPC優(yōu)先事項(xiàng)和戰(zhàn)略決策。這項(xiàng)工作應(yīng)該由美國(guó)國(guó)家AI研究資源任務(wù)工作組牽頭。

08

美國(guó)NSF應(yīng)建立更多的公私合作伙伴關(guān)系。

為實(shí)現(xiàn)AI研究投資回報(bào)最大化，需要有效的機(jī)制促進(jìn)AI基礎(chǔ)研究轉(zhuǎn)化為市場(chǎng)產(chǎn)品和服務(wù)。目前，美國(guó)NSF已啟動(dòng)“創(chuàng)新伙伴關(guān)系計(jì)劃”，資助NSF項(xiàng)目與工業(yè)界合作研發(fā)，旨在加速新技術(shù)向市場(chǎng)的轉(zhuǎn)化。但是，目前該計(jì)劃每年僅可以資助50個(gè)項(xiàng)目，美國(guó)NSF應(yīng)該加大該計(jì)劃的資助力度，至少增加到每年150個(gè)項(xiàng)目。為實(shí)施國(guó)家AI研究所計(jì)劃，美國(guó)NSF已與埃森哲、亞馬遜、谷歌和英特爾建立了合作伙伴關(guān)系，共同解決全國(guó)性的AI問題。此外，美國(guó)NSF應(yīng)該支持區(qū)域能力發(fā)展，鼓勵(lì)大學(xué)、地方企業(yè)、州和地方政府之間的合作。

09

美國(guó)DOE和NSF應(yīng)采用新的工具和流程，以確保用戶更合理和更有效地利用HPC資源。

通過分析用戶對(duì)HPC系統(tǒng)使用情況來優(yōu)化資源管理，以實(shí)現(xiàn)最大的HPC投資回報(bào)。美國(guó)DOE和NSF應(yīng)要求所有獲得HPC資源資助的機(jī)構(gòu)采用審計(jì)工具，以了解它們使用HPC系統(tǒng)的最佳方式。此外，美國(guó)NSF還應(yīng)建立中心系統(tǒng)機(jī)構(gòu)定期審查機(jī)制和用戶業(yè)務(wù)跟進(jìn)機(jī)制，以及時(shí)獲得反饋，進(jìn)而更新HPC戰(zhàn)略。

原文標(biāo)題：【政策規(guī)劃?算】美國(guó)智庫就如何擴(kuò)大HPC資源的使用提出具體建議

文章出處：【微信公眾號(hào)：集成電路研發(fā)競(jìng)爭(zhēng)情報(bào)】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。

責(zé)任編輯：haq