FourCastNet 3（FCN3）是 NVIDIA Earth-2 中最新的 AI 全球天氣預(yù)報(bào)系統(tǒng)。FCN3 首次完美地結(jié)合了概率預(yù)測(cè)能力、計(jì)算效率、頻譜保真度、集合校準(zhǔn)和次季節(jié)時(shí)間尺度上的穩(wěn)定性。其中期預(yù)報(bào)精度與 GenCast 等領(lǐng)先的機(jī)器學(xué)習(xí)模型相當(dāng)，超過(guò)了歐洲中期天氣預(yù)報(bào)中心集合預(yù)報(bào)系統(tǒng)（IFS-ENS）等傳統(tǒng)數(shù)值天氣預(yù)報(bào)系統(tǒng)。

在單個(gè) NVIDIA Hopper Tensor Core GPU 上，以 0.25° 空間分辨率和 6 小時(shí)時(shí)間分辨率運(yùn)行一次 60 天的 FCN3 預(yù)測(cè)僅需不到 4 分鐘，速度比 GenCast 快 8 倍，比 IFS-ENS 快 60 倍。

該系統(tǒng)還具有出色的校準(zhǔn)能力和頻譜保真度，即使在 60 天的延長(zhǎng)預(yù)測(cè)期內(nèi)，集合成員仍能保持真實(shí)的頻譜特性。FCN3 標(biāo)志著大型集合數(shù)據(jù)驅(qū)動(dòng)天氣預(yù)報(bào)實(shí)現(xiàn)了從中期到次季節(jié)尺度的重大飛躍。

FCN3 架構(gòu)

FourCastNet 3 采用完全卷積的球面神經(jīng)算子架構(gòu)，基于球面信號(hào)處理基元。與基于球面傅里葉神經(jīng)算子的 FourCastNet 2 不同，F(xiàn)CN3 同時(shí)使用局部球面卷積和譜卷積。

這些卷積通過(guò) Morlet 小波進(jìn)行參數(shù)化，并在離散-連續(xù)群卷積框架中構(gòu)建。該方法可生成各向異性的局部濾波器，能精確捕捉局部大氣現(xiàn)象，同時(shí)通過(guò) NVIDIA CUDA 中的自定義實(shí)現(xiàn)保證計(jì)算效率。

FCN3 通過(guò)一個(gè)潛在噪聲變量在每個(gè)預(yù)測(cè)步驟引入隨機(jī)性，該變量的演化由球面上的擴(kuò)散過(guò)程控制。這種隱馬爾可夫模型的設(shè)計(jì)能夠高效地一步生成集合成員，相比基于擴(kuò)散模型的方法，這是一大關(guān)鍵優(yōu)勢(shì)。FCN3 作為一個(gè)集合進(jìn)行聯(lián)合訓(xùn)練，最小化一個(gè)復(fù)合損失函數(shù)，該函數(shù)結(jié)合了空間和譜域中的連續(xù)分級(jí)概率評(píng)分（CRPS）。這種方法確保了 FCN3 能夠?qū)W習(xí)底層隨機(jī)大氣過(guò)程中正確的空間相關(guān)性。

擴(kuò)展機(jī)器學(xué)習(xí)模型對(duì)于獲得有競(jìng)爭(zhēng)力的預(yù)測(cè)能力通常至關(guān)重要，但擴(kuò)展的效應(yīng)在數(shù)據(jù)驅(qū)動(dòng)的天氣模型中尚未得到充分研究。FCN3 在計(jì)算規(guī)模上樹(shù)立了新標(biāo)桿，借鑒傳統(tǒng)數(shù)值天氣建模中的區(qū)域分解，我們引入了一種新穎的模型并行范式。

該方法通過(guò)將模型拆分到多個(gè)設(shè)備上，不僅能在訓(xùn)練期間將更大的模型裝入顯存，還降低了每個(gè)設(shè)備的磁盤(pán) I/O。為此，卷積等空間操作使用 NVIDIA 集合通信庫(kù)（NCCL）以分布式方式實(shí)現(xiàn)。利用該技術(shù)，F(xiàn)CN3 在多達(dá) 1024 個(gè) GPU 上進(jìn)行了訓(xùn)練，同時(shí)采用區(qū)域、批次和集合并行。

FourCastNet 3 的預(yù)測(cè)能力超越最好的基于物理的集合模型 IFS-ENS，并與 Gencast 相當(dāng)。在單個(gè) NVIDIA Hopper Tensor GPU 上，F(xiàn)CN3 在一分鐘內(nèi)即可生成時(shí)間分辨率為 6 小時(shí)、空間分辨率為 0.25° 的 15 天預(yù)測(cè)，速度比 Gencast 快 8 倍，比 IFS-ENS 快 60 倍。

FourCastNet 3 的概率集合展示的離散度-技巧比始終接近 1，這表明預(yù)測(cè)校準(zhǔn)良好，預(yù)測(cè)的不確定性與觀測(cè)到的大氣變率高度吻合。排序直方圖和其他診斷結(jié)果證實(shí)，集合成員可與真實(shí)觀測(cè)互換，證實(shí)了 FCN3 預(yù)測(cè)的可靠性和可信度。

最關(guān)鍵的是，F(xiàn)CN3 保留了所有尺度的大氣頻譜特征，即使在長(zhǎng)達(dá) 60 天的延長(zhǎng)預(yù)測(cè)期內(nèi)，也能精確再現(xiàn)能量級(jí)聯(lián)和真實(shí)天氣模式的清晰度。與許多隨時(shí)間推移會(huì)模糊高頻特征或退化為噪聲偽影的機(jī)器學(xué)習(xí)模型不同，F(xiàn)CN3 保持了穩(wěn)定、物理真實(shí)的頻譜，能夠在次季節(jié)范圍內(nèi)提供準(zhǔn)確、清晰且物理一致的預(yù)測(cè)。

展示了這一點(diǎn)，該圖描繪了 FCN3 對(duì) 2020 年 2 月 11 日開(kāi)始的 500 hPa 暴風(fēng)強(qiáng)度的預(yù)測(cè)，此時(shí)正值風(fēng)暴丹尼斯（Storm Dennis）登陸歐洲前夕。FCN3 準(zhǔn)確地捕捉了暴風(fēng)強(qiáng)度的量級(jí)及其在不同長(zhǎng)度尺度上的變率，體現(xiàn)在相應(yīng)預(yù)測(cè)的角功率譜密度與真實(shí)值高度一致。這一優(yōu)勢(shì)在 30 天（720 小時(shí)）或更長(zhǎng)時(shí)間的推演中依然保持。

FourCastNet 3 對(duì) 2020 年 2 月 11 日 0000 UTC 開(kāi)始的丹尼斯風(fēng)暴的預(yù)測(cè)。該圖展示了 850 hPa 氣壓層的風(fēng)速和 500 hPa 位勢(shì)高度的等高線(xiàn)。

開(kāi)始使用 FourCastNet 3

完全訓(xùn)練好的 FourCastNet 3 檢查點(diǎn)可在 NVIDIA NGC 上獲取。

使用 Earth2Studio 運(yùn)行 FCN3 推理非常簡(jiǎn)便。

為使 FCN3 達(dá)到最佳性能，建議安裝啟用了自定義 CUDA 擴(kuò)展的 torch-harmonics，并在推理期間使用 bf16 格式的自動(dòng)混合精度（這是 Earth2Studio 中的默認(rèn)設(shè)置）。如果想運(yùn)行自定義的 FCN3 推理或自行訓(xùn)練，可以在 makani 中找到相關(guān)代碼。

使用 Earth2Studio 腳本生成的 FourCastNet 3 96 小時(shí)預(yù)測(cè)時(shí)效結(jié)果。該運(yùn)行在 2024 年 9 月 24 日 0000UTC啟動(dòng)。上排分別展示了集合成員 2 的大氣可降水量（tcwv）場(chǎng)和 10 米緯向風(fēng)速（u10m）場(chǎng)。下排顯示了所有四個(gè)集合成員在這兩個(gè)場(chǎng)的標(biāo)準(zhǔn)差。