FourCastNet 3（FCN3）是 NVIDIA Earth-2 中最新的 AI 全球天氣預(yù)報系統(tǒng)。FCN3 首次完美地結(jié)合了概率預(yù)測能力、計算效率、頻譜保真度、集合校準和次季節(jié)時間尺度上的穩(wěn)定性。其中期預(yù)報精度與 GenCast 等領(lǐng)先的機器學(xué)習(xí)模型相當，超過了歐洲中期天氣預(yù)報中心集合預(yù)報系統(tǒng)（IFS-ENS）等傳統(tǒng)數(shù)值天氣預(yù)報系統(tǒng)。

在單個 NVIDIA Hopper Tensor Core GPU 上，以 0.25° 空間分辨率和 6 小時時間分辨率運行一次 60 天的 FCN3 預(yù)測僅需不到 4 分鐘，速度比 GenCast 快 8 倍，比 IFS-ENS 快 60 倍。

該系統(tǒng)還具有出色的校準能力和頻譜保真度，即使在 60 天的延長預(yù)測期內(nèi)，集合成員仍能保持真實的頻譜特性。FCN3 標志著大型集合數(shù)據(jù)驅(qū)動天氣預(yù)報實現(xiàn)了從中期到次季節(jié)尺度的重大飛躍。

FCN3 架構(gòu)

FourCastNet 3 采用完全卷積的球面神經(jīng)算子架構(gòu)，基于球面信號處理基元。與基于球面傅里葉神經(jīng)算子的 FourCastNet 2 不同，F(xiàn)CN3 同時使用局部球面卷積和譜卷積。

這些卷積通過 Morlet 小波進行參數(shù)化，并在離散-連續(xù)群卷積框架中構(gòu)建。該方法可生成各向異性的局部濾波器，能精確捕捉局部大氣現(xiàn)象，同時通過 NVIDIA CUDA 中的自定義實現(xiàn)保證計算效率。

FCN3 通過一個潛在噪聲變量在每個預(yù)測步驟引入隨機性，該變量的演化由球面上的擴散過程控制。這種隱馬爾可夫模型的設(shè)計能夠高效地一步生成集合成員，相比基于擴散模型的方法，這是一大關(guān)鍵優(yōu)勢。FCN3 作為一個集合進行聯(lián)合訓(xùn)練，最小化一個復(fù)合損失函數(shù)，該函數(shù)結(jié)合了空間和譜域中的連續(xù)分級概率評分（CRPS）。這種方法確保了 FCN3 能夠?qū)W習(xí)底層隨機大氣過程中正確的空間相關(guān)性。

擴展機器學(xué)習(xí)模型對于獲得有競爭力的預(yù)測能力通常至關(guān)重要，但擴展的效應(yīng)在數(shù)據(jù)驅(qū)動的天氣模型中尚未得到充分研究。FCN3 在計算規(guī)模上樹立了新標桿，借鑒傳統(tǒng)數(shù)值天氣建模中的區(qū)域分解，我們引入了一種新穎的模型并行范式。

該方法通過將模型拆分到多個設(shè)備上，不僅能在訓(xùn)練期間將更大的模型裝入顯存，還降低了每個設(shè)備的磁盤 I/O。為此，卷積等空間操作使用 NVIDIA 集合通信庫（NCCL）以分布式方式實現(xiàn)。利用該技術(shù)，F(xiàn)CN3 在多達 1024 個 GPU 上進行了訓(xùn)練，同時采用區(qū)域、批次和集合并行。

FourCastNet 3 的預(yù)測能力超越最好的基于物理的集合模型 IFS-ENS，并與 Gencast 相當。在單個 NVIDIA Hopper Tensor GPU 上，F(xiàn)CN3 在一分鐘內(nèi)即可生成時間分辨率為 6 小時、空間分辨率為 0.25° 的 15 天預(yù)測，速度比 Gencast 快 8 倍，比 IFS-ENS 快 60 倍。

FourCastNet 3 的概率集合展示的離散度-技巧比始終接近 1，這表明預(yù)測校準良好，預(yù)測的不確定性與觀測到的大氣變率高度吻合。排序直方圖和其他診斷結(jié)果證實，集合成員可與真實觀測互換，證實了 FCN3 預(yù)測的可靠性和可信度。

最關(guān)鍵的是，F(xiàn)CN3 保留了所有尺度的大氣頻譜特征，即使在長達 60 天的延長預(yù)測期內(nèi)，也能精確再現(xiàn)能量級聯(lián)和真實天氣模式的清晰度。與許多隨時間推移會模糊高頻特征或退化為噪聲偽影的機器學(xué)習(xí)模型不同，F(xiàn)CN3 保持了穩(wěn)定、物理真實的頻譜，能夠在次季節(jié)范圍內(nèi)提供準確、清晰且物理一致的預(yù)測。

展示了這一點，該圖描繪了 FCN3 對 2020 年 2 月 11 日開始的 500 hPa 暴風(fēng)強度的預(yù)測，此時正值風(fēng)暴丹尼斯（Storm Dennis）登陸歐洲前夕。FCN3 準確地捕捉了暴風(fēng)強度的量級及其在不同長度尺度上的變率，體現(xiàn)在相應(yīng)預(yù)測的角功率譜密度與真實值高度一致。這一優(yōu)勢在 30 天（720 小時）或更長時間的推演中依然保持。

FourCastNet 3 對 2020 年 2 月 11 日 0000 UTC 開始的丹尼斯風(fēng)暴的預(yù)測。該圖展示了 850 hPa 氣壓層的風(fēng)速和 500 hPa 位勢高度的等高線。

開始使用 FourCastNet 3

完全訓(xùn)練好的 FourCastNet 3 檢查點可在 NVIDIA NGC 上獲取。

使用 Earth2Studio 運行 FCN3 推理非常簡便。

為使 FCN3 達到最佳性能，建議安裝啟用了自定義 CUDA 擴展的 torch-harmonics，并在推理期間使用 bf16 格式的自動混合精度（這是 Earth2Studio 中的默認設(shè)置）。如果想運行自定義的 FCN3 推理或自行訓(xùn)練，可以在 makani 中找到相關(guān)代碼。

使用 Earth2Studio 腳本生成的 FourCastNet 3 96 小時預(yù)測時效結(jié)果。該運行在 2024 年 9 月 24 日 0000UTC啟動。上排分別展示了集合成員 2 的大氣可降水量（tcwv）場和 10 米緯向風(fēng)速（u10m）場。下排顯示了所有四個集合成員在這兩個場的標準差。