【導讀】最近，香港科技大學、上海AI Lab等多個組織聯(lián)合發(fā)布了一篇時間序列無監(jiān)督預訓練的文章，相比原來的TS2Vec等時間序列表示學習工作，核心在于提出了將空間信息融入到預訓練階段，即在預訓練階段考慮各個序列之間的關(guān)系。因此，本文提出的方法更適合作為時空預測領(lǐng)域的預訓練模型。下面為大家詳細介紹一下這篇文章。

摘要

相關(guān)時間序列分析在許多現(xiàn)實行業(yè)中扮演著重要的角色。為進一步的下游任務(wù)學習這個大規(guī)模數(shù)據(jù)的有效表示是必要的，但也具有挑戰(zhàn)性。在本文中，我們提出了一個通過時空引導表示預測的單個實例的時間步長級表示學習框架。我們評估了我們的表示學習框架在相關(guān)時間序列預測和將預測模型轉(zhuǎn)移到有限數(shù)據(jù)的新實例。在學習到的表示之上訓練的線性回歸模型表明，我們的模型在大多數(shù)情況下表現(xiàn)最好。特別是與表示學習模型相比，我們在PeMS-BAY數(shù)據(jù)集上將RMSE、MAE和MAPE分別減少了37%、49%和48%。此外，在真實世界的地鐵客流數(shù)據(jù)中，我們的框架展示了傳輸以推斷新的冷啟動實例的未來信息的能力，收益分別為15%、19%和18%。

1 背景

近年來，許多關(guān)于時間序列自監(jiān)督學習方法的研究仍存在幾個顯著的缺點：

最近的研究[13, 14]只學實例級表示，不適合點級任務(wù)，如預測和異常檢測。盡管它們在許多時間序列下游任務(wù)（如分類和聚類）上成功。

當前研究忽視不同實例間的相關(guān)性，學習相關(guān)時間序列的集成表示，難以轉(zhuǎn)移到現(xiàn)實世界的下游任務(wù)，例如子實例預測。

所有基于對比的方法（如TS2Vec）都對數(shù)據(jù)分布或?qū)嵗嚓P(guān)性做出假設(shè)，可能失去多樣性，并可能出現(xiàn)假陰性樣本。

(a)空間相關(guān)性：一個車站的客流通常受到其圖形鄰居的影響。

(b)每周周期模式的時間相關(guān)性與缺失數(shù)據(jù)問題

圖1：相關(guān)時間序列的時空相關(guān)性的一個例子：[1]、[2]地鐵站的乘客流入。(a)空間相關(guān)性：相鄰車站的客流通常都很相似。(b)時間相關(guān)性：一個車站的客流通常具有歷史時期的模式。此外，還觀察到缺失的數(shù)據(jù)。

為了解決這些挑戰(zhàn)，我們提出了一個通過時空引導的相關(guān)時間序列表示學習框架。本文的主要貢獻總結(jié)如下：

我們構(gòu)建了一個學習框架，用于學習任意實例在任何時間步長內(nèi)的點級表示。這具有靈活性，所學習到的表示法可以被微調(diào)用于1) 相關(guān)的時間序列預測，以及2) 用于新實例的轉(zhuǎn)移任務(wù)，而無需重新訓練預測模型。為了捕捉空間和時間上的相關(guān)性，我們在自監(jiān)督學習框架中利用了來自預定義相鄰矩陣的歷史數(shù)據(jù)和相鄰信息。

為了避免在時間序列數(shù)據(jù)的對比學習范式中經(jīng)常出現(xiàn)的假陰性，我們在模型中加入了一個沒有負樣本的自監(jiān)督學習框架。我們定義了空間和時間目標，并使用蒙版視圖來預測目標的表示，以學習相關(guān)性。

我們根據(jù)實際數(shù)據(jù)不同下游任務(wù)的結(jié)果和分析，展示了表示學習框架的有效性和靈活性。我們對預測任務(wù)的評估顯示了具有可比性能的端到端解決方案，但我們的方法更靈活，可以轉(zhuǎn)移到進入數(shù)據(jù)集的新實例，而無需重新訓練模型。

2 相關(guān)工作

2.1預文本任務(wù)時間序列學習

通過設(shè)計各種預文本任務(wù)來提取有用的信息，以幫助模型在下游任務(wù)中表現(xiàn)良好。這些預文本任務(wù)包括遮蓋序列的重構(gòu)、相對定位、時間洗牌和對比預測編碼任務(wù)等。這些任務(wù)的目的是學習時間序列的有效表示，以便在下游任務(wù)中獲得更好的性能。此外，還有其他的預文本任務(wù)，如引導空間時間表示預測等。

2.2基于對比的時間序列學習

基于對比的時間序列學習是一種時間序列表示學習的方法，其中大多數(shù)方法都采用對比學習框架。這些方法通過構(gòu)建正負樣本對來進行自監(jiān)督學習，其中對比損失試圖最大化正樣本對之間的相似性，同時最小化負樣本對之間的相似性。先前的研究提出了許多方法來選擇正負樣本對，以提高所學習表示的質(zhì)量。這些方法包括使用三元組損失隨機選擇時間段、使用對比預測編碼(CPC)等。這些方法的目的是學習時間序列的有效表示，以便在下游任務(wù)中獲得更好的性能。

3 方法

這邊主要介紹提出的模型框架。該模型的編碼器由三個組件組成：輸入投影層、擴張卷積神經(jīng)網(wǎng)絡(luò)模塊和MLP預測器。對于每個輸入w，輸入投影層是一個全連接層，將時間戳t的觀測值xi,t映射到高維潛在向量z。然后，應(yīng)用具有十個殘差塊的擴張卷積神經(jīng)網(wǎng)絡(luò)模塊來提取每個時間戳的上下文表示。每個擴張卷積塊包含兩個1-D卷積層，具有擴張參數(shù)（對于第l個塊為2的l次方）。擴張卷積使不同領(lǐng)域具有大的感受野。在BYOL的思想下，通過預測視圖的不同目標而不是對比來學習表示。在視圖和目標通過全連接層f映射到高維潛在向量之后，使用兩個擴張卷積神經(jīng)網(wǎng)絡(luò)預測器來預測從遮蓋視圖嵌入的潛在向量中的時空表示。

圖2：提出的一種相關(guān)時間序列的表示學習框架：主干由一個投影到高維空間的線性層，兩個具有不同參數(shù)的擴張卷積編碼器和一個用于根據(jù)蒙版視圖嵌入的潛在向量來預測時空表示的預測器組成。

4實驗結(jié)果

4.1相關(guān)的時間序列預測

下圖為本文提出的表示學習方法在時空預測數(shù)據(jù)集上的預測效果，可以看到相比TS2Vec，我們的方法有比較明顯的效果提升。這足以說明我們提出的引入空間信息的對比學習，對于時空預測類型的問題效果更好。

表1：所提方法和基線MAE、MAPE和RMSE（最好的加粗表示，下同）

我們在PEMS-BAY數(shù)據(jù)集上的性能優(yōu)于基于時空圖的神經(jīng)網(wǎng)絡(luò)對PEMS-BAY數(shù)據(jù)集的短期預測。我們可以看到，與TS2Vec相比，我們的模型有更好的預測趨勢。

圖3.我們的模型和TS2Vec的一個典型預測切片可視化。

4.2 冷啟動——將模型轉(zhuǎn)移到數(shù)據(jù)有限的新實例

如圖4所示，由于新的地鐵站的建設(shè)，地鐵網(wǎng)絡(luò)圖結(jié)構(gòu)會發(fā)生變化，同時這些新的地鐵站通常只有很少的歷史數(shù)據(jù)可用，因此預測它們的未來客流量會變得更加困難，這就是時間序列預測的"cold-start"問題。我們提出的方法在大多數(shù)情況下都取得了最好的預測性能（表2）。

圖4新建地鐵站數(shù)據(jù)有限，也改變地鐵網(wǎng)絡(luò)圖（綠色突出顯示） 表2：新車站的城市地鐵：擬建方法的MAE、MAPE、RMSE及基線。

4.3 消融研究

為了驗證我們的模型中時間和空間成分的有效性，我們比較了在METRLA數(shù)據(jù)集上不同超參數(shù)α值的模型性能。我們將α的值從0→1，時間間隔為0.25，其中α = 1意味著我們只使用歷史信息，而α = 0意味著我們只考慮空間依賴性。

表3：METR-LA對α不同值的消融結(jié)果

表3顯示，當α=為0.5時，我們的模型在短期預測中表現(xiàn)最好。當時間目標的貢獻大于空間目標時，或當α=值為0.75時，該模型的長期預測效果更好。

4.4 對丟失的數(shù)據(jù)具有魯棒性

我們以METR-LA數(shù)據(jù)集為例，以三個缺失率、20%、40%和60%的隨機缺失數(shù)據(jù)來評估預測性能。圖5顯示，在缺失率小于60%的情況下，我們的空間和時間目標都是非常穩(wěn)健的。請注意，對于較小的α，如α = 0.25，預測性能比α = 0.75穩(wěn)定。這表明空間目標的設(shè)計可以提高表示學習框架的魯棒性。

圖5：METR-LA數(shù)據(jù)集對不同缺失數(shù)據(jù)率和α的MAE