蘇耘

（內(nèi)蒙古工業(yè)大學信息工程學院 內(nèi)蒙古自治區(qū)呼和浩特市 010021）

1 引言

時間序列數(shù)據(jù)廣泛存在于各類任務中，例如電子健康記錄、人類動作識別、聲學場景分類以及網(wǎng)絡安全等，時間序列分類（TSC）是數(shù)據(jù)挖掘中最具挑戰(zhàn)性的問題之一。

為了對時間序列數(shù)據(jù)進行準確分類，已經(jīng)提出了數(shù)百種TSC算法。最流行和傳統(tǒng)的TSC方法之一是使用最近鄰（NN）分類器和距離函數(shù)進行分類，特別是與神經(jīng)網(wǎng)絡分類器一起使用的動態(tài)時間扭曲（DTW）距離取得了較好的效果。Lines等證明對具有不同的距離度量的神經(jīng)網(wǎng)絡分類器進行融合，其的性能優(yōu)于所有的單個組件。這一思想推動了名為COTE的分類器集合的開發(fā)，COTE里包括35個獨立的分類器。Lines等過利用具有概率投票的新分級結(jié)構(gòu)，對COTE進行了進一步拓展，新集合稱之為HIVE-COTE，其獨立分類器個數(shù)達到了37個。HIVE-COTE目前被認為是時間序列分類的最先進算法，但HIVE-COTE運算時間長，計算復雜，很難在真實場景的大型數(shù)據(jù)集上使用，同時其37個分類器的決策也難以被領域?qū)＜依斫夂徒忉尅?/p>

深度神經(jīng)網(wǎng)絡在計算機視覺和自然語言處理、語音識別等領域取得了巨大成功，在一些任務中已經(jīng)達到甚至超越人類的水平。自然語言處理和語音識別任務的數(shù)據(jù)都具有時序性，而這也是時間序列數(shù)據(jù)的主要特征之一，這種相似性激發(fā)了人們將深度學習應用于時間序列的研究熱情。

2 時間序列分類的定義

在介紹不同類型的深度學習網(wǎng)絡結(jié)構(gòu)之前，我們先對TSC進行一些形式化定義。

數(shù) 據(jù) 集D={(X,Y),(X,Y),…,(X,Y)}是 對（X，Y）的集合，其中X可以是一個單變量或多變量時間序列，Y作為其對應的獨熱標簽向量。對于包含K個類的數(shù)據(jù)集，一個獨熱標簽向量Y是長度為K的向量，其中每個元素j∈[1, K]，如果X的類別是j，則等于1，否則等于0。TSC的任務就是在數(shù)據(jù)集D上訓練分類器，從輸入空間映射得到輸出標簽的概率分布。

3 深度學習神經(jīng)網(wǎng)絡

深度神經(jīng)網(wǎng)絡是由稱為層的L個參數(shù)函數(shù)組成，其中每一層都被視為輸入域的表示。神經(jīng)網(wǎng)絡層由若干個神經(jīng)元組成，神經(jīng)元是計算層輸出的一個元素的最小單位。神經(jīng)網(wǎng)絡層將其前一層的輸出作為輸入，并且應用非線性激活函數(shù)來計算其自身的輸出。這些非線性變換的行為由每層的一組參數(shù)控制，將前一層的輸入鏈接到當前層的輸出。在深度學習領域中，這些參數(shù)通常被稱為權(quán)重。

在訓練期間，需要向網(wǎng)絡提供足夠數(shù)量的已知輸入和輸出樣例。訓練開始前，首先對權(quán)重進行隨機初始化，而后進行正向傳遞的計算，得到輸出向量。輸出向量的維度同類別個數(shù)相同，向量中每一個元素是屬于對應類別的估計概率。最后使用損失函數(shù)計算模型的預測損失，并使用梯度下降法，在反向過程中更新權(quán)重以傳播誤差。因此，通過迭代地進行前向傳遞，然后進行反向傳播，以最小化訓練數(shù)據(jù)損失的方式更新模型參數(shù)。另一種行之有效并被廣泛使用的方法是遷移學習，即在相似的大型數(shù)據(jù)集上預先訓練模型，將模型參數(shù)遷移到目標任務的模型中，并在目標數(shù)據(jù)集上進行微調(diào)。

如圖1所示，在測試期間，概率分類器在未知標簽的數(shù)據(jù)上進行測試，這一階段也被稱為推理階段：在未知標簽的輸入數(shù)據(jù)上進行前向傳遞，然后進行類別預測，概率最大的類別判定為最終的預測類別。與非概率分類器相比，深度神經(jīng)網(wǎng)絡的優(yōu)勢之一就是網(wǎng)絡是做出基于概率的決策，因此可以評測模型給出的某個預測結(jié)果的置信度。

圖1：時間序列分類問題的深度學習統(tǒng)一框架

4 生成式模型和判別式模型

時間序列分類中的深度學習模型可以分為生成式和判別式兩個類別，如圖2所示。

圖2：基于深度學習的時間序列分類方法分類

生成式模型認為時間序列數(shù)據(jù)有其內(nèi)在的規(guī)律，首先通過無監(jiān)督學習的方式讓模型學習數(shù)據(jù)的潛在表示，可選擇的模型包括自回歸模型、馬爾可夫模型或核模型等。而后接一個分類器，如SVM或隨機森林，對輸入數(shù)據(jù)對類別進行預測。生成式模型的關鍵在于是否能夠較好的學習得到時間序列數(shù)據(jù)的內(nèi)在規(guī)律，這種類型的網(wǎng)絡在TSC社區(qū)中被稱為基于模型的分類器。

判別式深度學習模型則本身就是一種分類器，它直接使用時間序列的原始數(shù)據(jù)或加工后的特征做為輸入，輸出為標簽類別的概率分布。判別式模型通過對分類器結(jié)構(gòu)改進和訓練過程的優(yōu)化來提升分類效果。根據(jù)是否對原始時間序列進行特征加工，判別式模型可以分為兩類：

（1）具有手工特征的深度學習模型；

（2）端到端深度學習模型。

端到端的深度學習模型旨在結(jié)合特征學習過程，同時微調(diào)判別分類器。這種類型的深度學習方法是領域無關的，并且不包括任何特定于領域的預處理步驟。

5 深度學習模型

我們選擇具有代表性的模型和最新的模型，介紹如下。

5.1 多層感知器（MLP）

MLP是DNN的最傳統(tǒng)形式，由Wang等中提出，作為TSC的基線架構(gòu)。該網(wǎng)絡總共包含4層，其中每一層都完全連接到其前一層的輸出。最后一層是softmax分類器，它完全連接到前一層的輸出，包含的神經(jīng)元數(shù)量等于數(shù)據(jù)集中的類數(shù)量。所有三個隱藏的FC層都由500個神經(jīng)元組成，以ReLU作為激活函數(shù)。第一層、第二層、第三層和第四層的速率分別為0.1、0.2、0.1和0.3。MLP沒有任何一層的參數(shù)數(shù)量在不同長度的時間序列中是不變的，這意味著網(wǎng)絡具有一定可轉(zhuǎn)移性，網(wǎng)絡的參數(shù)數(shù)量直接取決于輸入時間序列的長度。

5.2 全卷積神經(jīng)網(wǎng)絡（FCN）

Wang等首次提出了全卷積神經(jīng)網(wǎng)絡（FCN），用于對單變量時間序列進行分類。該體系結(jié)構(gòu)的主要特征之一是用全局平均池（GAP）層代替?zhèn)鹘y(tǒng)的最終FC層，這一改變在減少參數(shù)數(shù)量的同時也獲得了更好的效果。該架構(gòu)首先由結(jié)構(gòu)相似的三個卷積塊組成，其中每個卷積塊均包含三個部分：卷積、批量歸一化，以及ReLU激活函數(shù)。第三卷積塊的結(jié)果在對應于GAP層的整個時間維度上平均。最后，GAP層的結(jié)果傳給softmax層產(chǎn)生預測標簽的類別概率輸出。所有卷積的步長均等于1，并以零做為填充，以保持卷積后時間序列的精確長度。第一次卷積包含128個濾波器，濾波器長度等于8，然后是256個濾波器的第二次卷積，濾波器長度為5，然后被饋送到第三個也是最后一個卷積層，該層由128個濾波器組成，每個濾波器的長度等于3。FCN既不包含任何池化，也不包含正則化操作。此外，F(xiàn)CNs的優(yōu)點之一是跨不同長度時間序列的4層的參數(shù)數(shù)量不變性。這種不變性允許使用轉(zhuǎn)移學習方法，可以在特定源數(shù)據(jù)集上訓練模型，然后在目標數(shù)據(jù)集上對其進行微調(diào)。

5.3 殘差網(wǎng)絡（ResNet）

Wang等提出的第三個也是最后一個架構(gòu)是相對較深的殘差網(wǎng)絡（ResNet）。對于TSC，這是最深的體系結(jié)構(gòu)，有11層，其中前9層是卷積的，然后是間隙層，用于在時間維度上對時間序列進行平均。RESNET的主要特征是連續(xù)卷積層之間的快捷剩余連接。實際上，與常規(guī)卷積（如FCN）的不同之處在于，添加了一條線性捷徑，將殘差塊的輸出與其輸入連接起來，從而使梯度直接通過這些連接流動，這通過減少消失梯度效應，使DNN的訓練更容易。該網(wǎng)絡由三個剩余塊組成，后接Gap層和最終的softmax分類器，其神經(jīng)元數(shù)量等于數(shù)據(jù)集中的類數(shù)。每個殘差塊首先由三個卷積組成，其輸出與殘差塊的輸入相加，然后饋送到下一層。所有卷積的濾波器數(shù)量固定為64，ReLU激活函數(shù)之前有一個批標準化操作。在每個殘差塊中，對于第一、第二和第三卷積，濾波器的長度分別設置為8、5和3。與FCN模型類似，ResNet體系結(jié)構(gòu)中的層在不同的數(shù)據(jù)集上具有不變數(shù)量的參數(shù)。這就是說，可以輕松地在源數(shù)據(jù)集上預訓練模型，然后在目標數(shù)據(jù)集上傳輸和微調(diào)模型，而無需修改網(wǎng)絡的隱藏層。

5.4 多尺度卷積神經(jīng)網(wǎng)絡（MCNN）

多尺度卷積神經(jīng)網(wǎng)絡（MCNN）最初由Cui等提出，是驗證UCR檔案上端到端深度學習架構(gòu)的最早方法。MCNN的架構(gòu)非常類似于傳統(tǒng)的CNN模型：兩個卷積，然后是FC層和最后的softmax層。另一方面，這種方法非常復雜，需要大量的數(shù)據(jù)預處理步驟。在任何訓練之前，子序列將經(jīng)歷三種轉(zhuǎn)換：

（1）身份映射；

（2）下采樣和；

（3）平滑。

因此，將一元輸入時間序列轉(zhuǎn)換為多元輸入時間序列。對于第一變換，輸入子序列保持不變，原始子序列將用作獨立第一卷積的輸入。下采樣技術將導致具有不同長度的較短子序列，該子序列隨后將經(jīng)歷與第一卷積并行的另一個獨立卷積。至于平滑技術，結(jié)果是長度等于輸入原始子序列的平滑子序列，該子序列也將被饋送到與第一和第二卷積并行的獨立卷積。第一卷積級中每個卷積的輸出被級聯(lián)以形成后續(xù)卷積層的輸入。在第二層之后，使用sigmoid激活函數(shù)部署了一個FC層，其中包含256個神經(jīng)元。最后，使用通常的softmax分類器，神經(jīng)元數(shù)量等于數(shù)據(jù)集中的類數(shù)量。兩個體系結(jié)構(gòu)超參數(shù)交叉驗證，使用網(wǎng)格搜索來自訓練集的一個看不見的分割：過濾器長度和確定最大池操作的池大小的池因子。該網(wǎng)絡中的總層數(shù)為4，其中只有前兩個卷積層是不變的。最后，由于WS方法也在測試時使用，輸入時間序列的類別由提取的子序列的預測標簽上的多數(shù)投票決定。

5.5 多通道卷積（MCDCNN）

Yi等提出了多通道深度卷積神經(jīng)網(wǎng)絡（MCDCNN），并在兩個多變量時間序列數(shù)據(jù)集上進行了驗證。所提出的架構(gòu)主要是傳統(tǒng)的深度CNN，對MTS數(shù)據(jù)進行了一次修改：卷積并行應用于輸入MTS的每個維度。輸入MTS每個維度將經(jīng)歷兩個卷積階段，具有8個長度為5的濾波器，ReLU作為激活函數(shù)。每個卷積之后是最大池化運算，長度為2。所有維度的第二個卷積級的輸出在通道軸上串聯(lián)，然后饋送到具有732個神經(jīng)元的FC層，以ReLU作為激活函數(shù)。最后，使用softmax分類器，神經(jīng)元數(shù)量等于數(shù)據(jù)集中的類數(shù)量。通過在softmax分類器之前使用FC層，該網(wǎng)絡的可傳輸性僅限于第一和第二卷積層。

5.6 時間扭曲不變回聲狀態(tài)網(wǎng)絡（TWIESN）

時間扭曲不變回聲狀態(tài)網(wǎng)絡采用非卷積遞歸架構(gòu)?；芈暰W(wǎng)絡最初是為時間序列預測而提出的，Tanisaro等將其修改后直接使用原始輸入時間序列并應用于分類問題。事實上，對于輸入時間序列中的每個元素，存儲空間用于將該元素投影到更高維空間。因此，對于單變量時間序列，元素被投影到一個空間中，該空間的尺寸由儲層的大小推斷。然后，針對每個元素，訓練嶺回歸分類器，以預測每個時間序列元素的類別。在測試時，對于輸入測試時間序列的每個元素，已訓練的嶺回歸分類器將輸出數(shù)據(jù)集中類的概率分布。然后在所有時間序列元素上對每個類的后驗概率進行平均，從而為每個輸入測試時間序列分配平均概率最大的標簽。

5.7 基于LSTM的集成模型（Integration model based on LSTM）

同傳統(tǒng)機器學習類似，針對深度學習的網(wǎng)絡進行集成也可以取得優(yōu)異的效果。Fazle 等人將長短期遞歸神經(jīng)網(wǎng)絡LSTM和FCN的輸出結(jié)果進行拼接，提出了LSTM-FCN模型，在大多數(shù)UCR基準數(shù)據(jù)集上取得了最佳結(jié)果。

在LSTM-FCN模型的基礎上，F(xiàn)azle等人進一步提出了多變量MLSTM-FCN和多變量注意力MALSTM-FCCN模型，將各單變量模型轉(zhuǎn)換為了多變量變量模型。新結(jié)構(gòu)將擠壓和激發(fā)塊擴展到一維序列模型的情況，并擴展LSTM-FCN和ALSTM-FCN模型的全卷積塊以提高分類精度。由于數(shù)據(jù)集現(xiàn)在由多變量時間序列組成，可以將時間序列數(shù)據(jù)集定義為形狀張量（N，Q，M），其中N是數(shù)據(jù)集中的樣本數(shù)，Q是所有變量中的最大時間步數(shù)，M是每個時間步處理的變量數(shù)。因此，單變量時間序列數(shù)據(jù)集是上述定義的特例，其中M為1。新模型對LSTM-FCN和ALSTM-FCN模型的輸入進行修改，以每個時間步接受M個輸入，而不是每個時間步接收單個輸入。與LSTM-FCN和ALSTM-FCN類似，拓展后的模型包括一個完全卷積塊和一個LSTM塊。全卷積塊包含三個時間卷積塊，用作特征提取器。卷積塊包含一個卷積層，具有多個濾波器（128、256和128），內(nèi)核大小分別為8、5和3。每個卷積層之后是批量歸一化，動量設置為0.99。批量歸一化層之后是ReLU激活函數(shù)。此外，前兩個卷積塊結(jié)束。通過擠壓和激勵塊，將多元時間序列模型模型與單變量時間序列模型LSTM-FCN和ALSTM-FCN區(qū)分開來。對于所有壓縮和激勵塊，將縮減比設置為16。最后的時間卷積塊后面是一個全局平均池層。

張可等提出將PCA和LSTM綜合應用于多時間序列分類，利用PCA提取索引維度特征，利用LSTM遺忘門學習時間維度特征，從而建立了基于PCA-LSTM的多元時間序列分類算法。該方法在獲得了高精度的實驗結(jié)果的同時，還降低了計算復雜度。

5.8 時間序列自監(jiān)督變換器(STraTS)

時間序列自監(jiān)督變換器（STraTS）是針對醫(yī)療數(shù)據(jù)提出的。在重癥監(jiān)護環(huán)境中，很多人體觀測指標都是以多變量時間序列的形式存在，這些數(shù)據(jù)往往帶有信息缺失和時間間隔不規(guī)則的問題，給使用帶來困難。傳統(tǒng)的應對方法是聚類法或插值法，雖然會緩解問題，但會引入噪聲，干擾對細粒度有效信息的使用。STraTS從模型角度提出了解決稀疏和非規(guī)則間隔問題的思路。

與大多數(shù)以時間序列矩陣為輸入的現(xiàn)有方法不同，STraTS將其輸入定義為一組觀測三元組。使用初始三元組嵌入模塊嵌入輸入中的每個觀察三元組。然后，初始三元組嵌入通過上下文三元組嵌入式模塊，該模塊利用Transformer架構(gòu)對每個三元組的上下文進行編碼。然后，融合自關注模塊通過自關注機制組合這些上下文嵌入，以生成輸入時間序列的嵌入，并通過前饋網(wǎng)絡進行最終預測。它采用了一種新的連續(xù)值嵌入技術來編碼連續(xù)時間和可變值，而不需要離散化。它由具有多個頭部注意層的變壓器組件組成，使其能夠?qū)W習上下文三元組嵌入，同時避免遞歸架構(gòu)中出現(xiàn)的遞歸和消失梯度問題。此外，為了解決標記數(shù)據(jù)可用性有限的問題，STraTS通過利用未標記數(shù)據(jù)進行自我監(jiān)控，通過使用時間序列預測作為輔助代理任務來學習更好的表示。在真實世界多變量臨床時間序列基準數(shù)據(jù)集上的實驗表明，在標記數(shù)據(jù)有限的情況下，STraTS在死亡率預測方面取得了最優(yōu)的預測性能。

5.9 基于Transformer的雙塔式模型（Gated Transformer Networks）

Liu等將Transformer模型引入時間序列分類，并構(gòu)建了雙塔結(jié)構(gòu)對時間特征和通道特征分別進行編碼，該模型可以對模型學習的特征可視化，具有一定的可解釋性。多變量時間序列具有多個通道，其中每個通道是單變量時間序列。捕捉時間分步和空間通道信息是多變量時間序列研究的關鍵。與其他利用原始Transformer進行時間序列分類和預測的工作不同，GTN設計了雙塔框架的簡單擴展，其中每個塔中的編碼器通過注意和掩蔽、分步編碼器顯式捕獲分步和信道相關。為了對時間特征進行編碼，GTN通過計算所有時間步長中的成對注意力權(quán)重，使用帶掩碼的自注意力來關注穿過所有通道的每個點。在多頭自注意力中，縮放點積注意在所有時間步長上形成權(quán)重矩陣。同其他原始Transformer架構(gòu)一樣，位置方向全連接前饋層堆疊在每個多頭注意力層上，用于增強特征提取。圍繞兩個子層中的每一個子層的剩余連接也被保持以引導信息和梯度流，隨后是層歸一化。逐通道編碼器同時間特征編碼保持一致，也計算所有不同通道之間的注意力權(quán)重。在所有通道上進行掩蔽的注意力層可以在所有時間步長上顯式捕捉通道之間的相關性。

6 結(jié)論

在本文中，我們描述了時間序列分類任務，解釋了DNN如何被分為兩大類：生成模型和區(qū)分模型，并介紹以MLP、CNN、RNN、Transformer為基礎的一系列深度學習方法。與計算機視覺和自然語言處理任務不同，時間序列分類的深度學習仍然缺乏對數(shù)據(jù)增強和轉(zhuǎn)移學習的深入研究。同時多數(shù)研究仍集中在單變量時間序列的研究，多變量時間序列研究仍相對較少。