必讀最新進(jìn)展，時(shí)間序列因果推斷：問題、方法和模型

正文

Moraffah, R., Sheth, P., Karami, M. et al. Causal inference for time series analysis: problems, methods and evaluation. Knowl Inf Syst 63, 3041–3085 (2021).

Time series data are a collection of chronological observations which are generated by several domains such as medical and financial fields. Over the years, different tasks such as classification, forecasting and clustering have been proposed to analyze this type of data. Time series data have been also used to study the effect of interventions overtime. Moreover, in many fields of science, learning the causal structure of dynamic systems and time series data is considered an interesting task which plays an important role in scientific discoveries. Estimating the effect of an intervention and identifying the causal relations from the data can be performed via causal inference. Existing surveys on time series discuss traditional tasks such as classification and forecasting or explain the details of the approaches proposed to solve a specific task. In this paper, we focus on two causal inference tasks, i.e., treatment effect estimation and causal discovery for time series data and provide a comprehensive review of the approaches in each task. Furthermore, we curate a list of commonly used evaluation metrics and datasets for each task and provide an in-depth insight. These metrics and datasets can serve as benchmark for research in the field.

摘要

1 簡介

2 時(shí)間序列模型建模

2.1  自回歸模型

AR模型：X(t)與過去變量的回歸。

MA模型:X(t)與公式(1)殘差的回歸。

r階拆分：將非平穩(wěn)序列轉(zhuǎn)化為平穩(wěn)序列。

以上三個(gè)模型可以衍生出ARIMA模型、SES模型、DES模型、TES模型

2.2 動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)（DBN)

2.2.1 狀態(tài)空間模型

SSM代表狀態(tài)轉(zhuǎn)移公式，用于描述狀態(tài)轉(zhuǎn)移的概率，常用的形式是線性動(dòng)態(tài)系統(tǒng)（LDS），符合一階馬爾可夫假設(shè)。LDS的形式如下：

2.2.2 隱藏馬爾可夫模型（HMM)

2.3 高斯過程(Gaussian processes,GP)

2.3.1 深度學(xué)習(xí)和高斯過程(GP)

2.3.2 GP方法

2.4 神經(jīng)網(wǎng)絡(luò)

3 背景

定義4：實(shí)驗(yàn)組的平均干預(yù)效應(yīng)(Conditional Average Treatment Effect)

假設(shè)5：因果充分性假設(shè)，即沒有未被觀測到的混雜變量

假設(shè)6：因果馬爾可夫條件

4 因果關(guān)系和時(shí)間序列分析

4.1 時(shí)間序列上的因果處置效應(yīng)估計(jì)

4.1.1 固定處置效應(yīng)

DID的模型形式：

4.1.2 時(shí)變處置效應(yīng)

大多數(shù)研究方法認(rèn)為影響處置分配和潛在結(jié)果的變量都是已知的， 否則結(jié)果會(huì)有偏差。Bica I, Alaa AM, van der Schaar M (2019)構(gòu)建了因子模型，采用循環(huán)神經(jīng)網(wǎng)絡(luò)考慮了潛在變量，模型如圖3。

4.1.3 動(dòng)態(tài)處理機(jī)制

動(dòng)態(tài)處置模型是將處置變量和協(xié)變量的時(shí)間序列作為參數(shù)，并輸出要采取的行動(dòng)，目的是得到一系列關(guān)于如何隨時(shí)間變化的決策策略。圖 4 顯示了兩階段動(dòng)態(tài)處置方案，其中 X 和 A 分別表示分類協(xié)變量和代表處置動(dòng)作的虛擬變量。兩階段參與者的觀測數(shù)據(jù)用 (X1, A1, X2, A2) 表示，其中 X1 是處置前協(xié)變量，X2 是時(shí)變協(xié)變量，可能取決于處置期間接受的處置。第一個(gè)間隔。隨機(jī)處置行動(dòng)為 A1 和 A2，主要結(jié)果為 Y = f (X1, A1, X2, A2)。

4.2 時(shí)間序列的因果關(guān)系

4.2.1 基于格蘭杰因果關(guān)系和條件獨(dú)立性的方法

4.2.2 基于結(jié)構(gòu)方程模型的方法

結(jié)構(gòu)方程模型（SEM）長期以來一直用于從觀測數(shù)據(jù)中尋找因果關(guān)系。SEM的一種形式是線性非高斯非循環(huán)模型（LiNGAM），用于識(shí)別因果結(jié)構(gòu)。該模型利用獨(dú)立成分分析 (ICA) 來識(shí)別觀測數(shù)據(jù)中的因果關(guān)系。與高斯過程不同，LiNGAM 基于使用數(shù)據(jù)的非高斯性。該方法的關(guān)鍵在于，當(dāng)數(shù)據(jù)為非高斯時(shí)，可以識(shí)別更多的生成結(jié)構(gòu)。它可以在數(shù)學(xué)上表示為：

4.2.3 基于深度學(xué)習(xí)的方法

本節(jié)簡要介紹深度神經(jīng)網(wǎng)絡(luò)如何應(yīng)用于時(shí)間序列數(shù)據(jù)的因果發(fā)現(xiàn)，并如何克服傳統(tǒng)時(shí)間序列因果模型的缺點(diǎn)。格蘭杰因果關(guān)系方法建立在時(shí)間序列的線性基礎(chǔ)上。然而，在現(xiàn)實(shí)世界的情況下，時(shí)間序列之間的依賴性通常是非線性的，可能會(huì)導(dǎo)致格蘭杰因果關(guān)系的估計(jì)不一致。為了將非線性相互作用納入格蘭杰因果關(guān)系檢測中，Tank A et al (2018)提出了一類非線性架構(gòu)，例如多層感知器（MLP）和循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN），其中每個(gè)時(shí)間序列都使用 MLP 或 RNN 進(jìn)行建模。非線性框架的輸入是所有序列的過去滯后值，輸出是單個(gè)序列的未來值。作者還利用群體套索懲罰來進(jìn)一步將輸入的權(quán)重縮小到零。Dang XH, Shah SY, Zerfos P (2018)提出了一種基于深度學(xué)習(xí)的框架，該框架由多個(gè)定制的門控循環(huán)單元（GRU）組成，旨在發(fā)現(xiàn)非線性和時(shí)間序列間的依賴性。Wu T, Breuel T, Skuhersky M, Kautz J引入了一種新穎的最小預(yù)測信息正則化方法來從時(shí)間序列推斷因果關(guān)系，使深度學(xué)習(xí)模型能夠發(fā)現(xiàn)非線性因果關(guān)系。這項(xiàng)工作對因果關(guān)系做出了兩個(gè)假設(shè)。首先是因果充分性假設(shè)，該假設(shè)指出每個(gè)時(shí)間序列 x(i ) 只能由 x(1)、x(2)、...x(N) 中的時(shí)間序列引起。第二個(gè)假設(shè)是“均值因果關(guān)系”假設(shè)，該假設(shè)指出因果關(guān)系影響其他變量的平均值。他們的模型試圖回答這樣的問題：在不進(jìn)行預(yù)測的情況下，X( j ) t?1 會(huì)被破壞多少？x(i ) t 明顯更差？為此，他們采用輸入并添加具有可學(xué)習(xí)幅度的獨(dú)立噪聲，并通過輸入和損壞輸出之間的互信息來測量損壞程度。上述情況的風(fēng)險(xiǎn)可以由下式給出：

5 模型效果評估

5.1 數(shù)據(jù)集

5.1.1時(shí)間序列數(shù)據(jù)集

5.1.2處置效應(yīng)評估數(shù)據(jù)集

5.1.3因果發(fā)現(xiàn)數(shù)據(jù)集

5.1.4 綜合數(shù)據(jù)集

本節(jié)討論一些綜合數(shù)據(jù)集和一些使用綜合模型的論文。表3總結(jié)了綜合模型的特點(diǎn)。

l 非線性模型：由于許多建議的框架是為非線性系統(tǒng)設(shè)計(jì)的、 已經(jīng)開發(fā)了幾種方法來模擬非線性系統(tǒng)以進(jìn)行評估。非線性模型的一個(gè)例子是Papana等人[121]所使用的模擬。在他們的工作中，他們模擬了一個(gè)具有線性和非線性關(guān)系的三變量系統(tǒng)。還有其他各種使用數(shù)據(jù)的非線性模型的工作。

5.2 模型評估指標(biāo)

5.2.1 時(shí)間序列指標(biāo)

5.2.2 因果時(shí)間序列評估指標(biāo)

處置效應(yīng)評估指標(biāo)：MSE、F檢驗(yàn)、T檢驗(yàn)

6 總結(jié)和展望

6.1 因果處置效應(yīng)評估

6.2 模型效果評價(jià)和基準(zhǔn)數(shù)據(jù)集

上一節(jié)提到的大多數(shù)數(shù)據(jù)集都是由觀察性研究產(chǎn)生的，在這種情況下不可能同時(shí)獲得事實(shí)和反事實(shí)的數(shù)據(jù)。不過，目前已經(jīng)有論文使用觀察和隨機(jī)對照試驗(yàn)（RCT）相結(jié)合的構(gòu)建數(shù)據(jù)來克服這一困難，例如Jaber A et al(2020), Louizos C et al(2017)。未來的研究將需要更多這樣的數(shù)據(jù)來更好地評估處置效應(yīng)。

下面這些短鏈接文章屬于合集，可以收藏起來閱讀，不然以后都找不到了。