FRM part1. Reading 21: Stationary Time Series

 

FRM Part I – Reading 21
정상 시계열 (Stationary Time Series)

EXAM FOCUS

핵심 학습 목표

이 Reading에서는 시계열의 순환적 구성요소(Cyclical Component)를 자기회귀(AR), 이동평균(MA), 자기회귀이동평균(ARMA) 프로세스를 이용하여 모델링하는 방법을 학습합니다. 시계열의 과거 값이 미래 값을 예측하는 데 유용한 지침이 되려면, 해당 시계열이 정상성(Stationarity)을 가져야 합니다. 즉, 과거에 관찰된 패턴이 미래에도 계속될 것이라는 전제가 충족되어야 합니다.

시험에서 반드시 할 수 있어야 하는 것

• 공분산 정상성(Covariance Stationarity)의 3가지 조건 정의 및 수식 표현
• 자기공분산 함수(ACF)와 부분자기상관 함수(PACF)의 정의, 차이점, 해석
• 백색잡음(White Noise)의 정의 및 독립/가우시안 백색잡음 간의 관계
• AR 프로세스와 MA 프로세스의 차이: ACF의 기하급수적 감쇠(Decay) vs 급격한 절단(Cutoff)
• AR(1)의 정상성 조건, 평균회귀 수준(Mean-Reverting Level), 분산 계산
• Yule-Walker 방정식을 이용한 AR 프로세스의 자기상관 계산
• ARMA 프로세스의 구조와 예측값(Forecast) 생성 방법
• Box-Pierce Q 통계량과 Ljung-Box Q 통계량을 이용한 모형 적합성 검정
• 계절성(Seasonality)이 있는 ARMA 모형의 표기법과 구조

이 Reading은 정량적 계산(자기상관 감쇠, 평균회귀 수준 계산, Q 통계량 등)과 정성적 개념(AR vs MA 선택 기준, 잔차 분석 해석 등)이 혼합되어 있습니다. 특히 AR의 ACF 기하급수적 감쇠 패턴과 MA의 ACF 절단 패턴의 차이, 그리고 잔차 자기상관 검정이 시험에 매우 자주 출제됩니다.

---

MODULE 21.1: 공분산 정상성, 자기공분산, 백색잡음

LO 21.a: 공분산 정상성(Covariance Stationarity)의 조건

1. 시계열(Time Series)이란?

시계열이란 일정한 시간 간격으로 수집된 데이터를 의미합니다. 예를 들어, 월별 S&P 500 수익률, 분기별 기업 배당금, 일별 환율 등이 대표적인 시계열 데이터입니다. 시계열 데이터는 일반적으로 다음 세 가지 구성요소를 포함합니다:

구성요소	영문	설명
추세	Trend	시간이 지남에 따라 변화하는 장기적 방향성 (상승/하락 추세)
계절성	Seasonality	매년 특정 시점에 반복적으로 나타나는 체계적 변동 (예: 4분기 소매 매출 급증)
순환성	Cyclicality	일정하지 않은 시간 주기에 걸쳐 발생하는 변동 (경기순환 등)

이 Reading에서는 주로 순환적 구성요소(Cyclical Component)에 집중하며, 이 순환성은 다시 충격(Shocks)과 지속성(Persistence)으로 분해됩니다. 우리는 이 지속성 구성요소를 모델링하기 위해 선형 모형(Linear Models)을 사용합니다.

2. 공분산 정상성(Covariance Stationarity)의 정의

시계열의 과거 값을 토대로 미래 값을 예측하려면, 해당 시계열의 현재와 과거 값 사이의 관계가 시간이 지나도 안정적으로 유지되어야 합니다. 이러한 성질을 만족하는 시계열을 공분산 정상 시계열(Covariance Stationary Time Series)이라고 합니다. 직관적으로 말하면, "과거에 성립하던 통계적 특성이 미래에도 그대로 유지된다"는 것입니다.

공분산 정상성의 3가지 필수 조건:

조건	설명	수식 표현
1. 평균 안정성	시계열의 평균이 시간에 따라 변하지 않아야 함	\(E[y_t] = \mu\) (모든 t에 대해 동일)
2. 분산 유한성 및 안정성	분산이 유한하고 시간에 따라 변하지 않아야 함	\(\text{Var}(y_t) = \gamma_0 < \infty\) (모든 t에 대해 동일)
3. 공분산 구조 안정성	공분산이 시간(t)이 아닌 시차(\(\tau\))에만 의존해야 함	\(\text{Cov}(y_t, y_{t-\tau}) = \gamma(\tau)\) (t에 무관, \(\tau\)에만 의존)

여기서 시차(Lag)는 그리스 소문자 타우(\(\tau\))로 표기합니다. 예를 들어, \(\tau = 1\)은 현재 값과 바로 이전 값을 비교하는 1기 시차를 의미하고, \(\tau = 4\)는 4기 떨어진 값들을 비교하는 것을 의미합니다.

왜 정상성이 필요한가? (직관적 이해)

과거 패턴(평균, 변동성, 상관 구조)이 미래에도 유지되어야만, "과거 데이터로 미래를 예측하는 행위"가 의미를 가집니다. 만약 정상성이 깨진다면(예: 추세가 존재하거나 단위근이 있는 경우), 과거에 관찰된 상관관계가 미래에 그대로 적용되지 않을 수 있어 예측의 신뢰성이 크게 떨어집니다.

시험 함정 주의:
공분산 정상성은 "유한한 관측치 수"를 요구하지 않습니다. 이론적으로 시계열은 무한히 길어도 공분산 정상성을 만족할 수 있습니다. 시험에서 "유한한 관측치 수(finite number of observations)"를 정상성의 조건으로 제시하는 선택지는 오답입니다.

---

LO 21.b: 자기공분산 함수(ACF)와 자기상관 함수

1. 자기공분산(Autocovariance)

시계열의 현재 값 \(y_t\)와 \(\tau\)기 이전의 값 \(y_{t-\tau}\) 사이의 공분산을 시차 \(\tau\)에서의 자기공분산(Autocovariance at Lag \(\tau\))이라고 합니다. 모든 가능한 시차 \(\tau\)에 대한 자기공분산의 집합을 자기공분산 함수(Autocovariance Function)라고 합니다.

자기공분산 함수:

$$\gamma(\tau) = \text{Cov}(y_t, y_{t-\tau})$$

공분산 정상 시계열의 경우, 이 자기공분산 함수는 시간(t)에 의존하지 않고 오직 시차(\(\tau\))에만 의존합니다.

2. 자기상관 함수(Autocorrelation Function, ACF)

공분산은 단위에 의존하므로 해석이 어려울 수 있습니다. 이를 해결하기 위해, 각 시차의 자기공분산을 시계열의 분산으로 나누어 -1에서 +1 사이로 표준화합니다. 이렇게 변환된 함수를 자기상관 함수(ACF, Autocorrelation Function)라고 합니다.

자기상관 함수(ACF):

$$\rho(\tau) = \frac{\gamma(\tau)}{\gamma(0)} = \frac{\text{Cov}(y_t, y_{t-\tau})}{\text{Var}(y_t)}$$

\(-1 \leq \rho(\tau) \leq +1\)

ACF의 핵심 특성:

• \(\rho(0) = 1\) (자기 자신과의 상관은 항상 1)
• 공분산 정상 시계열의 경우, \(\tau\)가 커질수록 자기상관은 0에 수렴합니다. 이것은 모든 공분산 정상 시계열의 ACF에서 공통적으로 관찰되는 특성입니다.
• ACF를 그래프로 표시하면, 시차가 증가할수록 자기상관 값이 0을 향해 점차 줄어드는 패턴을 확인할 수 있습니다.

3. 부분자기상관 함수(Partial Autocorrelation Function, PACF)

부분자기상관(PACF)은 중간 시차들의 영향을 통제(제거)한 후에 측정한 순수한 \(\tau\)시차 효과입니다. 다중회귀에서 다른 독립변수의 효과를 통제한 후 특정 변수의 순수한 영향을 파악하는 것과 동일한 논리입니다.

예를 들어, 월별 시계열에서 \(\tau = 12\)의 PACF는 \(\tau = 1, 2, \ldots, 11\)의 효과를 모두 통제한 후에 12개월 전 값이 현재 값에 미치는 순수한 영향만을 측정합니다.

ACF와 PACF의 차이:

특성	ACF (자기상관 함수)	PACF (부분자기상관 함수)
측정 대상	현재 값과 \(\tau\)기 전 값의 총 상관	중간 시차를 통제한 순수한 \(\tau\)기 전 효과
감쇠 패턴	점진적으로 감소(Gradual Decay)	급격히 감소(Sharp Decline)
주요 용도	전반적인 시차 구조 파악, MA 차수 결정	AR 모형의 차수(p) 결정에 핵심적으로 활용

PACF에서 특정 몇 개의 시차에서만 큰 값을 보이고 그 이후 급격히 줄어든다면, 해당 시차가 AR 모형에 포함시킬 주요 후보가 됩니다.

---

LO 21.c: 백색잡음(White Noise)

1. 백색잡음의 정의

시계열에서 시차 간 상관이 전혀 없는 시계열을 직렬 비상관(Serially Uncorrelated) 시계열이라고 합니다. 이 중에서 특별히 평균이 0이고 분산이 일정한 직렬 비상관 시계열을 백색잡음(White Noise) 또는 영평균 백색잡음(Zero-Mean White Noise)이라고 합니다.

백색잡음 \(\{\varepsilon_t\}\)의 조건:

$$E[\varepsilon_t] = 0 \quad \text{(평균 = 0)}$$ $$\text{Var}(\varepsilon_t) = \sigma^2 \quad \text{(분산 일정)}$$ $$\text{Cov}(\varepsilon_t, \varepsilon_{t-\tau}) = 0 \quad \text{(모든 } \tau \neq 0 \text{에서 공분산 = 0)}$$

2. 백색잡음의 세 가지 유형과 포함 관계

유형	영문	조건
백색잡음	White Noise	평균 0, 분산 일정, 직렬 비상관
독립 백색잡음	Independent White Noise	백색잡음 + 관측치 간 독립(비상관을 넘어)
정규(가우시안) 백색잡음	Normal / Gaussian White Noise	독립 백색잡음 + 정규분포 따름: \(\varepsilon_t \sim N(0, \sigma^2)\)

포함 관계 (매우 중요 - 시험 출제!):

가우시안 백색잡음 ⇒ 독립 백색잡음 ⇒ 백색잡음

• "가우시안 백색잡음이면, 반드시 독립 백색잡음이다" → 참(TRUE)
• "독립 백색잡음이면, 반드시 가우시안 백색잡음이다" → 거짓(FALSE)
• "모든 직렬 비상관 프로세스가 백색잡음이다" → 거짓(FALSE) (평균 = 0, 분산 일정 조건 추가 필요)

정규분포의 성질에 의해, 가우시안 백색잡음에서는 "비상관 ⇔ 독립"이 성립합니다. 그러나 비정규 분포에서는 비상관이라 해도 독립이 아닐 수 있습니다.

3. 백색잡음의 실무적 중요성

백색잡음 개념의 가장 중요한 실무적 용도는 예측 모형의 적합성 평가입니다. 좋은 예측 모형이라면 "설명할 수 있는 모든 패턴을 설명"하고, 남은 잔차(Residual)에는 더 이상 예측 가능한 구조가 없어야 합니다. 따라서 모형의 잔차가 백색잡음을 따르는지 확인하는 것이 모형 진단의 핵심입니다.

잔차가 백색잡음이 아닌 경우:
잔차에 자기상관이 남아있다면, 잔차 자체가 과거 값으로 예측 가능하다는 뜻입니다. 이는 모형이 예측 가능한 방식으로 부정확하다는 것을 의미하며, 모형을 수정해야 합니다(예: 시차를 추가하는 등).

4. 무조건부 vs 조건부 평균/분산

백색잡음의 평균 0과 일정한 분산은 무조건부(Unconditional) 기준입니다. 그러나 시계열의 조건부(Conditional) 평균과 분산은 반드시 일정할 필요가 없습니다. 즉, 시계열의 다음 관측치에 대한 기대값은 하나 이상의 과거 값에 조건부일 때 시계열 전체의 무조건부 평균과 다를 수 있습니다. 이러한 조건부 관계가 존재할 때, 이를 예측에 활용할 수 있습니다.

반면, 독립 백색잡음에서는 다음 값이 과거 값에 대해 조건부 관계를 가지지 않으므로, 조건부 평균이 무조건부 평균과 동일합니다. 이 경우, 과거 값에 기반한 예측이 불가능합니다.

5. Wold의 정리(Wold's Theorem)와 일반선형과정

Wold의 정리는 공분산 정상 시계열의 순환적 구성요소를 모델링하는 이론적 토대를 제공합니다. 이 정리에 따르면, 모든 공분산 정상 프로세스는 백색잡음 프로세스의 무한 분산시차(Infinite Distributed Lag)로 표현할 수 있습니다:

Wold 표현(일반선형과정, General Linear Process):

$$y_t = \mu + \varepsilon_t + b_1 \varepsilon_{t-1} + b_2 \varepsilon_{t-2} + b_3 \varepsilon_{t-3} + \cdots$$

여기서 \(b_i\)는 상수이고, \(\varepsilon_t\)는 백색잡음 프로세스입니다.

이 표현은 모든 공분산 정상 시계열에 적용 가능하므로 일반선형과정(General Linear Process)이라고 불립니다. 실무에서는 이 무한 표현을 유한한 AR, MA, 또는 ARMA 모형으로 근사(Approximation)합니다.

---

MODULE 21.2: 자기회귀(AR) 프로세스와 이동평균(MA) 프로세스

LO 21.d / LO 21.g / LO 21.m: 자기회귀(AR) 프로세스

1. AR(1) 프로세스의 정의

자기회귀(Autoregressive, AR) 모형은 금융 분야에서 가장 널리 사용되는 시계열 모형입니다. AR 모형에서는 현재 값을 자기 자신의 과거 관측값(Observable Past Values)에 대한 회귀식으로 표현합니다. 가장 기본적인 1차 자기회귀 모형 [AR(1)]은 다음과 같이 정의됩니다:

AR(1) 모형:

$$y_t = c + \Phi y_{t-1} + \varepsilon_t$$

여기서:

• \(c\): 상수항(절편)
• \(\Phi\): 시차 계수(Lag Coefficient)
• \(y_{t-1}\): 1기 이전의 관측 가능한 변수 값
• \(\varepsilon_t\): 현재 기의 백색잡음 오차항

직관적으로 말하면, AR(1)은 "어제의 관측값이 오늘의 값을 설명하는 데 도움이 된다"는 구조입니다. 예를 들어, 오늘의 아이스크림 수요(\(y_t\))를 어제의 아이스크림 수요(\(y_{t-1}\))와 계수(\(\Phi\))의 곱에 오차항(\(\varepsilon_t\))을 더하여 예측합니다.

2. AR(1)의 정상성 조건

AR(1) 정상성의 핵심 조건:

$$|\Phi| < 1$$

시차 계수의 절대값이 반드시 1보다 작아야 AR(1)이 공분산 정상성을 만족합니다.

더 일반적인 AR(p) 모형의 경우, 모든 시차 계수의 합이 1보다 작아야 합니다.

만약 \(|\Phi| \geq 1\)이라면, 충격의 효과가 시간이 지나도 줄어들지 않거나 오히려 증폭되어, 시계열이 폭발적으로 발산하거나 비정상적인 행태를 보입니다.

3. 평균회귀 수준(Mean-Reverting Level)

정상적인 AR 프로세스는 평균회귀(Mean Reversion)라는 매우 중요한 성질을 가집니다. 이는 시계열이 장기적으로 특정 수준(무조건부 평균)을 향해 끌려가는 경향을 의미합니다. 이 수준은 마치 "끌개(Attractor)"처럼 작용합니다.

AR(1)의 장기 평균(무조건부 평균, Mean-Reverting Level):

$$\mu = \frac{c}{1 - \Phi}$$

유도 과정:
정상 상태에서 \(E[y_t] = E[y_{t-1}] = \mu\)이므로:
\(\mu = c + \Phi \mu\)
\(\mu - \Phi \mu = c\)
\(\mu(1 - \Phi) = c\)
\(\mu = \frac{c}{1 - \Phi}\)

AR(p)의 장기 평균:

$$\mu = \frac{c}{1 - \Phi_1 - \Phi_2 - \cdots - \Phi_p}$$

예시: 평균회귀 수준 계산

AR(1) 모형이 \(y_t = 2 + 0.8 y_{t-1} + \varepsilon_t\)로 주어질 때, 장기 평균회귀 수준은:

$$\mu = \frac{2}{1 - 0.8} = \frac{2}{0.2} = 10$$

즉, 이 시계열은 장기적으로 10이라는 수준을 중심으로 움직이는 경향이 있습니다. 현재 값이 10보다 높으면 하락 압력을, 10보다 낮으면 상승 압력을 받게 됩니다.

4. AR(1)의 분산

평균을 제거한 \(x_t = y_t - \mu\)를 사용하면 \(x_t = \Phi x_{t-1} + \varepsilon_t\)가 됩니다. 양변에 분산을 취하면:

AR(1)의 분산(정상 가정):

$$\text{Var}(y_t) = \gamma_0 = \frac{\sigma^2}{1 - \Phi^2}$$

유도 과정:
\(\text{Var}(x_t) = \Phi^2 \text{Var}(x_{t-1}) + \sigma^2\)
정상 상태에서 \(\text{Var}(x_t) = \text{Var}(x_{t-1}) = \gamma_0\)이므로:
\(\gamma_0 = \Phi^2 \gamma_0 + \sigma^2\)
\(\gamma_0(1 - \Phi^2) = \sigma^2\)
\(\gamma_0 = \frac{\sigma^2}{1 - \Phi^2}\)

5. Yule-Walker 방정식과 ACF의 기하급수적 감쇠

AR 프로세스의 자기상관을 추정하기 위해 Yule-Walker 방정식을 사용합니다. AR(1) 프로세스의 경우, 이 방정식은 매우 간결한 결과를 제공합니다:

AR(1)의 자기상관 (Yule-Walker):

$$\rho(\tau) = \Phi^{\tau} \quad (\tau = 1, 2, 3, \ldots)$$

즉, AR(1)의 자기상관은 시차가 증가할수록 기하급수적으로(Geometrically) 0을 향해 감쇠합니다.

예시: ACF 기하급수적 감쇠 (\(\Phi = 0.65\)인 경우)

시차 (\(\tau\))	자기상관 \(\rho(\tau)\)	계산
1	0.6500	\(0.65^1\)
2	0.4225	\(0.65^2\)
3	0.2746	\(0.65^3\)
4	0.1785	\(0.65^4\)
5	0.1160	\(0.65^5\)

자기상관이 0.65 → 0.42 → 0.27 → 0.18 → 0.12 로 점차 0에 수렴하는 것을 확인할 수 있습니다.

예시: 음의 계수인 경우 (\(\Phi = -0.65\))

시차 (\(\tau\))	자기상관 \(\rho(\tau)\)	부호
1	-0.6500	음(−)
2	+0.4225	양(+)
3	-0.2746	음(−)
4	+0.1785	양(+)
5	-0.1160	음(−)

\(\Phi\)가 음수인 경우, 자기상관의 절대값은 여전히 감쇠하지만, 부호가 양(+)과 음(−)을 번갈아가며 진동합니다.

6. 장기 예측에서의 평균회귀 역할

AR 프로세스의 평균회귀 성질은 장기 예측(Long-Horizon Forecast)에서 특히 중요합니다. 예측 기간이 길어질수록, AR 모형의 예측값은 장기 평균회귀 수준(\(\mu\))에 점점 가까워집니다. 이는 \(\Phi^h\)가 \(h \to \infty\)일 때 0에 수렴하기 때문입니다. 따라서 매우 먼 미래를 예측할수록, 예측값은 사실상 무조건부 평균과 같아집니다.

---

LO 21.e: 이동평균(MA) 프로세스

1. MA(1) 프로세스의 정의

이동평균(Moving Average, MA) 프로세스는 현재 값을 현재와 과거의 관측 불가능한 백색잡음 오차항(Random Shocks)에 대한 선형회귀로 표현합니다. AR 프로세스가 "관측 가능한 과거 값"에 의존하는 것과 달리, MA 프로세스는 "관측 불가능한 과거 오차"에 의존한다는 점이 핵심적인 차이입니다.

MA(1) 모형:

$$y_t = \mu + \varepsilon_t + \theta \varepsilon_{t-1}$$

여기서:

• \(\mu\): 프로세스의 평균
• \(\varepsilon_t\): 현재 기의 백색잡음 오차(Random Shock)
• \(\varepsilon_{t-1}\): 1기 이전의 관측 불가능한 오차항
• \(\theta\): MA 계수(과거 오차에 대한 가중치)

MA 프로세스의 핵심 특성:

• MA 프로세스는 항상 공분산 정상성을 만족합니다. (유한한 q 차수를 가지는 한) 이는 AR 프로세스와 달리 \(\theta\)의 값에 대한 제약 조건이 없다는 것을 의미합니다.
• MA(1)은 1기 이전의 오차항만 포함하므로 "매우 짧은 기억"을 가집니다. 한 기간 전에 발생한 충격의 효과만 현재에 반영되고, 그 이전의 충격은 완전히 사라집니다.
• \(\theta > 0\)이면 과거 양의 충격이 현재 값을 증폭시키고, \(\theta < 0\)이면 과거 충격의 효과가 반전되어 시계열이 더 공격적으로 평균회귀합니다.

2. MA(1)의 분산과 자기공분산

MA(1)의 분산과 자기공분산:

$$\gamma(0) = \text{Var}(y_t) = (1 + \theta^2)\sigma^2$$ $$\gamma(1) = \text{Cov}(y_t, y_{t-1}) = \theta \sigma^2$$ $$\gamma(\tau) = 0 \quad \text{(모든 } \tau \geq 2 \text{)}$$

유도 과정 (시차 1):
\(\gamma(1) = \text{Cov}(\varepsilon_t + \theta\varepsilon_{t-1}, \; \varepsilon_{t-1} + \theta\varepsilon_{t-2})\)
\(= \text{Cov}(\theta\varepsilon_{t-1}, \varepsilon_{t-1}) = \theta\sigma^2\)
(다른 교차항들은 독립성에 의해 모두 0)

3. MA(1)의 자기상관: ACF 절단(Cutoff)

MA(1)의 자기상관은 다음과 같이 계산됩니다:

MA(1)의 ACF:

$$\rho(1) = \frac{\gamma(1)}{\gamma(0)} = \frac{\theta}{1 + \theta^2}$$ $$\rho(\tau) = 0 \quad \text{(모든 } \tau \geq 2 \text{)}$$

예시: MA(1) ACF 계산 (\(\theta = 0.3\))

$$\rho(1) = \frac{0.3}{1 + 0.3^2} = \frac{0.3}{1 + 0.09} = \frac{0.3}{1.09} \approx 0.2752$$ $$\rho(2) = \rho(3) = \cdots = 0$$

1시차의 자기상관은 약 0.2752이고, 2시차 이후의 모든 자기상관은 정확히 0입니다. 이것이 바로 MA 프로세스의 핵심적 특성인 ACF 절단(Cutoff)입니다.

AR vs MA의 ACF 패턴 비교 (시험 핵심!):

특성	AR 프로세스	MA 프로세스
ACF 패턴	기하급수적으로 점진 감쇠(Gradual Decay)	\(q\)시차 이후 급격히 0으로 절단(Cutoff)
PACF 패턴	\(p\)시차 이후 급격히 절단	점진적으로 감쇠
기억 구조	긴 기억 (충격 효과가 서서히 소멸)	짧은 기억 (\(q\)기까지만 효과 유지)
정상성 조건	\(|\Phi| < 1\) 필요	항상 정상 (추가 조건 불필요)
의존 변수	관측 가능한 과거 \(y_{t-1}, y_{t-2}, \ldots\)	관측 불가능한 과거 오차 \(\varepsilon_{t-1}, \varepsilon_{t-2}, \ldots\)

4. MA(q) 일반형

MA(q) 모형:

$$y_t = \mu + \varepsilon_t + \theta_1 \varepsilon_{t-1} + \theta_2 \varepsilon_{t-2} + \cdots + \theta_q \varepsilon_{t-q}$$

MA(q)의 분산:

$$\text{Var}(y_t) = (1 + \theta_1^2 + \theta_2^2 + \cdots + \theta_q^2)\sigma^2$$

MA(q)의 ACF는 \(\tau \leq q\)에서만 비영(非零) 값을 가지며, \(\tau > q\)에서는 정확히 0입니다.

---

LO 21.f: 시차 연산자(Lag Operator)

1. 시차 연산자의 정의

시계열 모델링에서 자주 사용되는 표기법 중 하나가 시차 연산자(Lag Operator, L)입니다. 시차 연산자는 시계열의 시간 인덱스를 뒤로 이동시키는 연산자입니다.

시차 연산자의 기본 정의:

$$Ly_t = y_{t-1}$$

즉, 시차 연산자를 \(y_t\)에 적용하면 한 기간 이전의 값 \(y_{t-1}\)을 반환합니다.

2. 시차 연산자의 6가지 성질

성질	설명	수식
1. 시간 인덱스 이동	시간 인덱스를 1기 뒤로 이동	\(Ly_t = y_{t-1}\)
2. 다중 기간 적용	m번 적용하면 m기 뒤로 이동	\(L^m y_t = y_{t-m}\)
3. 상수 불변	상수에 적용하면 변하지 않음	\(Lc = c\)
4. 분산시차 표현	시차다항식으로 모형 표현 가능	\(\Phi(L)y_t = (1 - \Phi_1 L - \Phi_2 L^2)y_t\)
5. 다항식 곱셈	시차다항식끼리 곱할 수 있음	-
6. 다항식 역변환	특정 조건을 만족하면 역변환 가능	-

예시: AR(1)의 시차 연산자 표현

AR(1): \(y_t = c + \Phi y_{t-1} + \varepsilon_t\)

시차 연산자를 사용하면:

$$y_t - \Phi L y_t = c + \varepsilon_t$$ $$(1 - \Phi L)y_t = c + \varepsilon_t$$

여기서 \((1 - \Phi L)\)이 시차다항식(Lag Polynomial)입니다.

시차 연산자의 두 가지 핵심 용도 (시험 출제!):

1. 정상성 판별: AR 프로세스가 공분산 정상이려면, 해당 시차다항식이 가역적(Invertible)이어야 합니다.
2. 모형 선택: 이 가역성 개념은 동등한 모형들 중에서 적절한 시계열 모형을 선택하는 Box-Jenkins 방법론에 활용됩니다.

---

MODULE 21.3: 자기회귀이동평균(ARMA) 모형

LO 21.h: ARMA 프로세스의 정의와 성질

1. ARMA 프로세스란?

현실의 시계열 데이터는 AR 성분과 MA 성분이 동시에 나타날 수 있습니다. 예를 들어, 주식 가격은 자체의 과거 행태(AR 성분)뿐만 아니라 관측 불가능한 충격(MA 성분)에 의해서도 영향을 받을 수 있습니다. 이러한 더 복잡한 관계를 포착하기 위해 두 프로세스를 결합한 것이 자기회귀이동평균(ARMA) 프로세스입니다.

ARMA(1,1) 모형:

$$y_t = c + \Phi y_{t-1} + \varepsilon_t + \theta \varepsilon_{t-1}$$

ARMA(p,q) 일반형:

$$y_t = c + \sum_{i=1}^{p} \Phi_i y_{t-i} + \varepsilon_t + \sum_{j=1}^{q} \theta_j \varepsilon_{t-j}$$

여기서 \(p\)는 AR 시차 수, \(q\)는 MA 시차 수입니다.

ARMA(p,q) 표기에서 첫 번째 숫자 \(p\)는 AR 부분의 시차 수를, 두 번째 숫자 \(q\)는 MA 부분의 시차 수를 나타냅니다. 예를 들어, ARMA(3,1)은 AR 부분에 3개의 시차 연산자와 MA 부분에 1개의 시차 연산자를 포함하는 모형입니다.

ARMA 프로세스의 핵심 성질:

• 정상성 조건: ARMA의 정상성은 AR 부분이 지배합니다. AR(1) 부분이라면 \(|\Phi| < 1\)이어야 합니다.
• ACF 패턴: AR 성분의 영향으로 자기상관이 점진적으로 감쇠합니다. 다만 MA 성분이 초기 몇 개 시차의 ACF 모양을 변형시킵니다.
• 유연성: AR과 MA를 결합함으로써, 단독 AR이나 MA보다 더 풍부하고 유연한 시계열 구조를 포착할 수 있습니다.

예시: ARMA의 직관적 이해

한 상품의 매출(\(y_t\))을 예측한다고 가정합니다. 매출은 이전 기간의 매출(\(y_{t-1}\), AR 성분)뿐만 아니라, 광고와 같은 무작위 충격(\(\varepsilon_t\), \(\varepsilon_{t-1}\), MA 성분)에 의해서도 영향을 받을 수 있습니다. ARMA 모형은 이 두 가지 영향을 동시에 포착합니다:

$$y_t = c + \Phi \cdot (\text{전기 매출}) + \varepsilon_t + \theta \cdot (\text{전기 광고 충격})$$

---

LO 21.i / LO 21.l: AR, MA, ARMA 프로세스의 적용과 예측

1. 모형 선택 기준: ACF 패턴에 따른 판단

예측자(Forecaster)가 적절한 시계열 모형을 선택하기 위해 가장 먼저 해야 할 일은 데이터의 자기상관(ACF) 그래프를 분석하는 것입니다.

ACF/PACF 패턴에 따른 모형 선택 가이드:

관찰된 ACF 패턴	관찰된 PACF 패턴	권장 모형
q시차에서 급격히 절단	점진적 감쇠	MA(q)
점진적으로 감쇠	p시차에서 급격히 절단	AR(p)
점진적으로 감쇠 + 주기적 급등	점진적 감쇠	ARMA(p,q) 또는 계절성 포함 AR
둘 다 점진적으로 감쇠	둘 다 점진적으로 감쇠	ARMA(p,q)

특히 점진적으로 감쇠하는 자기상관 중에 매 12번째 자기상관이 급등하는 패턴이 관찰되면, 이는 데이터에 월별 계절성이 있음을 강하게 시사합니다.

2. ARMA 모형에서의 예측(Forecast) 생성

ARMA 모형으로 다음 기간의 값을 예측할 때, 미래의 오차항 \(\varepsilon_t\)는 기대값 0으로 처리하고, 관측된 과거 \(y\) 값과 추정된 과거 잔차를 대입합니다.

예시: ARMA(3,1) 예측값 계산

ARMA(3,1) 모형이 다음과 같이 추정되었다고 가정합니다:

$$\hat{y}_t = 1.5 + 0.5 y_{t-1} + 0.25 y_{t-2} - 0.1 y_{t-3} + 0.3 \varepsilon_{t-1}$$

과거 관측값: \(y_{t-1} = 10.38\), \(y_{t-2} = 10.14\), \(y_{t-3} = 10.50\)
과거 잔차: \(\varepsilon_{t-1} = -1.23\)

예측값 계산:

$$\hat{y}_t = 1.5 + 0.5(10.38) + 0.25(10.14) - 0.1(10.50) + 0.3(-1.23)$$ $$= 1.5 + 5.19 + 2.535 - 1.05 - 0.369$$ $$= 7.806$$

따라서 다음 기간의 예측값은 약 7.81입니다.

---

LO 21.j: 표본 자기상관과 부분 자기상관

표본 자기상관(Sample Autocorrelation)과 표본 부분자기상관(Sample Partial Autocorrelation)은 앞서 설명한 이론적 ACF/PACF를 실제 표본 데이터를 사용하여 계산한 것입니다. 이들은 ARMA 모형의 검증과 개선에 사용됩니다.

모형의 적합도를 평가할 때, 다양한 시차에서의 잔차 자기상관(Residual Autocorrelation)을 계산합니다. 모형이 표본 데이터를 잘 적합시켰다면, 어떤 잔차 자기상관도 통계적으로 유의하게 0과 달라서는 안 됩니다. 다시 말해, 모형이 데이터에 포함된 모든 정보를 포착했는지, 아니면 잔차에 여전히 예측 가능한 정보가 남아 있는지를 확인하는 것입니다.

---

LO 21.k: Box-Pierce Q 통계량과 Ljung-Box Q 통계량

1. 잔차 자기상관의 공동 검정(Joint Test)

모형의 적합성을 점검할 때, 잔차 ACF를 그래프로 시각적으로 검토하는 것이 첫 번째 단계입니다. 95% 신뢰구간을 벗어나는 자기상관이 있다면, 모형이 데이터의 기저 패턴을 충분히 포착하지 못했음을 나타냅니다.

더 엄밀한 검정으로, 모든 잔차 자기상관이 동시에 0인지를 검정하는 공동 검정(Joint Test)이 사용됩니다.

가설 설정:

$$H_0: \hat{\rho}_1 = \hat{\rho}_2 = \cdots = \hat{\rho}_m = 0 \quad \text{(잔차에 자기상관 없음)}$$ $$H_1: \text{적어도 하나의 } \hat{\rho}_k \neq 0 \quad \text{(잔차에 자기상관 존재)}$$

2. Box-Pierce (BP) Q 통계량

Box-Pierce Q 통계량:

$$Q_{BP} = T \sum_{k=1}^{m} \hat{\rho}_k^2$$

여기서 \(T\)는 표본 크기, \(m\)은 검정에 포함할 최대 시차 수, \(\hat{\rho}_k\)는 시차 \(k\)에서의 잔차 자기상관입니다.

3. Ljung-Box (LB) Q 통계량

BP 통계량은 소표본(T ≤ 100)에서 근사 오차가 커질 수 있습니다. 이를 보정한 것이 Ljung-Box (LB) Q 통계량입니다. 분모에 \((T-k)\) 보정 항을 추가하여 소표본에서의 정확성을 높였습니다.

Ljung-Box Q 통계량:

$$Q_{LB} = T(T+2) \sum_{k=1}^{m} \frac{\hat{\rho}_k^2}{T-k}$$

BP vs LB 비교:

특성	Box-Pierce (BP)	Ljung-Box (LB)
수식	\(Q_{BP} = T \sum \hat{\rho}_k^2\)	\(Q_{LB} = T(T+2) \sum \frac{\hat{\rho}_k^2}{T-k}\)
소표본 성능	근사 오차가 클 수 있음	소표본 보정으로 더 정확
적합 상황	대표본 (\(T > 100\))	소표본 (\(T \leq 100\))
분포	\(\chi^2\) 분포에 근사 (자유도 = \(m - p - q\))

시험 함정 주의:
소표본에서 잔차 자기상관의 공동 검정을 수행할 때는 반드시 Ljung-Box Q 통계량을 사용해야 합니다. Box-Pierce는 소표본에서 귀무가설 기각 확률이 실제보다 낮아지는(검정력 부족) 문제가 있습니다.

---

LO 21.n: ARMA에서의 계절성(Seasonality) 모델링

1. 계절성이란?

시계열 데이터의 계절성(Seasonality)은 매년 같은 시점에 반복적으로 나타나는 패턴을 의미합니다. 예를 들어, 소매 매출이 매년 4분기에 급증하거나, 냉방 에너지 소비가 매년 여름에 최고치를 기록하는 것이 계절성입니다.

2. 계절성을 포함한 ARMA 모형

순수 AR 프로세스에서 계절성을 모델링하려면, 다른 관련된 단기 시차 외에 계절성에 해당하는 시차(분기 데이터는 4번째 시차, 월별 데이터는 12번째 시차)를 포함시킵니다. MA 프로세스에서도 유사한 방법을 적용합니다.

계절성 포함 ARMA 표기법:

$$\text{ARMA}(p, q) \times (p_s, q_s)$$

여기서:

• \(p, q\): 비계절적(단기) AR, MA 차수
• \(p_s, q_s\): 계절적 AR, MA 구성요소 (0 또는 1로 제한)
• \(p_s = 1\)이면 해당 계절 시차(예: 월별이면 12)를 AR 부분에 포함
• \(q_s = 1\)이면 해당 계절 시차를 MA 부분에 포함

예시: 월별 고용 데이터의 계절성 모형

월별 고용 데이터에서 매 12번째 자기상관이 급등하는 패턴이 관찰된다면, 이는 계절성을 시사합니다. 이 경우 다음과 같은 모형을 고려할 수 있습니다:

ARMA(2, 0) × (1, 0) - AR(2)에 12번째 시차의 계절적 AR 성분 추가:

$$y_t = c + \Phi_1 y_{t-1} + \Phi_2 y_{t-2} + \Phi_{12} y_{t-12} + \varepsilon_t$$

---

MODULE QUIZ

Module Quiz 21.1

문제 1. 시계열이 공분산 정상성을 나타내기 위한 조건에 포함될 가능성이 가장 낮은 것은?

A. 안정적인 평균
B. 유한한 분산
C. 유한한 관측치 수
D. 시간에 의존하지 않는 자기공분산

문제 2. 시차(또는 이동량)의 수가 커질수록, 자기상관 함수(ACF)는 어떤 값에 수렴하는가?

A. -1
B. 0
C. 0.5
D. +1

문제 3. 백색잡음에 대한 다음 설명 중 가장 정확한 것은?

A. 모든 직렬 비상관 프로세스는 백색잡음이다.
B. 모든 가우시안 백색잡음 프로세스는 독립 백색잡음이다.
C. 모든 독립 백색잡음 프로세스는 가우시안 백색잡음이다.
D. 모든 직렬 상관된 가우시안 프로세스는 독립 백색잡음이다.

Module Quiz 21.2

문제 1. 자기회귀(AR) 프로세스가 공분산 정상성을 만족하기 위해 필요한 조건은?

A. 시차 기울기 계수의 합이 1이어야 한다.
B. 시차 기울기 계수가 모두 1 미만이어야 한다.
C. 시차 기울기 계수의 절대값이 1과 같아야 한다.
D. 시차 기울기 계수의 합이 1 미만이어야 한다.

문제 2. 이동평균(MA) 표현과 자기회귀(AR) 프로세스를 구분하는 핵심 차이는?

A. MA 표현은 자기상관 절단(cutoff) 현상을 보인다.
B. AR 프로세스는 자기상관 절단 현상을 보인다.
C. 비조정 MA 프로세스는 점진적 자기상관 감쇠 현상을 보인다.
D. AR 프로세스는 절대 공분산 정상이 아니다.

문제 3. AR(1) 프로세스에서 추정 변수의 시차 관측값에 대한 계수가 0.75일 때, Yule-Walker 방정식에 따른 2기 자기상관은?

A. 0.375
B. 0.5625
C. 0.75
D. 0.866

문제 4. 시차 연산자의 목적으로 가장 적절한 것은?

A. 시차 연산자는 모수 추정치의 일치성을 보장한다.
B. 자기회귀(AR) 프로세스는 시차다항식이 가역적일 때에만 공분산 정상이다.
C. 시차다항식은 곱셈이 가능하다.
D. 시차 연산자는 모수 추정치의 불편성을 보장한다.

Module Quiz 21.3

문제 1. 자기회귀이동평균(ARMA) 프로세스에 대한 다음 설명 중 올바른 것은?

I. 자기상관이 점진적으로 감쇠한다.
II. MA 프로세스의 시차 관측 불가능한 충격과 AR 프로세스의 관측 가능한 시차 시계열을 결합한다.

A. I만 해당
B. II만 해당
C. I과 II 모두 해당
D. I과 II 모두 해당 안 됨

문제 2. 계절적 데이터를 모델링할 때 자기회귀(AR) 프로세스와 자기회귀이동평균(ARMA) 프로세스의 유용성에 대한 올바른 설명은?

I. 둘 다 시차항을 포함하므로, 움직이는 관계를 더 잘 포착할 수 있다.
II. 둘 다 시계열 데이터의 무작위적 움직임만을 포착하는 데 특화되어 있다.

A. I만 해당
B. II만 해당
C. I과 II 모두 해당
D. I과 II 모두 해당 안 됨

문제 3. 소표본에 기반하여 시계열의 잔차 자기상관이 공동으로 0인지를 검정하려면, 분석가가 가장 적절하게 계산해야 할 것은?

A. Ljung-Box (LB) Q 통계량
B. Box-Pierce (BP) Q 통계량
C. Ljung-Box (LB) 또는 Box-Pierce (BP) Q 통계량 중 하나
D. Ljung-Box (LB)와 Box-Pierce (BP) Q 통계량 모두 아님

정답

문제	정답	해설
21.1-1	C	이론적으로 시계열은 무한히 길어도 공분산 정상성을 유지할 수 있습니다. 공분산 정상성의 조건은 안정적인 평균, 안정적인 공분산 구조(자기공분산이 시간이 아닌 시차에만 의존), 유한한 분산입니다.
21.1-2	B	모든 ACF에 공통적인 특성은 시차(이동량)가 커질수록 자기상관이 0에 수렴한다는 것입니다.
21.1-3	B	가우시안(정규분포) 백색잡음이면 독립 백색잡음입니다. 그러나 역은 성립하지 않으며, 정규분포가 아닌 독립 백색잡음도 존재합니다. 평균 0과 일정한 분산 조건을 만족하는 직렬 비상관 프로세스만 백색잡음입니다.
21.2-1	D	AR 프로세스가 공분산 정상이려면, 각 시차 기울기 계수의 합이 1 미만이어야 합니다.
21.2-2	A	MA와 AR의 핵심 차이: MA 프로세스는 자기상관 절단(cutoff)을 보이고, AR 프로세스는 자기상관이 점진적으로 감쇠합니다.
21.2-3	B	Yule-Walker 방정식에 의해, AR(1)에서 \(\rho(\tau) = \Phi^{\tau}\)입니다. 따라서 \(\rho(2) = 0.75^2 = 0.5625\).
21.2-4	B	시차 연산자의 두 가지 주요 목적: (1) AR 프로세스는 시차다항식이 가역적일 때에만 공분산 정상이고, (2) 이 가역성은 Box-Jenkins 방법론에서 적절한 모형을 선택하는 데 사용됩니다.
21.3-1	C	ARMA 프로세스는 자기상관이 점진적으로 감쇠하며, MA의 시차 무작위 충격과 AR의 시차 관측 시계열 변수를 결합하여 더 풍부한 모형을 제공합니다.
21.3-2	A	AR과 ARMA 모두 시차 관측 변수를 포함하므로 계절적 패턴을 잘 포착합니다. 무작위 움직임만 포착하는 것은 MA 모형의 특성입니다.
21.3-3	A	소표본(\(T \leq 100\))에서 잔차 자기상관의 공동 검정에는 Ljung-Box Q 통계량이 더 적절합니다. BP 통계량은 소표본에서 근사 오차가 크기 때문입니다.

---

KEY CONCEPTS (핵심 개념 정리)

LO 21.a 핵심

• 공분산 정상성의 3조건: (1) 평균이 시간에 불변, (2) 분산이 유한하고 시간에 불변, (3) 공분산 구조가 시간이 아닌 시차에만 의존
• 정상성이 필요한 이유: 과거 패턴이 미래에도 유지되어야 예측이 의미를 가짐

LO 21.b 핵심

• 자기공분산: \(\gamma(\tau) = \text{Cov}(y_t, y_{t-\tau})\)
• 자기상관(ACF): \(\rho(\tau) = \gamma(\tau) / \gamma(0)\), −1 ~ +1 범위
• 부분자기상관(PACF): 중간 시차를 통제한 순수 \(\tau\)시차 효과, AR 차수 결정에 핵심

LO 21.c 핵심

• 백색잡음: 평균 0, 분산 일정, 직렬 비상관
• 포함 관계: 가우시안 백색잡음 ⇒ 독립 백색잡음 ⇒ 백색잡음 (역은 성립 안 함)
• 잔차가 백색잡음이 아니면 모형 부적절

LO 21.d / LO 21.g / LO 21.m 핵심

• AR(1): \(y_t = c + \Phi y_{t-1} + \varepsilon_t\), 정상성 조건: \(|\Phi| < 1\)
• 평균회귀 수준: \(\mu = c / (1 - \Phi)\)
• 분산: \(\gamma_0 = \sigma^2 / (1 - \Phi^2)\)
• Yule-Walker에 의한 ACF: \(\rho(\tau) = \Phi^{\tau}\) (기하급수적 감쇠)
• 장기 예측: 예측 기간이 길어질수록 예측값은 평균회귀 수준으로 수렴

LO 21.e 핵심

• MA(1): \(y_t = \mu + \varepsilon_t + \theta \varepsilon_{t-1}\)
• MA 프로세스는 항상 공분산 정상
• ACF 절단(Cutoff): \(\rho(1) = \theta / (1+\theta^2)\), \(\rho(\tau \geq 2) = 0\)
• AR과의 핵심 차이: AR은 ACF 점진 감쇠, MA는 ACF 급격 절단

LO 21.f 핵심

• 시차 연산자: \(Ly_t = y_{t-1}\), \(L^m y_t = y_{t-m}\)
• 핵심 용도: (1) AR 정상성 판별(시차다항식의 가역성), (2) Box-Jenkins 모형 선택

LO 21.h 핵심

• ARMA(p,q): AR 성분과 MA 성분을 결합한 모형
• 정상성은 AR 부분이 지배 (\(|\Phi| < 1\))
• ACF는 AR 성분 영향으로 점진적 감쇠, MA 성분이 초기 시차 모양 변형

LO 21.i / LO 21.l 핵심

• ACF 급격 절단 → MA 고려, ACF 점진 감쇠 → AR 또는 ARMA 고려
• ARMA 예측: 과거 관측값과 추정된 과거 잔차를 대입, 미래 오차는 기대값 0으로 처리

LO 21.j 핵심

• 표본 자기상관/부분자기상관은 실제 데이터로 계산한 ACF/PACF
• 모형 검증: 잔차 자기상관이 0과 유의하게 달라서는 안 됨

LO 21.k 핵심

• Box-Pierce: \(Q_{BP} = T \sum \hat{\rho}_k^2\)
• Ljung-Box: \(Q_{LB} = T(T+2) \sum \frac{\hat{\rho}_k^2}{T-k}\)
• 소표본(\(T \leq 100\))에서는 Ljung-Box 통계량 사용 권장

LO 21.n 핵심

• 계절성: 매년 같은 시점에 반복되는 패턴
• 계절 시차 포함: 분기 데이터는 4번째 시차, 월별 데이터는 12번째 시차 추가
• 표기: ARMA\((p,q) \times (p_s, q_s)\), \(p_s, q_s\)는 0 또는 1

---

시험 대비 한 줄 암기 체크리스트

주제	암기 포인트
공분산 정상성 3조건	평균 불변 + 분산 유한/불변 + 공분산 시차에만 의존
ACF 특성 (정상 시계열)	\(\tau\)가 커지면 0에 수렴
PACF 용도	AR 차수(p) 결정에 핵심 활용
백색잡음 포함 관계	가우시안 WN ⇒ 독립 WN ⇒ WN (역은 거짓!)
잔차 = 백색잡음?	아니면 모형 부적절, 시차 추가 등 수정 필요
AR(1) 정상성	\(|\Phi| < 1\), AR(p)는 계수합 < 1
AR(1) 평균회귀 수준	\(\mu = c / (1 - \Phi)\)
AR(1) 분산	\(\sigma^2 / (1 - \Phi^2)\)
AR(1) ACF (Yule-Walker)	\(\rho(\tau) = \Phi^{\tau}\) → 기하급수적 감쇠
MA 정상성	항상 정상 (유한 q인 한)
MA(1) ACF	\(\rho(1) = \theta/(1+\theta^2)\), \(\rho(\tau \geq 2) = 0\) → 절단(Cutoff)
AR vs MA ACF 차이	AR = 점진 감쇠(Decay), MA = 급격 절단(Cutoff)
시차 연산자 핵심 용도	AR 정상성 판별 + Box-Jenkins 모형 선택
ARMA 정상성	AR 부분이 지배 (\(|\Phi| < 1\))
소표본 검정	\(T \leq 100\)이면 Ljung-Box 사용 (BP 아님!)
계절성 ARMA 표기	ARMA\((p,q) \times (p_s, q_s)\), 월별이면 12시차 추가
장기 예측	예측 기간 길수록 평균회귀 수준(\(\mu\))에 수렴

---

흔한 함정 / 오해 정리 (시험에 자주 출제)

함정	올바른 이해
"정상성 = 평균만 일정"	공분산 정상성은 평균 + 분산 + 공분산구조 3가지 모두 필요합니다.
"ACF가 0으로 가면 무조건 정상"	정상이면 ACF → 0인 경우가 많지만, 그래프상 감소만으로 정상성 판정은 위험합니다. 단위근/추세는 별도 진단이 필요합니다.
"유한한 관측치 수가 정상성 조건"	이론적으로 시계열은 무한히 길어도 정상성을 만족할 수 있습니다. 유한 관측치 수는 조건이 아닙니다.
"MA도 정상성 조건이 필요"	유한 차수 MA(q)는 항상 공분산 정상입니다. 다만, 가역성(Invertibility) 문제는 별도로 존재합니다.
"잔차에 자기상관이 있어도 R²가 높으면 충분"	시계열에서는 R²보다 잔차 ACF(백색잡음 여부)가 모형 적합성 판단에 훨씬 중요합니다.
"PACF = ACF"	PACF는 중간 시차를 통제한 순수 효과입니다. ACF와 PACF는 서로 다른 정보를 제공하며, 각각 MA와 AR 차수 결정에 활용됩니다.
"독립 WN = 가우시안 WN"	가우시안 WN ⇒ 독립 WN은 참이지만, 역은 거짓입니다.

---