FRM Part II – Reading 50
Case Study: Model Risk and Model Validation
EXAM FOCUS
핵심 학습 목표
이 Reading은 모델 리스크(Model Risk)가 단순한 추상적 개념이 아니라 실제로 막대한 재무적 손실로 이어질 수 있음을 세 가지 실제 사례를 통해 보여줍니다. 금융기관에서 모델은 가격결정, 리스크 측정, 자본 배분, 규제 준수 등 핵심 의사결정의 근간이 되므로, 모델이 잘못될 경우 그 영향은 기관 전체로 확산될 수 있습니다. 따라서 모델 리스크 관리(MRM)와 모델 검증(Validation)은 금융기관 운영리스크 관리의 핵심 요소입니다.
시험에서 반드시 할 수 있어야 하는 것
- 모델(Model)의 정의: 통계적, 경제적, 금융적, 수학적 이론과 기법 및 가정을 사용하여 입력 데이터를 정량적 추정치로 변환하는 체계로서, 출력이 "정답"이 아니라 오차를 가진 추정치임을 명확히 이해
- 모델 리스크의 두 가지 유형: 실행 리스크(Execution Risk)와 개념적 오류(Conceptual Errors)를 구분하고 각각의 원인과 특성을 설명
- MRM 조직의 역할: 독립성, 문서화 표준, 데이터 품질 기준, 버전 통제, 티어링(Tiering) 시스템의 중요성 이해
- 모델 티어 결정 요소: 물질성(Materiality), 복잡도(Complexity), 고객 노출(Client-facing), 규제 사용(Regulatory use)의 4가지 요소
- 세 가지 사례 분석: Gaussian Copula(가정 붕괴), Barclays-Lehman 스프레드시트(구현 오류), NASA Mars Orbiter(입력 단위 오류)에서 무엇이 실패했고 어떤 통제가 필요했는지 연결
이 Reading은 상대적으로 짧지만, 모델 리스크의 본질과 실무적 교훈을 담고 있어 시험에서 개념적 이해와 사례 적용을 묻는 문제가 출제됩니다. 특히 Reading 49(Supervisory Guidance on Model Risk Management)와 연계하여 학습하면 효과적입니다.
- "모델 출력은 정확하다": 모델 출력은 본질적으로 추정치(Estimate)이며, 입력 데이터의 품질, 가정의 타당성, 구현의 정확성에 따라 오차를 가집니다. 이를 정답으로 착각하면 리스크가 증폭됩니다.
- "스프레드시트는 모델이 아니다": 중요한 의사결정에 사용되는 스프레드시트도 사실상 모델 리스크를 가지며, 적절한 통제와 검증이 필요합니다.
- "실행 리스크 vs 개념적 오류" 혼동: 입력 데이터 오류나 코딩 버그는 실행 리스크이고, 가정의 붕괴나 부적절한 기법 선택은 개념적 오류입니다. 시험에서 이 구분을 정확히 해야 합니다.
MODULE 50.1: MODEL RISK AND MODEL VALIDATION
LO 50.a: 모델의 정의와 금융기관의 모델 리스크 노출 경로
1. 모델(Model)의 정의
금융 분야에서 모델(Model)은 복잡한 현실을 단순화하여 의사결정을 지원하는 정교한 도구입니다. 미국 연방준비제도(Federal Reserve)의 모델 리스크 가이던스(Supervision and Regulation 11-7)에 따르면, 모델은 다음과 같이 정의됩니다:
"모델이란 통계적(Statistical), 경제적(Economic), 금융적(Financial), 또는 수학적(Mathematical) 이론, 기법, 및 가정을 적용하여 입력 데이터를 정량적 추정치(Quantitative Estimates)로 처리하는 정량적 방법, 시스템, 또는 접근법을 의미한다."
이 정의에서 핵심적으로 이해해야 할 점은 모델이 추정치(Estimate) 또는 예측(Forecast)을 생성한다는 것입니다. 모델 출력은 결코 "확정적인 정답"이 아니며, 입력 데이터의 품질, 적용된 가정의 타당성, 그리고 구현의 정확성에 따라 필연적으로 추정 오차(Estimation Error)를 수반합니다.
금융기관에서 사용되는 모델의 대표적인 예로는 VaR(Value at Risk) 계산, 파생상품 가격결정 모델, 신용평가 모델(PD/LGD/EAD), 스트레스 테스트 모델 등이 있습니다. 이러한 모델들은 거래 가격, 리스크 한도, 자본 배분, 규제 보고 등 핵심 의사결정에 직접적으로 영향을 미치므로, 모델이 잘못될 경우 그 파급효과는 매우 클 수 있습니다.
출력은 하나의 숫자(예: VaR = 500만 달러)일 수 있지만, 그 뒤에는 데이터 품질, 모수 추정의 불확실성, 가정의 적합성, 구현의 정확성이 함께 숨어 있습니다.
2. 모델 리스크(Model Risk)의 정의와 두 가지 유형
모델 리스크(Model Risk)는 모델이 의도한 대로 작동하지 않거나, 모델의 출력이 현실을 정확히 반영하지 못하여 발생하는 손실 가능성을 의미합니다. 모델 리스크는 크게 두 가지 유형으로 구분됩니다:
| 유형 | 핵심 의미 | 대표적 원인 |
|---|---|---|
| 실행 리스크 (Execution Risk) |
모델이 설계된 의도대로 "작동하지 않는" 위험. 즉, 모델 자체의 논리나 가정은 올바를 수 있으나, 구현 과정에서 오류가 발생하는 경우입니다. | - 입력 데이터 오류(결측치, 이상치, 형식 불일치) - 단위/측정 오류(bp vs %, 영미식 vs 미터법) - 코딩 버그 또는 로직 오류 - 스프레드시트 참조 오류, 숨김행/열 문제 - 버전 통제 실패(구버전 모델 사용) - 시스템 간 인터페이스 불일치 |
| 개념적 오류 (Conceptual Errors) |
모델의 가정이 현실을 적절히 대표하지 못하거나, 부적절한 모델링 기법이 사용되는 경우입니다. 모델이 기술적으로는 정상 작동하지만, 근본적으로 잘못된 답을 제공합니다. | - 가정의 무효화(예: 상관계수가 위기 시 급변) - 정규분포 가정이 꼬리 리스크를 과소평가 - 환경/체제 변화(Regime Shift) 미반영 - 목적에 맞지 않는 모델 선택(Model Misuse) - 과적합(Overfitting)으로 표본외 성능 저하 |
두 유형의 리스크 중 개념적 오류는 식별하기가 훨씬 어렵습니다. 실행 리스크는 테스트와 검증을 통해 비교적 쉽게 발견할 수 있지만, 개념적 오류는 모델이 특정 시장 환경에서는 잘 작동하다가 다른 환경에서 갑자기 실패할 수 있기 때문입니다. 예를 들어, 정상적인 시장 상황에서 검증된 VaR 모델이 2008년 금융위기와 같은 극단적 상황에서는 손실을 체계적으로 과소추정할 수 있습니다.
리스크 측정 모델은 종종 포트폴리오 자산 간의 상관계수를 입력값으로 사용합니다. 문제는 정상 시장에서 추정된 상관계수가 변동성이 높은 시장 상황에서는 체계적으로 과소추정되는 경향이 있다는 점입니다. 위기 시 "모든 상관계수가 1로 수렴한다"는 현상이 자주 관찰되며, 이는 전형적인 개념적 오류의 트리거입니다. 평시 상관을 그대로 사용하면 VaR나 ES(Expected Shortfall)가 실제 리스크를 크게 과소평가할 수 있습니다.
3. 금융기관의 모델 리스크 노출 경로(Exposure Channels)
금융기관이 모델 리스크에 노출되는 주요 경로는 다음과 같습니다:
| 노출 경로 | 설명 | 잠재적 영향 |
|---|---|---|
| 가격결정 (Pricing) |
파생상품, 구조화상품, 채권 등의 가격을 산출하는 모델에서 오류 발생 | 잘못된 가격으로 거래 체결, 헤지 실패, P&L 왜곡, 고객 손실 |
| 리스크 측정 (Risk Measurement) |
VaR, ES, 스트레스 테스트 등 리스크 측정 모델의 오류 | 자본 부족, 리스크 한도 오판, 규제 위반, 예상치 못한 손실 |
| 신용/자본 모델 (Credit/Capital) |
PD(부도확률), LGD(부도시손실률), EAD(부도시익스포저), 경제자본 모델 오류 | 포트폴리오 구성 왜곡, 충당금 오류, 자본 배분 비효율 |
| 고객 대면 (Client-facing) |
고객에게 직접 제공되는 가격, 지표, 분석 결과에 모델 오류 포함 | 고객 손실, 법적 분쟁, 평판 리스크, 규제 제재 |
| 규제 보고 (Regulatory Reporting) |
규제 자본, 유동성 비율, 스트레스 테스트 결과 등 규제 목적 모델 오류 | 규제 위반, 감독 조치, 추가 자본 요구, 벌금 |
모델이 사용되는 영역의 물질성(Materiality)이 클수록, 그리고 외부(고객/규제기관)에 노출될수록 모델 리스크의 영향은 더욱 커집니다. 따라서 모든 모델을 동일한 강도로 관리하는 것이 아니라, 리스크 수준에 따라 차등화된 관리가 필요합니다.
LO 50.b: 모델 리스크 관리(MRM) 기능과 검증 프로세스의 모범 관행
1. 모델 리스크 관리(MRM) 팀의 역할과 독립성
모델 리스크 관리(Model Risk Management, MRM) 팀은 원래의 모델 개발자와 독립된(Independent) 전문가 집단으로 구성되어 모델 리스크를 완화하는 책임을 집니다. MRM의 독립성은 이해상충을 방지하고 객관적인 검증을 보장하기 위해 필수적입니다. 모델을 개발한 사람이 스스로 검증하면 자신의 오류를 발견하기 어렵고, 비즈니스 압력에 취약해질 수 있기 때문입니다.
MRM 팀의 주요 책임은 다음과 같습니다:
| 책임 영역 | 구체적 내용 |
|---|---|
| 문서화 표준 설정 | 모델의 목적, 방법론, 가정, 한계, 입력/출력 사양을 명확히 문서화하도록 기준 수립. 문서화가 없으면 모델 이해, 검증, 유지보수가 불가능합니다. |
| 데이터 품질 기준 | 입력 데이터의 정확성, 완전성, 적시성, 일관성에 대한 기준 설정. 데이터 품질 문제는 가장 흔한 실행 리스크 원인 중 하나입니다. |
| 버전 통제 | 모델 코드, 파라미터, 문서의 변경 이력을 추적하고 승인된 버전만 사용되도록 관리. "누가, 언제, 왜, 무엇을 변경했는지" 추적 가능해야 합니다. |
| 검증 기준 및 절차 | 신규 모델 도입 전 검증, 기존 모델의 정기 재검증, 중대한 변경 시 재검증 절차 수립 |
| 모니터링 및 보고 | 모델 성능 보고서 검토, 백테스트 결과 분석, 이상 징후 조기 발견 체계 운영 |
2. 모델 리스크 티어링(Model Risk Tiering)
모든 모델이 동일한 수준의 조직적 리스크를 가지는 것은 아닙니다. 비용-편익(Cost-Benefit) 관점에서, 리스크가 높은 모델에 더 많은 자원과 주의를 투입하는 것이 효율적입니다. 따라서 모델은 리스크 수준에 따라 티어(Tier)로 분류되며, 높은 티어의 모델에는 더 빈번하고 포괄적인 검증이 요구됩니다.
모델 리스크 티어를 결정하는 4가지 요소:
| 결정 요소 | 의미 | 높을수록 왜 위험한가 |
|---|---|---|
| 물질성 (Materiality) |
모델 실패 시 예상되는 손실 규모. 금액, 자본 영향, 규제 영향 등으로 측정됩니다. | 오차 1%가 수백억 원의 손실로 증폭될 수 있습니다. 예를 들어, 1조 원 포트폴리오의 가격 오류 1%는 100억 원 손실입니다. |
| 복잡도 (Complexity) |
모델 구조, 추정 방법, 코드의 복잡성. 입력 변수 수, 비선형성, 시뮬레이션 필요 여부 등을 고려합니다. | 복잡할수록 숨겨진 버그, 가정 누락, 과적합(Overfitting) 가능성이 증가합니다. 검증과 이해도 어려워집니다. |
| 고객 대면 (Client-facing) |
모델 출력이 고객에게 직접 제공되거나 고객 대상 의사결정에 사용되는지 여부 | 고객 손실 시 법적 분쟁, 평판 리스크, 규제 제재로 이어질 수 있습니다. 고객은 내부 직원보다 오류에 덜 관대합니다. |
| 규제 사용 (Regulatory Use) |
모델이 규제 자본 계산, 유동성 비율, 스트레스 테스트 등 규제 목적으로 사용되는지 여부 | 규제 위반은 벌금, 추가 자본 요구, 영업 제한 등 심각한 결과로 이어집니다. 감독당국의 신뢰도 영향을 받습니다. |
3. 티어별 검증 요구사항
티어에 따라 검증의 빈도와 범위가 달라집니다:
| 구분 | 고티어 모델 | 전체 모델 공통 |
|---|---|---|
| 정기 재검증 | 2~3년 주기로 전면적인 재검증 수행 | 연 1회 이상 환경 변화, 성능 점검 |
| 백테스트 | 광범위하고 체계적인 백테스트, 다양한 기간/시나리오 적용 | 적용 가능한 경우 백테스트 수행 |
| 벤치마킹 | 대체 모델, 업계 표준, 외부 벤더 모델과 비교 | 가능한 경우 벤치마킹 권장 |
| 변경 관리 | 엄격한 승인 절차, 변경 영향 분석 필수 | 변경 로그 유지, 기본적 승인 절차 |
| 모니터링 | 상시 모니터링, 실시간 성능 지표 추적 | 정기적 성능 보고서 검토 |
MRM은 "검증 일정이 왔을 때만" 작동하는 것이 아니라, 상시 모니터링을 통해 이상 징후를 조기에 포착하는 지속적인(Ongoing) 프로세스여야 합니다. 환경 변화(시장 구조, 상품 특성, 데이터 소스 등)가 모델 성능에 영향을 줄 수 있으므로, 정기적인 재검증 외에도 일상적인 모니터링이 필수적입니다.
4. MRM 팀의 존재가 개발자/사용자의 책임을 대체하지 않음
MRM 팀이 존재한다고 해서 모델 개발자와 사용자가 리스크 관리에 안일해져서는 안 됩니다. 모델 개발자와 사용자는 여전히 1차 방어선(First Line of Defense)으로서, 모델의 정확성과 적절한 사용에 대한 일차적 책임을 집니다. MRM은 2차 방어선으로서 독립적인 검증과 감독을 제공하지만, 이것이 1차 방어선의 책임을 면제하지는 않습니다.
5. 모델 검증(Validation)의 핵심 요소
모델 검증 기법은 모델이 예상대로 작동하는지 확인하는 데 사용됩니다. 효과적인 모델 검증은 일반적으로 다음 세 가지 요소를 포함합니다:
| 검증 요소 | 핵심 질문 | 대표적 기법 |
|---|---|---|
| 개념적 타당성 (Conceptual Soundness) |
모델의 이론적 기반, 가정, 방법론 선택이 목적에 적합한가? 모델이 의도한 문제를 해결하기에 적절한 구조인가? | - 문서 및 방법론 리뷰 - 가정 점검 및 정당화 - 민감도 분석(주요 입력 변화 영향) - 극단값 입력 테스트 |
| 지속적 모니터링 (Ongoing Monitoring) |
시간이 지나도 모델의 입력, 환경, 사용 방식이 여전히 유효한가? 모델 성능이 저하되지 않았는가? | - 입력 데이터 품질 점검 - 벤치마크 모델과 비교 - 오버라이드(수동 조정) 추적 - 성능 지표(KPI) 추적 |
| 결과 분석 (Outcomes Analysis) |
모델의 예측/추정이 실제 결과와 얼마나 일치하는가? 체계적인 오차 패턴이 있는가? | - 백테스트(VaR 초과 횟수 등) - P&L Attribution(가격 모델) - 스트레스 시나리오 결과 비교 - 실현값 vs 예측값 비교 |
이 세 가지 요소는 서로 보완적이며, 어느 하나만으로는 충분하지 않습니다. 예를 들어, 백테스트가 양호하더라도 개념적으로 결함이 있는 모델은 새로운 환경에서 실패할 수 있고, 개념적으로 건전한 모델도 구현 오류로 인해 잘못된 결과를 낼 수 있습니다.
예시: VaR 모델의 백테스트
99% 신뢰수준의 1일 VaR 모델을 250 거래일 동안 백테스트한다고 가정합니다.
기대 예외 횟수(Expected Exceptions):
$$\text{Expected Exceptions} = 250 \times (1 - 0.99) = 250 \times 0.01 = 2.5 \text{회}$$만약 실제 관측된 예외(VaR 초과 손실)가 10회라면, 이는 기대치의 4배에 해당하며, 모델이 리스크를 체계적으로 과소추정하고 있음을 시사합니다. 이 경우 모델의 가정(변동성 추정, 분포 가정, 상관계수 등)을 재검토해야 합니다.
6. 모델 개발 및 구현 단계의 베스트 프랙티스
모델 리스크를 줄이기 위한 개발 및 구현 단계의 모범 관행은 다음과 같습니다:
개발 단계(설계 품질):
- 목적(Use Case) 명확화: "이 모델이 무엇을 예측/평가하려는가?"를 명확히 정의. 목적이 불분명하면 적절한 모델 선택과 검증이 어렵습니다.
- 가정과 한계 문서화: 모델이 어떤 조건에서 유효하고, 어떤 상황에서 실패할 수 있는지 명시적으로 문서화하고 사용자에게 전달합니다.
- 데이터 대표성 검토: 입력 데이터가 목표 모집단을 적절히 대표하는지, 프록시 데이터 사용 시 그 한계는 무엇인지 검토합니다.
- 극단 상황 테스트: 평시뿐 아니라 스트레스 국면, 극단값 입력에서도 모델이 합리적으로 작동하는지 확인합니다.
구현 단계(실행 리스크 통제):
- 코드 리뷰: 개발자가 아닌 제3자가 코드를 검토하여 로직 오류, 버그를 발견합니다.
- 유닛 테스트: 개별 함수/모듈이 예상대로 작동하는지 자동화된 테스트로 확인합니다.
- 단위/형식 검증: 입력 데이터의 단위(bp vs %, 연이율 vs 연속복리), 형식(날짜, 통화), 컨벤션(day count)을 명시적으로 확인합니다.
- 버전 관리: 모든 변경 사항을 추적하고, 승인된 버전만 운영 환경에서 사용되도록 통제합니다.
- 스프레드시트 사용 시 주의: 숨김행/열, 참조 깨짐, 수식 복사 오류에 대한 체크리스트를 운영합니다.
LO 50.c: 세 가지 모델 리스크 사례 연구와 교훈
사례 1: Gaussian Copula와 CDO 프라이싱 - "가정 붕괴와 모델 오용"
배경: 2000년대 초 David X. Li가 개발한 Gaussian Copula 함수는 CDO(Collateralized Debt Obligation) 가격결정에 혁신적인 접근법으로 빠르게 채택되었습니다. 이 모델은 시장이 효율적이라는 가정 하에, CDS(Credit Default Swap) 가격에서 담보풀 내 자산 간의 상관관계를 추론하여 트랜치 가격을 산출했습니다.
Gaussian Copula의 기본 아이디어:
개별 자산 \(i\)의 부도 시점 \(T_i\)에 대한 누적확률(주변분포)을 \(Q_i(t)\)라 하면:
$$u_i = Q_i(t_i) \in (0,1), \qquad x_i = \Phi^{-1}(u_i)$$변환된 변수 \((x_1, \ldots, x_n)\)은 다변량 정규분포를 따른다고 가정:
$$\mathbf{x} = (x_1, \ldots, x_n) \sim N(\mathbf{0}, \Sigma(\rho))$$여기서 \(\rho\)는 "Gaussian Constant" 또는 상관 파라미터로, 결합분포의 형태(특히 동시 부도 확률)를 결정합니다.
왜 실패했는가:
| 실패 원인 | 상세 설명 |
|---|---|
| 가정의 민감도 | 상관 파라미터(\(\rho\))는 트랜치 손실분포의 꼬리를 지배합니다. 작은 상관 변화가 시니어 트랜치의 손실확률을 극적으로 바꿀 수 있습니다. 예를 들어, 상관이 0.2에서 0.4로 변하면 시니어 트랜치의 기대손실은 몇 배로 증가할 수 있습니다. |
| 환경 변화와 상관 급변 | 평시에는 주택담보 부도가 동시에 발생하지 않는다는 직관이 성립했으나, 2008년 주택 가격이 전국적으로 하락하면서 공통 요인(가격 하락, 리파이낸싱 경색)이 강화되어 동시 부도(상관)가 급증했습니다. 역사적 데이터에 없던 체제 변화(Regime Shift)가 발생한 것입니다. |
| 시장 의존성 | 모델은 CDS 가격이 "올바르게" 정보를 반영한다고 가정했지만, CDS 시장 자체가 유동성 부족, 투기적 수요 등으로 왜곡될 수 있었습니다. 모델 입력의 신뢰성이 훼손되면 출력도 신뢰할 수 없습니다. |
| 한계 미커뮤니케이션 | 모델이 업계 표준처럼 사용되면서, 한계(가정, 적용 범위, 꼬리 리스크)가 충분히 설명되지 않은 채 숫자만 소비되었습니다. 정량적 배경이 부족한 관리자와 투자자에게 "상관이 무엇을 의미하는지" 자체가 불투명했습니다. |
- 가정/한계의 투명화: 상관 입력이 어떻게 추정되는지, 어떤 시장 조건에서 왜 취약한지 명확히 문서화
- 민감도/스트레스 테스트: 상관 상승, 회수율 하락, 유동성 악화 시나리오에서 트랜치 손실분포가 어떻게 변하는지 사전 점검
- 사용자 커뮤니케이션: 모델 출력이 "진실"이 아니라 "가정 하의 추정"임을 교육하고, 적용 범위를 제한
- 대체 모델 벤치마킹: Gaussian Copula 외에 t-Copula, 역사적 시뮬레이션 등 대안과 결과 비교
사례 2: Barclays의 Lehman Brothers 자산 인수 스프레드시트 오류 - "구현 오류의 대가"
배경: 2008년 금융위기 당시 Lehman Brothers가 파산하면서, Barclays는 Lehman의 일부 자산과 거래 포지션을 인수하기 위해 입찰에 참여했습니다. 입찰 마감 몇 시간 전, Barclays는 자신들이 인수하고자 하는 포지션과 인수하지 않으려는 포지션을 구분한 스프레드시트를 법률 대리인(Cleary Gottlieb)에게 전달했습니다.
무엇이 잘못되었는가:
약 1,000행으로 구성된 스프레드시트에서, Barclays가 인수하지 않으려는 179개 포지션은 숨김행(Hidden Rows)으로 처리되어 있었습니다. 문제는 입찰 제출 요건에 맞추어 스프레드시트를 PDF로 변환할 때, 주니어 법무 담당자가 숨김행이 이제 보이게 된다는 사실을 인지하지 못했다는 점입니다. 결과적으로 Barclays가 의도하지 않은 179개 계약이 입찰서에 포함되었고, 이 실수는 며칠 후 입찰이 승인된 뒤에야 발견되어 해당 계약을 제외하기 위한 법적 소송을 제기해야 했습니다.
핵심 교훈:
이 사례의 핵심은 스프레드시트 자체가 정교한 금융 모델이 아니었다는 점입니다. 복잡한 수학적 가정이나 통계적 기법이 사용되지 않았습니다. 그럼에도 불구하고, 도구의 구현/운영 방식이 곧 실행 리스크(Implementation Error)가 되었습니다. 이는 "모델이 아닌 것도 중요한 의사결정에 사용되면 모델 리스크를 가진다"는 교훈을 줍니다.
- 스프레드시트의 모델화: 중요한 의사결정에 사용되는 스프레드시트는 사실상 "경량 모델(Light Model)"로 취급하여 티어링과 검증(리뷰/승인) 대상에 포함
- 변환 전후 점검 절차: PDF, CSV 등으로 변환할 때 "숨김 요소, 필터, 링크가 결과물을 바꾸는지" 체크하는 절차적 통제 필수
- 4-Eye Review(이중 검토): 중요 문서는 최소 2명 이상이 독립적으로 검토하여 실행 오류를 줄임
- 버전 관리: 어떤 버전이 최종 제출되었는지 명확히 추적 가능해야 함
사례 3: NASA Mars Orbiter - "사소한 입력 단위 오류의 치명적 결과"
배경: 1999년 NASA의 Mars Climate Orbiter는 화성 대기권에서 예상보다 훨씬 낮은 고도로 진입하여 분해/소실되었습니다. 1억 2,500만 달러 상당의 위성이 손실된 이 사건의 원인은 놀랍도록 단순했습니다.
무엇이 잘못되었는가:
Lockheed Martin의 엔지니어링 팀은 추진력 데이터를 미국에서 일반적으로 사용되는 영미식 단위(파운드-초, pound-seconds)로 계산하여 NASA에 전달했습니다. 그러나 NASA의 항법 시스템은 미터법 단위(뉴턴-초, Newton-seconds)를 사용하고 있었습니다. 이 단위 불일치는 약 4.45배의 오차를 발생시켰고(1 pound-force ≈ 4.45 Newtons), 결과적으로 위성의 궤도 계산이 크게 틀어져 화성 대기권에서 소멸했습니다.
금융에서의 유사 리스크:
금융 분야에서도 이와 유사한 단위/측정 오류가 빈번하게 발생합니다:
- bp(basis point, 0.01%) vs %(1%): 100배 차이
- 연이율(Annual Rate) vs 연속복리(Continuous Compounding)
- Day Count Convention(ACT/360, ACT/365, 30/360 등) 불일치
- 통화 단위(USD millions vs USD thousands)
- 수익률 vs 가격 변화
- 입력 데이터 스키마 고정: 모든 입력 데이터의 단위, 정의, 컨벤션을 명시적인 스키마로 정의하고 문서화
- 자동 검증: 입력 데이터의 유효 범위(예: 금리가 -10% ~ +100% 사이), 차원 분석(Dimensional Analysis)을 자동으로 수행
- 인터페이스 테스트: 시스템 간 데이터 전달(업스트림-다운스트림)에서 단위 변환이 올바르게 이루어지는지 명시적으로 테스트
- 고티어 업무의 엄격한 통제: "작은 실수도 큰 손실"이 가능한 고위험 업무에는 더욱 엄격한 검증과 승인 체계 적용
세 가지 사례의 비교 요약
| 사례 | 핵심 실패 원인 | 모델 리스크 유형 | 주요 교훈 |
|---|---|---|---|
| Gaussian Copula (CDO 프라이싱) |
상관 가정이 스트레스 국면에서 붕괴, 모델 한계 미커뮤니케이션 | 개념적 오류 (Conceptual Error) |
가정의 투명화, 스트레스 테스트, 사용자 교육, 적용 범위 제한 |
| Barclays-Lehman (스프레드시트) |
숨김행이 PDF 변환 시 노출, 검토 절차 부재 | 실행 리스크 (Execution Risk) |
스프레드시트도 모델로 취급, 변환 점검, 이중 검토, 버전 관리 |
| NASA Mars Orbiter (단위 오류) |
영미식 단위와 미터법 단위 불일치 | 실행 리스크 (Execution Risk) |
입력 단위/정의 표준화, 자동 검증, 인터페이스 테스트 |
핵심 직관과 해석
모델을 '정답 생성기'로 착각하는 순간, 리스크가 커진다
모델은 현실을 단순화한 지도(Map)입니다. 지도는 목적지를 찾는 데 유용하지만, 지도 위에 표시되지 않은 절벽(극단 사건)도 현실에는 존재합니다. 유명한 격언처럼 "지도는 영토가 아니다(The map is not the territory)"라는 점을 항상 기억해야 합니다.
따라서 MRM의 핵심은 "모델을 없애자"가 아니라, 모델이 틀릴 수 있음을 전제로 안전장치를 설계하는 것입니다. 실무에서는 다음과 같은 접근이 사용됩니다:
- 모델 바깥의 리스크 관리: 모델이 포착하지 못하는 리스크를 추가 헤지로 관리(예: 변동성 리스크를 vega로 관리)
- 다중 정보원 활용: 모델 출력을 벤치마크, 전문가 판단, 스트레스 테스트 결과와 함께 해석하여 오판을 줄임
- 보수적 가정: 불확실한 파라미터에 대해 보수적인 가정을 적용하여 안전 마진 확보
- 한계 인식: 모델이 어떤 상황에서 실패할 수 있는지를 명확히 인지하고 대비
MODULE QUIZ
Module Quiz 50.1
문제 1. 다음 중 모델(model)과 가장 거리가 먼 것은?
A. 정성적 입력(Qualitative inputs)
B. 수학적 이론(Mathematical theories)
C. 정확한 출력(Precise output)
D. 가정(Assumptions)
문제 2. 모델 실행 리스크(Execution Risk)를 가장 잘 설명하는 것은?
A. 부정확한 입력(Inaccurate inputs)
B. 모델 가정과 일치하는 코딩
C. 부적절한 가정(Inappropriate assumptions)
D. 잘못된 기법(Incorrect techniques)
문제 3. Gaussian Copula 기반 CDO 프라이싱 실패의 가장 그럴듯한 원인은?
A. 계산 오류(Model computation error)
B. 작업에 부적합한 모델 선택(Inappropriate model for the task)
C. 유효하지 않은 가정(Invalid model assumption)
D. 출력의 잘못된 사용(Invalid use of model output)
문제 4. Barclays의 Lehman 자산 입찰 스프레드시트 사건은 주로 무엇의 예인가?
A. 상시 모니터링(Ongoing monitoring)
B. 부적절한 사용(Improper model use)
C. 유효하지 않은 가정(Invalid model assumptions)
D. 구현 오류(Implementation error)
문제 5. NASA Mars Orbiter 실패는 직접적으로 무엇에 기인하는가?
A. 모델 부정확성(Model inaccuracy)
B. 모델 가정(Model assumptions)
C. 모델 선택 오류(Incorrect model choice)
D. 입력 단위/측정 오류(Incorrect model inputs)
문제 6. 모델 리스크 관리(MRM) 팀에 대한 설명으로 가장 적절한 것은?
A. MRM 팀은 모델 개발자로 구성되어야 한다
B. MRM 팀의 존재는 개발자와 사용자의 책임을 면제한다
C. MRM 팀은 모델 개발자와 독립적이어야 한다
D. 모든 모델에 동일한 수준의 검증을 적용해야 한다
문제 7. 모델 리스크 티어를 결정하는 요소가 아닌 것은?
A. 물질성(Materiality)
B. 모델 복잡도(Model complexity)
C. 모델 개발자의 경력(Developer's experience)
D. 규제 사용 여부(Regulatory use)
문제 8. 다음 중 개념적 오류(Conceptual Error)에 해당하는 것은?
A. 입력 데이터에 결측치가 포함된 경우
B. 스프레드시트 셀 참조가 잘못된 경우
C. 위기 시 상관이 급등하는데 평시 상관을 사용한 경우
D. 연이율을 bp로 잘못 입력한 경우
정답
| 문제 | 정답 | 해설 |
|---|---|---|
| 50.1-1 | C | 모델 출력은 예측(Forecast) 또는 추정치(Estimate)이며, "정확한 값(Precise output)"이 아닙니다. 모델 입력은 정성적이거나 정량적일 수 있고, 모델은 경제적/수학적 이론에 의존하며, 일정한 가정 하에서 작동합니다. |
| 50.1-2 | A | 실행 리스크(Execution Risk)는 입력 데이터의 오류 또는 모델 코딩의 오류로 인해 모델이 의도대로 작동하지 않는 위험입니다. 부적절한 가정(C)과 잘못된 기법(D)은 개념적 오류에 해당합니다. |
| 50.1-3 | C | Gaussian Copula 함수는 담보풀 내 자산 상관계수가 정적(일정)하다는 가정에 의존했습니다(Gaussian Constant). 그러나 이 가정은 주택 가격 하락 시 무효화되어 대규모 손실로 이어졌습니다. |
| 50.1-4 | D | Barclays가 인수하지 않으려던 자산을 표시한 스프레드시트 행을 삭제하지 못한 것은 구현 오류(Implementation Error)입니다. 이는 복잡한 금융 모델이 아니라 도구 운영의 실수입니다. |
| 50.1-5 | D | 모델 입력의 측정 단위(영미식 vs 미터법)가 부정확하여 위성이 손실되었습니다. 이는 전형적인 입력 측정 오류(Incorrect model inputs)입니다. |
| 50.1-6 | C | MRM 팀은 원래의 모델 개발자와 독립되어야 객관적인 검증이 가능합니다. MRM의 존재가 개발자/사용자의 책임을 면제하지 않으며(B 오류), 모든 모델에 동일한 검증을 적용하는 것이 아니라 티어에 따라 차등화합니다(D 오류). |
| 50.1-7 | C | 모델 리스크 티어는 물질성, 복잡도, 고객 대면 여부, 규제 사용 여부로 결정됩니다. 개발자의 경력은 티어 결정 요소가 아닙니다. |
| 50.1-8 | C | 위기 시 상관이 급등할 수 있는데 평시 상관을 그대로 사용하는 것은 가정의 무효화(Invalid Assumption)로, 개념적 오류에 해당합니다. A, B, D는 모두 실행 리스크(입력 오류, 구현 오류)입니다. |
KEY CONCEPTS (핵심 개념 정리)
LO 50.a 핵심
- 모델의 정의: 통계적, 경제적, 금융적, 수학적 이론과 기법 및 가정을 사용하여 입력 데이터를 정량적 추정치로 변환하는 체계
- 핵심 인식: 모델 출력은 "정답"이 아니라 오차를 가진 추정치(Estimate) 또는 예측(Forecast)임
- 모델 리스크의 두 유형:
- 실행 리스크(Execution Risk): 입력 데이터 오류 또는 코딩/구현 오류로 모델이 의도대로 작동하지 않는 위험
- 개념적 오류(Conceptual Errors): 가정이 무효화되거나 부적절한 모델링 기법이 사용되어 모델이 현실을 대표하지 못하는 위험
- 노출 경로: 가격결정, 리스크 측정, 신용/자본 모델, 고객 대면, 규제 보고 등
LO 50.b 핵심
- MRM 팀의 독립성: 원래의 모델 개발자와 독립된 전문가 집단으로 구성되어야 함
- MRM의 주요 책임: 문서화 표준, 데이터 품질 기준, 버전 통제, 검증 기준 설정
- 모델 티어링: 모든 모델에 동일한 통제가 아니라, 리스크 수준에 따라 차등화된 관리
- 티어 결정 4요소: 물질성(Materiality), 복잡도(Complexity), 고객 대면(Client-facing), 규제 사용(Regulatory use)
- 고티어 모델: 2-3년 주기 정기 재검증, 광범위한 백테스트/벤치마킹, 엄격한 변경 관리
- 전 모델 공통: 연 1회 이상 환경 변화 점검, 성능 리포트 확인
- 지속적 프로세스: MRM은 정기 검증 외에도 상시 모니터링으로 이상 징후 조기 포착
- 1차 방어선: MRM 팀의 존재가 모델 개발자/사용자의 책임을 대체하지 않음
LO 50.c 핵심
- Gaussian Copula 사례:
- 핵심 가정(상관계수)이 스트레스 국면에서 붕괴
- 모델 한계가 사용자에게 충분히 전달되지 않음
- 개념적 오류(Conceptual Error)의 대표 사례
- Barclays-Lehman 스프레드시트 사례:
- 숨김행이 PDF 변환 시 노출된 구현 오류
- 스프레드시트도 중요 의사결정에 사용되면 모델 리스크를 가짐
- 실행 리스크(Execution Risk)의 대표 사례
- NASA Mars Orbiter 사례:
- 영미식 단위와 미터법 단위 불일치로 인한 입력 측정 오류
- 작은 실수가 1.25억 달러 손실로 이어짐
- 실행 리스크(Execution Risk)의 대표 사례
시험 대비 한 줄 암기 체크리스트
| 주제 | 암기 포인트 |
|---|---|
| 모델 정의 | 입력 + 이론/기법 + 가정 → 정량적 추정치(정답 아님) |
| 모델 리스크 2분류 | Execution(입력/코드/시트 오류) vs Conceptual(가정 붕괴/기법 부적합) |
| 실행 리스크 원인 | 입력 데이터 오류, 단위 불일치, 코딩 버그, 스프레드시트 참조 오류, 버전 통제 실패 |
| 개념적 오류 원인 | 가정 무효화, 체제 변화 미반영, 부적절한 모델 선택, 과적합 |
| MRM 독립성 | 모델 개발자와 독립된 전문가 집단으로 구성 |
| 티어 결정 4요소 | 물질성 / 복잡도 / 고객 대면 / 규제 사용 |
| 검증 3요소 | 개념적 타당성 + 지속 모니터링 + 결과 분석(백테스트) |
| 세 사례의 키워드 | 가정 붕괴(Copula) / 구현 오류(스프레드시트) / 입력 단위 오류(Mars Orbiter) |
| Gaussian Copula | 상관 파라미터 민감도, 스트레스 시 상관 급변, 한계 미커뮤니케이션 |
| Barclays 사례 | 숨김행 → PDF 변환 → 노출, 스프레드시트도 모델로 취급 필요 |
| Mars Orbiter 사례 | 영미식 vs 미터법 단위 불일치, 입력 단위 표준화 필요 |
| 함정 | "모델 출력은 정확" X / "스프레드시트는 안전" X / "MRM 있으면 개발자 책임 면제" X |
연습문제
연습문제 1 (Easy)
다음 상황을 실행 리스크(Execution Risk)와 개념적 오류(Conceptual Error)로 분류하시오.
- VaR 모델 입력 수익률 데이터에 결측치가 다수 포함되었는데 그대로 계산했다.
- 상관이 위기 시 급등할 수 있는데, 평시 상관을 고정해 구조화상품 손실확률을 산출했다.
- 연이율(%)을 bp로 잘못 해석해 금리 민감도가 100배 크게 계산되었다.
- 모델이 원래는 단기 트레이딩 포트폴리오용인데, 장기 유동성 위험이 큰 자산군에 그대로 적용했다.
연습문제 2 (Medium)
한 은행이 고객에게 파생상품 가격을 제시하는 내부 가격 모형을 운영 중이다. 다음 정보를 바탕으로 (i) 모델 티어를 높게 책정해야 하는 이유를 서술하고, (ii) 검증 3요소 프레임에 따라 검증 계획(각 요소별 2개 이상)을 제시하시오.
정보: 고객 제시 가격이 계약 체결에 직접 영향을 주며, 모델 입력 중 변동성/상관은 외부 벤더 데이터를 사용한다.
연습문제 3 (Medium)
250 거래일 동안 99% 1일 VaR을 산출했다. 예외 횟수가 10회였다. (i) 기대 예외 횟수를 계산하고, (ii) 결과를 직관적으로 해석하시오.
연습문제 4 (Hard)
Gaussian Copula 기반 CDO 프라이싱에서 "상관 입력"이 왜 핵심 모델 리스크 요인이 되는지 서술하고, MRM 관점에서 이를 완화하기 위한 통제/검증/커뮤니케이션 방안을 최소 5가지 제시하시오.
연습문제 모범답안
연습문제 1 해설
- 실행 리스크(Execution Risk): 입력 데이터 품질 문제(결측치)로 인한 실행 오류입니다.
- 개념적 오류(Conceptual Error): 위기 시 상관 변화 가능성을 무시한 가정 붕괴입니다.
- 실행 리스크(Execution Risk): 단위/해석 오류는 입력 측정 및 구현의 전형적 실행 리스크입니다.
- 개념적 오류(Conceptual Error, 모델 오용 포함): 의도된 적용 범위를 벗어난 사용(Out of Context)은 개념적 오류/사용 리스크입니다.
연습문제 2 해설
(i) 높은 티어의 이유:
- 고객 대면(Client-facing): 고객에게 직접 가격을 제시하므로 오류 시 고객 손실, 법적 분쟁, 평판 리스크 발생
- 물질성(Materiality): 계약 체결에 직접 영향을 주므로 금액적 영향이 클 수 있음
- 외부 벤더 의존: 입력 데이터의 품질을 직접 통제하기 어려워 투명성이 낮음
(ii) 검증 계획:
- 개념적 타당성: 이론/가정 점검, 변동성/상관 민감도 분석, 벤더 입력의 대표성 및 품질 리뷰
- 지속 모니터링: 벤더 데이터 변경 감시, 벤치마크 모델(예: 시장 가격, 대체 모델)과 비교
- 결과 분석: P&L Attribution(헤지 오차 분석), 고객 클레임/분쟁 추적, 스트레스 시나리오 성능 비교
연습문제 3 해설
(i) 기대 예외 횟수:
$$\text{Expected Exceptions} = 250 \times (1 - 0.99) = 250 \times 0.01 = 2.5 \text{회}$$(ii) 해석:
실제 예외 10회는 기대치 2.5회의 4배에 해당합니다. 이는 VaR이 손실을 체계적으로 과소추정했을 가능성이 높음을 시사합니다. 가능한 원인으로는 변동성 추정 오류, 상관계수 과소추정, 분포 가정(정규분포)의 꼬리 과소평가, 환경 변화로 인한 가정 붕괴 등이 있습니다. 추가적으로 예외의 시간적 집중 여부(클러스터링)도 점검하여 "단순히 운이 나빴는지" vs "구조적 문제인지" 구분해야 합니다.
연습문제 4 해설
상관 입력이 핵심 리스크 요인인 이유:
- 상관 파라미터는 결합분포의 꼬리(동시 부도 확률)를 지배하며, 트랜치 손실에 비선형적으로 작용
- 작은 상관 변화가 시니어 트랜치의 손실확률을 극적으로 바꿀 수 있음
- 상관은 과거 데이터로 추정되지만, 스트레스 국면에서는 구조적으로 변할 수 있음(체제 변화)
MRM 완화 방안(최소 5가지):
- 상관 추정/캘리브레이션 방법 문서화: 어떤 데이터, 기간, 방법으로 상관을 추정하는지 투명하게 문서화
- 상관 스트레스 테스트: 상관이 50%, 100% 상승하는 시나리오에서 트랜치 손실분포 변화 점검
- 대체 모델 벤치마킹: t-Copula, 역사적 시뮬레이션 등 대안 모델과 결과 비교
- 입력 데이터 검증: CDS 시장의 유동성, 왜곡 여부 점검하여 입력의 신뢰성 확인
- 사용자 교육: 모델 출력이 "가정 하의 추정"임을 교육하고, 적용 범위/한계를 명확히 전달
- 변경 시 재검증: 시장 환경, 상품 구조, 데이터 소스 변경 시 재검증 트리거
- 가드레일 설정: 상관 입력에 대한 유효 범위 제한, 이상값 경고 시스템 운영