A neural network trained on hospital data might learn that patients who receive a particular drug have higher mortality rates—not because the drug is harmful, but because it is prescribed to the sickest patients. This is the problem of spurious correlation, and it is not a bug in deep learning. It is a feature. Deep networks are optimized to find any statistical pattern that reduces prediction error, regardless of whether that pattern reflects a causal mechanism or a confounding artifact.

Jiao et al.'s comprehensive survey in Research maps the rapidly growing field that aims to fix this: the integration of causal inference principles into deep learning architectures.

Why Correlation Is Not Enough

The distinction between correlation and causation is Statistics 101 material, yet it remains one of the most consequential gaps in modern AI systems. Consider the practical stakes:

• A hiring algorithm may learn to penalize applicants from certain zip codes—not because location affects job performance, but because historical discrimination created a correlation.
• A medical imaging model may rely on hospital-specific metadata rather than pathological features, because these metadata happen to correlate with diagnosis in the training set.

In each case, the model captures a real statistical pattern that is simply the wrong one for the intended purpose. Causal inference provides the framework to distinguish patterns that reflect genuine mechanisms from those arising from confounding or selection bias.

The Three Rungs of Causal Reasoning

The survey organizes its treatment around Judea Pearl's causal hierarchy, which distinguishes three levels of causal reasoning:

Rung 1: Association. Observing that X and Y co-occur. This is the domain of standard deep learning—pattern recognition from observational data. The question answered: "What is the probability of Y given that I observe X?"

Rung 2: Intervention. Predicting what happens when one actively changes X. This requires understanding causal structure, not just statistical association. The question answered: "What would happen to Y if I set X to a particular value?"

Rung 3: Counterfactual. Reasoning about what would have happened under conditions that did not occur. The question answered: "Given that X = x and Y = y actually happened, what would Y have been if X had been x' instead?"

Most deep learning operates at Rung 1. The survey catalogs methods that push toward Rungs 2 and 3, where genuine causal reasoning begins.

Core Themes from the Survey

<

Theme	Description	Key Challenge
Spurious correlation mitigation	Replacing correlation-based models with causal models	Identifying the correct causal graph
Causal representation learning	Learning representations that encode causal variables	Identifiability without strong assumptions
Treatment effect estimation	Using neural networks to estimate causal effects	High-dimensional confounders
Causal discovery from data	Inferring causal structure using deep learning	Scalability to large variable sets
Robustness and generalization	Using causal invariance for domain generalization	Defining and testing invariance

The survey draws on ideas from cognitive neuroscience, noting that human brains perform causal reasoning naturally—inferring causes from effects, imagining counterfactual scenarios, planning interventions. This brain-inspired perspective motivates the search for neural network architectures that can perform analogous causal computations.

Identification and Estimation

A central tension in causal deep learning is between identification and estimation. Identification asks: given the causal structure, can the causal quantity of interest be computed from observational data? Estimation asks: given that the quantity is identifiable, how do we compute it accurately from finite samples?

Classical causal inference has developed sophisticated identification strategies—back-door adjustment, front-door criterion, instrumental variables, regression discontinuity. These strategies rely on assumptions about the causal graph, which in turn require domain knowledge.

Deep learning contributes primarily to the estimation side. Once a causal quantity is identified through domain expertise and graphical criteria, neural networks can estimate it from complex, high-dimensional data where traditional estimators struggle. Architectures like CEVAE (Causal Effect Variational Autoencoders) and Dragonnet target treatment effect estimation, while causal forests and their neural analogs estimate heterogeneous effects across subpopulations.

The survey notes that deep learning's strength—flexible function approximation—is what is needed when treatment effects vary in complex, nonlinear ways.

Causal Discovery: Can Networks Find Causes?

The survey also covers the ambitious goal of using deep learning to discover causal structure from data. Approaches include score-based methods, continuous relaxation of the DAG search, and attention-based methods that interpret transformer weights as causal indicators.

The survey appropriately notes the limitations: causal discovery from observational data faces fundamental identifiability barriers. Without interventional data, multiple causal graphs may be equally consistent with the observed distribution. Deep learning provides better optimization within these theoretical limits—it does not resolve them.

Open Questions

Scalability of causal graphs. Most causal inference methods assume a known or learnable causal graph with a manageable number of variables. Real-world systems may involve thousands of interacting variables, where specifying or learning the complete causal structure is intractable.

Causal reasoning in foundation models. Do large language models perform genuine causal reasoning, or do they mimic causal language from training data? This distinction is an active and contentious debate.

Benchmarking. Causal claims are difficult to evaluate empirically. The survey highlights the need for standardized benchmarks with known causal ground truth.

Integration with domain knowledge. Causal inference requires assumptions. Deep learning is good at minimizing the need for assumptions. The tension between these two philosophies—one assumption-rich, one assumption-lean—has not been fully resolved.

Closing Reflection

The marriage of causal inference and deep learning addresses a genuine deficiency: deep networks learn what patterns exist in data, but not why those patterns exist. Causal methods provide the why—at the cost of requiring structural assumptions that pure data-driven approaches avoid.

Jiao et al.'s survey provides a useful map of this rapidly expanding territory. The field's ultimate test will be practical: can causal deep learning methods improve decisions in medicine, policy, and engineering where correlation-based predictions fall short? The theoretical foundations are maturing. The empirical validation is still catching up.

---

면책 조항: 이 게시물은 정보 제공을 목적으로 한 연구 동향 개요이다. 학술 연구에서 인용하기 전에 구체적인 연구 결과, 통계 및 주장은 원본 논문을 통해 반드시 검증해야 한다.

인과관계와 신경망의 만남: 인과적 딥러닝 서베이

병원 데이터로 훈련된 신경망은 특정 약물을 투여받은 환자의 사망률이 더 높다는 것을 학습할 수 있다. 이는 그 약물이 해롭기 때문이 아니라, 가장 위중한 환자에게 처방되기 때문이다. 이것이 바로 허위 상관관계(spurious correlation) 문제이며, 이는 딥러닝의 버그가 아니다. 오히려 딥러닝의 특성이다. 딥 네트워크는 해당 패턴이 인과적 메커니즘을 반영하는지, 아니면 교란 변수에 의한 인위적 결과인지에 관계없이 예측 오류를 줄이는 통계적 패턴을 탐색하도록 최적화되어 있다.

Research 저널에 게재된 Jiao et al.의 포괄적인 서베이는 이 문제를 해결하고자 하는 빠르게 성장하는 분야, 즉 인과 추론 원리와 딥러닝 아키텍처의 통합을 체계적으로 정리한다.

상관관계만으로는 충분하지 않은 이유

상관관계와 인과관계의 구분은 통계학 입문 수준의 내용이지만, 현대 AI 시스템에서 가장 중요한 문제 중 하나로 남아 있다. 실질적인 위험 부담을 살펴보면 다음과 같다:

• 채용 알고리즘은 특정 우편번호 출신 지원자를 불이익 처리하도록 학습될 수 있다. 이는 거주 지역이 직무 성과에 영향을 미치기 때문이 아니라, 과거의 차별이 상관관계를 만들어냈기 때문이다.
• 의료 영상 모델은 병리학적 특징 대신 병원 고유의 메타데이터에 의존할 수 있다. 이 메타데이터가 훈련 데이터셋에서 진단과 우연히 상관관계를 가지기 때문이다.

각각의 사례에서 모델은 실제 통계적 패턴을 포착하지만, 그것은 의도된 목적에 부합하지 않는 잘못된 패턴이다. 인과 추론은 실제 메커니즘을 반영하는 패턴과 교란 변수 또는 선택 편향에서 비롯된 패턴을 구분하기 위한 프레임워크를 제공한다.

인과적 추론의 세 단계

이 서베이는 인과적 추론의 세 가지 수준을 구분하는 Judea Pearl의 인과 계층 구조를 중심으로 내용을 구성한다.

1단계: 연관(Association). X와 Y가 함께 발생함을 관찰하는 것이다. 이는 관찰 데이터로부터의 패턴 인식, 즉 표준적인 딥러닝의 영역이다. 답하는 질문: "X를 관찰했을 때 Y의 확률은 무엇인가?"

2단계: 개입(Intervention). X를 능동적으로 변경할 때 어떤 일이 발생하는지 예측하는 것이다. 이는 단순한 통계적 연관관계가 아닌 인과 구조에 대한 이해를 필요로 한다. 답하는 질문: "X를 특정 값으로 설정하면 Y는 어떻게 되는가?"

3단계: 반사실(Counterfactual). 실제로 발생하지 않은 조건 하에서 어떤 일이 일어났을지를 추론하는 것이다. 답하는 질문: "실제로 X = x이고 Y = y가 발생했을 때, X가 x'였다면 Y는 어떤 값을 가졌을까?"

대부분의 딥러닝은 1단계에서 작동한다. 이 서베이는 진정한 인과적 추론이 시작되는 2단계와 3단계로 나아가는 방법론들을 체계적으로 정리한다.

서베이의 핵심 주제

<

주제	설명	핵심 과제
허위 상관관계 완화	상관관계 기반 모델을 인과 모델로 대체	올바른 인과 그래프 식별
인과 표현 학습	인과 변수를 인코딩하는 표현 학습	강한 가정 없이 식별 가능성 확보
처리 효과 추정	신경망을 활용한 인과 효과 추정	고차원 교란 변수 처리
데이터 기반 인과 탐색	딥러닝을 활용한 인과 구조 추론	대규모 변수 집합으로의 확장성
견고성 및 일반화	도메인 일반화를 위한 인과 불변성 활용	불변성 정의 및 검증

이 서베이는 인지 신경과학의 개념을 참고하며, 인간의 뇌가 자연스럽게 인과적 추론을 수행한다는 점에 주목한다. 즉, 결과로부터 원인을 추론하고, 반사실적 시나리오를 상상하며, 개입을 계획하는 것이다. 이러한 뇌 영감적 관점은 유사한 인과적 계산을 수행할 수 있는 신경망 아키텍처를 탐색하는 동기가 된다.

식별과 추정

인과 발견: 네트워크가 원인을 찾을 수 있는가?

인과적 딥러닝의 핵심적인 긴장 관계는 식별(identification)과 추정(estimation) 사이에 존재한다. 식별은 다음을 묻는다: 인과 구조가 주어졌을 때, 관심 있는 인과적 양을 관측 데이터로부터 계산할 수 있는가? 추정은 다음을 묻는다: 해당 양이 식별 가능하다고 할 때, 유한한 표본으로부터 이를 정확히 어떻게 계산하는가?

고전적 인과 추론은 정교한 식별 전략들을 발전시켜 왔다—뒷문 조정(back-door adjustment), 앞문 기준(front-door criterion), 도구 변수(instrumental variables), 회귀 불연속 설계(regression discontinuity). 이러한 전략들은 인과 그래프에 대한 가정에 의존하며, 이는 다시 도메인 지식을 필요로 한다.

딥러닝은 주로 추정 측면에 기여한다. 인과적 양이 도메인 전문 지식과 그래픽 기준을 통해 식별되고 나면, 신경망은 전통적인 추정량이 어려움을 겪는 복잡하고 고차원적인 데이터로부터 이를 추정할 수 있다. CEVAE(Causal Effect Variational Autoencoders)와 Dragonnet과 같은 아키텍처는 처리 효과(treatment effect) 추정을 목표로 하며, 인과 포레스트(causal forests)와 그 신경망 유사체들은 하위 집단 전반에 걸친 이질적 효과를 추정한다.

해당 서베이는 딥러닝의 강점—유연한 함수 근사—이 처리 효과가 복잡하고 비선형적인 방식으로 변할 때 필요한 것임을 지적한다.

인과 발견: 네트워크가 원인을 찾을 수 있는가?

해당 서베이는 데이터로부터 인과 구조를 발견하기 위해 딥러닝을 사용하는 야심찬 목표도 다룬다. 접근 방식으로는 점수 기반 방법(score-based methods), DAG 탐색의 연속 완화(continuous relaxation), 그리고 트랜스포머 가중치를 인과 지표로 해석하는 어텐션 기반 방법이 있다.

해당 서베이는 적절하게도 그 한계를 지적한다: 관측 데이터로부터의 인과 발견은 근본적인 식별 가능성 장벽에 직면한다. 개입 데이터(interventional data) 없이는 여러 인과 그래프가 관측된 분포와 동등하게 일치할 수 있다. 딥러닝은 이러한 이론적 한계 내에서 더 나은 최적화를 제공할 뿐—그것을 해결하지는 못한다.

미해결 문제들

인과 그래프의 확장성. 대부분의 인과 추론 방법은 관리 가능한 수의 변수를 가진 알려졌거나 학습 가능한 인과 그래프를 가정한다. 실제 시스템에는 수천 개의 상호작용하는 변수가 포함될 수 있으며, 여기서 완전한 인과 구조를 명시하거나 학습하는 것은 다루기 어렵다.

기반 모델에서의 인과 추론. 대형 언어 모델은 진정한 인과 추론을 수행하는가, 아니면 훈련 데이터의 인과적 언어를 모방하는가? 이 구분은 현재 활발하고 논쟁적인 토론의 대상이다.

벤치마킹. 인과적 주장은 경험적으로 평가하기 어렵다. 해당 서베이는 알려진 인과적 그라운드 트루스(ground truth)를 갖춘 표준화된 벤치마크의 필요성을 강조한다.

도메인 지식과의 통합. 인과 추론은 가정을 필요로 한다. 딥러닝은 가정의 필요성을 최소화하는 데 능하다. 이 두 철학—하나는 가정이 풍부하고, 하나는 가정이 적은—사이의 긴장은 아직 완전히 해소되지 않았다.

맺음말

인과 추론과 딥러닝의 결합은 실질적인 결핍을 해소한다: 딥 네트워크는 데이터에 어떤 패턴이 존재하는지를 학습하지만, 그 패턴이 왜 존재하는지는 학습하지 못한다. 인과적 방법은 왜를 제공한다—순수한 데이터 기반 접근법이 회피하는 구조적 가정을 필요로 하는 대가를 치르면서.

Jiao 외의 서베이는 빠르게 확장되는 이 영역의 유용한 지도를 제공한다. 이 분야의 궁극적인 시험은 실용적일 것이다: 인과적 딥러닝 방법이 상관관계 기반 예측이 부족한 의학, 정책, 공학 분야에서 의사결정을 개선할 수 있는가? 이론적 토대는 성숙해지고 있다. 경험적 검증은 아직 따라잡는 중이다.

---