When a bank's AI system denies a loan application, a criminal justice algorithm recommends a longer sentence, or a social media platform suppresses a post, the affected person has a straightforward question: why? The legal right to receive a meaningful answer—a "right to explanation"—has become one of the most contested concepts in AI governance.

The EU's General Data Protection Regulation (GDPR), in force since 2018, contains provisions that some interpret as establishing such a right (Articles 13-15, 22). The EU AI Act, finalized in 2024, goes further by mandating transparency and explainability requirements for high-risk AI systems. But the gap between legal mandate and technical reality is vast: the most capable AI systems (deep neural networks, large language models) are precisely the ones least amenable to explanation in human-interpretable terms.

Three recent papers examine this tension from legal, technical, and practical perspectives.

Why It Matters

Algorithmic decision-making is expanding into domains with profound consequences for individuals: credit scoring, hiring, criminal sentencing, healthcare triage, welfare eligibility, immigration processing, and insurance pricing. In each domain, the decision affects fundamental rights—economic opportunity, liberty, health, survival. If individuals cannot understand why a decision was made, they cannot meaningfully challenge it, and accountability becomes impossible.

The transparency imperative extends beyond individual rights. Democratic governance requires that systems exercising public power be subject to scrutiny. When algorithms allocate public resources, assess risk in the justice system, or moderate political speech, opacity undermines democratic accountability itself.

The EU AI Act Framework

Nannini (2024) provides the most detailed analysis to date of the transparency and explainability requirements in the EU AI Act. The paper identifies a fundamental structural tension: the Act mandates both transparency (making information about AI systems available) and explainability (making AI decisions comprehensible to affected persons), but these serve different functions and face different challenges.

The paper proposes a framework distinguishing four dimensions:

System-level transparency: Information about the AI system itself—its purpose, capabilities, limitations, training data, and performance metrics. This is primarily addressed by the AI Act's conformity assessment and documentation requirements.

Decision-level explainability: Information about why a specific decision was made for a specific individual. This is the "right to explanation" in its strongest sense.

Process transparency: Information about the governance processes surrounding AI deployment—who decided to use the system, what human oversight exists, what review mechanisms are available.

Outcome transparency: Information about the AI system's aggregate outcomes—accuracy rates, error patterns, disparate impact across groups.

The paper argues that the AI Act's requirements are strongest on system-level transparency and weakest on decision-level explainability, precisely because the latter is the most technically challenging. High-risk AI systems must provide "sufficiently transparent" information to enable "deployers to interpret the system's output and use it appropriately" (Article 13), but what constitutes "sufficient" transparency for a deep neural network processing hundreds of features is undefined.

The Black Box Problem

Chaudhary (2024) provides a comprehensive analysis of algorithmic transparency as a concept and a practical challenge. The paper's broad influence reflects the breadth of its treatment: it surveys the technical explainability landscape (LIME, SHAP, attention mechanisms, counterfactual explanations) and evaluates each method's ability to satisfy legal transparency requirements.

Key findings include:

• Post-hoc explanations are approximations: Methods like LIME and SHAP do not reveal the actual reasoning of the model; they generate simplified approximations that may or may not reflect the model's true decision-making process. Legal frameworks that accept these as "explanations" may be providing false assurance.
• Accuracy-explainability trade-off: More accurate models (deep neural networks, ensemble methods) tend to be less interpretable. Legal mandates for explainability could push deployers toward less accurate but more interpretable models—potentially harming the individuals the right to explanation is designed to protect.
• Context matters: What constitutes a meaningful explanation varies by domain. A credit decision explanation might focus on the applicant's financial features; a criminal risk assessment explanation might need to address constitutional protections. One-size-fits-all transparency requirements may satisfy none of these contexts.

The paper concludes that algorithmic transparency is necessary but not sufficient for accountability, and must be accompanied by institutional mechanisms (audit requirements, impact assessments, independent oversight) that do not depend on the interpretability of individual decisions.

Practical Limits of the Right

Engelfriet (2025) takes a deliberately skeptical position, arguing that the right to an explanation as currently conceived is "uninterpretable"—meaning that it cannot be implemented in a way that is both legally meaningful and technically feasible for state-of-the-art AI systems.

The paper identifies three fundamental limits:

Faithfulness problem: Any explanation of a complex model's decision is necessarily a simplification. If the explanation does not faithfully represent the model's actual reasoning (and for neural networks, it typically cannot), providing it may satisfy a legal requirement while providing no genuine understanding.

Recipient problem: An explanation must be comprehensible to its recipient. But the mathematical operations of a neural network are not comprehensible to most people—or, the paper argues, to most judges. Simplifying to the point of comprehensibility risks distortion.

Gaming problem: If AI operators must explain their systems' decisions, they can design explanations that are technically compliant but substantively uninformative—"your application was denied based on a combination of factors including credit history and income level" satisfies a transparency requirement without enabling meaningful challenge.

Engelfriet does not argue against transparency; rather, the paper argues that the right to explanation should be reconceived as a right to contestation—ensuring that affected individuals have access to meaningful review mechanisms, rather than requiring explanations that the technology cannot genuinely provide.

Transparency Mechanisms Compared

<

Mechanism	What It Provides	Legal Basis	Limitation
System documentation	How the AI works in general	AI Act Art. 11-13	Does not explain individual decisions
Feature importance (SHAP/LIME)	Which inputs mattered most	GDPR Art. 13-15 (contested)	Post-hoc approximation; may not reflect true reasoning
Counterfactual explanation	What would need to change for a different outcome	Not yet mandated	Computationally expensive; may reveal gaming strategies
Audit and impact assessment	Aggregate fairness and accuracy	AI Act Art. 9; GDPR Art. 35	Does not help individuals understand their case
Human review	A person reviews the AI decision	GDPR Art. 22; AI Act Art. 14	"Rubber stamping" risk if reviewer cannot understand the AI

What To Watch

The EU AI Act's implementing regulations, expected in 2025-2026, will need to operationalize "sufficient transparency" for high-risk systems—defining, for each domain, what level of explanation is legally required. The first enforcement actions under these provisions will reveal whether regulators interpret the requirement as demanding genuine interpretability or accept procedural compliance. Meanwhile, the technical field of explainable AI (XAI) continues to advance, with mechanistic interpretability and concept-based explanations offering potential paths toward more faithful explanations. Whether legal requirements and technical capabilities converge or continue to diverge will determine whether the right to explanation becomes a meaningful protection or a formalistic obligation.

면책 조항: 이 게시물은 정보 제공 목적의 연구 동향 개요이다. 학술 연구에서 인용하기 전에 구체적인 연구 결과, 통계 및 주장은 원문 논문을 통해 검증해야 한다.

알고리즘 투명성과 설명을 받을 권리: 법으로 블랙박스 열기

은행의 AI 시스템이 대출 신청을 거부하거나, 형사 사법 알고리즘이 더 긴 형량을 권고하거나, 소셜 미디어 플랫폼이 게시물을 억제할 때, 피해 당사자에게는 단순한 질문이 생긴다: 왜? 의미 있는 답변을 받을 법적 권리—"설명을 받을 권리"—는 AI 거버넌스에서 가장 논쟁적인 개념 중 하나가 되었다.

2018년부터 시행된 EU의 일반 데이터 보호 규정(GDPR)에는 일부에서 그러한 권리를 확립하는 것으로 해석하는 조항이 포함되어 있다(제13-15조, 제22조). 2024년에 최종 확정된 EU AI Act는 고위험 AI 시스템에 대한 투명성 및 설명 가능성 요건을 의무화함으로써 한 걸음 더 나아간다. 그러나 법적 의무와 기술적 현실 사이의 간극은 크다. 가장 성능이 뛰어난 AI 시스템(심층 신경망, 대형 언어 모델)은 정확히 인간이 해석할 수 있는 방식으로 설명하기 가장 어려운 시스템들이다.

최근 세 편의 논문이 법적·기술적·실용적 관점에서 이러한 긴장 관계를 검토한다.

왜 중요한가

알고리즘 의사결정은 개인에게 중대한 결과를 초래하는 영역으로 확대되고 있다: 신용 평가, 채용, 형사 선고, 의료 중증도 분류, 복지 수급 자격, 이민 처리, 보험 가격 책정이 그러한 영역에 해당한다. 각 영역에서 의사결정은 경제적 기회, 자유, 건강, 생존이라는 기본권에 영향을 미친다. 개인이 결정이 내려진 이유를 이해할 수 없다면 이를 의미 있게 이의 제기할 수 없으며, 책임 추궁은 불가능해진다.

투명성의 요청은 개인의 권리를 넘어선다. 민주적 거버넌스는 공권력을 행사하는 시스템이 감시를 받을 것을 요구한다. 알고리즘이 공공 자원을 배분하거나, 사법 체계에서 위험을 평가하거나, 정치적 발언을 조정할 때, 불투명성은 민주적 책임 자체를 훼손한다.

EU AI Act 프레임워크

Nannini(2024)는 EU AI Act의 투명성 및 설명 가능성 요건에 대해 현재까지 가장 상세한 분석을 제공한다. 이 논문은 근본적인 구조적 긴장 관계를 밝혀낸다: AI Act는 투명성(AI 시스템에 관한 정보를 이용 가능하게 만드는 것)과 설명 가능성(AI 결정을 피해 당사자가 이해할 수 있게 만드는 것) 모두를 의무화하지만, 이 두 가지는 서로 다른 기능을 수행하며 서로 다른 도전에 직면한다.

이 논문은 네 가지 차원을 구분하는 프레임워크를 제안한다:

시스템 수준의 투명성: AI 시스템 자체에 관한 정보—목적, 역량, 한계, 훈련 데이터, 성능 지표. 이는 주로 AI Act의 적합성 평가 및 문서화 요건을 통해 다루어진다.

결정 수준의 설명 가능성: 특정 개인에 대해 특정 결정이 내려진 이유에 관한 정보. 이것이 가장 강한 의미의 "설명을 받을 권리"이다.

프로세스 투명성: AI 배치를 둘러싼 거버넌스 프로세스에 관한 정보—누가 시스템 사용을 결정했는지, 어떤 인간 감독이 존재하는지, 어떤 검토 메커니즘이 이용 가능한지.

결과 투명성: AI 시스템의 집합적 결과에 관한 정보—정확도, 오류 패턴, 집단 간 불균형한 영향.

이 논문은 AI Act의 요건이 시스템 수준의 투명성에서 가장 강하고 결정 수준의 설명 가능성에서 가장 약하다고 주장하는데, 이는 정확히 후자가 기술적으로 가장 도전적이기 때문이다. 고위험 AI 시스템은 "배포자가 시스템의 출력을 해석하고 적절하게 활용할 수 있도록" "충분히 투명한" 정보를 제공해야 하지만(제13조), 수백 개의 특징(feature)을 처리하는 심층 신경망에 있어 무엇이 "충분한" 투명성을 구성하는지는 정의되지 않은 채로 남아 있다.

블랙박스 문제

Chaudhary (2024)는 알고리즘 투명성을 개념적·실천적 과제로서 종합적으로 분석한다. 이 논문이 광범위한 영향을 미치는 것은 다루는 내용의 폭넓음을 반영한다. 논문은 기술적 설명 가능성(explainability) 분야를 개관하며(LIME, SHAP, 어텐션 메커니즘, 반사실적 설명), 각 방법이 법적 투명성 요건을 충족할 수 있는지 평가한다.

주요 연구 결과는 다음과 같다:

• 사후적(post-hoc) 설명은 근사치이다: LIME 및 SHAP과 같은 방법은 모델의 실제 추론 과정을 드러내지 않는다. 이러한 방법들은 단순화된 근사치를 생성할 뿐이며, 이것이 모델의 실제 의사결정 과정을 반영할 수도 있고 그렇지 않을 수도 있다. 이를 "설명"으로 수용하는 법적 체계는 허위의 안심을 제공하는 것일 수 있다.
• 정확성-설명 가능성 간의 상충 관계: 더 정확한 모델(심층 신경망, 앙상블 방법)은 해석 가능성이 낮은 경향이 있다. 설명 가능성에 대한 법적 의무는 배포자로 하여금 덜 정확하지만 더 해석하기 쉬운 모델을 선택하도록 유도할 수 있으며, 이는 설명 권리가 보호하고자 하는 당사자들에게 오히려 피해를 줄 수 있다.
• 맥락이 중요하다: 의미 있는 설명을 구성하는 요소는 영역마다 다르다. 신용 결정에 대한 설명은 신청자의 재무적 특성에 초점을 맞출 수 있는 반면, 범죄 위험 평가에 대한 설명은 헌법적 보호를 다루어야 할 수도 있다. 획일적인 투명성 요건은 이러한 맥락 중 어느 것도 충족하지 못할 수 있다.

논문은 알고리즘 투명성이 책무성을 위해 필요하지만 충분하지는 않으며, 개별 결정의 해석 가능성에 의존하지 않는 제도적 메커니즘(감사 요건, 영향 평가, 독립적 감독)이 함께 뒷받침되어야 한다고 결론짓는다.

권리의 실질적 한계

Engelfriet (2025)는 의도적으로 회의적인 입장을 취하면서, 현재 구상된 형태의 설명 권리는 "해석 불가능하다(uninterpretable)"고 주장한다. 즉, 최신 AI 시스템에 대해 법적으로 의미 있으면서 동시에 기술적으로 실현 가능한 방식으로 이행될 수 없다는 것이다.

논문은 세 가지 근본적인 한계를 제시한다:

충실성(faithfulness) 문제: 복잡한 모델의 결정에 대한 설명은 필연적으로 단순화를 수반한다. 설명이 모델의 실제 추론을 충실히 반영하지 못한다면(신경망의 경우 일반적으로 불가능하다), 설명을 제공하는 것은 법적 요건을 충족하면서도 실질적인 이해를 전혀 제공하지 못하는 결과를 낳을 수 있다.

수신자(recipient) 문제: 설명은 그것을 받는 사람이 이해할 수 있어야 한다. 그러나 신경망의 수학적 연산은 대부분의 사람들에게, 그리고 논문의 주장에 따르면 대부분의 판사들에게도 이해하기 어렵다. 이해 가능한 수준으로 단순화하다 보면 왜곡의 위험이 발생한다.

게이밍(gaming) 문제: AI 운영자가 시스템의 결정을 설명해야 한다면, 기술적으로는 규정을 준수하지만 실질적으로는 정보를 제공하지 않는 설명을 설계할 수 있다. 예컨대 "귀하의 신청은 신용 이력 및 소득 수준을 포함한 복합적인 요인에 근거하여 거절되었습니다"라는 설명은 투명성 요건을 충족하면서도 의미 있는 이의 제기를 불가능하게 만든다.

Engelfriet은 투명성 자체에 반대하는 것이 아니다. 오히려 이 논문은 설명 권리가 이의 제기 권리(right to contestation)로 재개념화되어야 한다고 주장한다. 즉, 기술이 실질적으로 제공할 수 없는 설명을 요구하는 대신, 영향을 받는 당사자들이 의미 있는 심사 메커니즘에 접근할 수 있도록 보장해야 한다는 것이다.

투명성 메커니즘 비교

<

메커니즘	제공 내용	법적 근거	한계
시스템 문서화	AI의 일반적 작동 방식	AI Act 제11-13조	개별 결정을 설명하지 못함
특성 중요도(SHAP/LIME)	어떤 입력값이 가장 중요했는지	GDPR 제13-15조(논쟁 중)	사후적 근사치; 실제 추론을 반영하지 못할 수 있음
반사실적 설명	다른 결과를 위해 무엇이 달라져야 했는지	아직 의무화되지 않음	계산 비용이 높음; 게이밍 전략을 노출할 수 있음
감사 및 영향 평가	집계적 공정성 및 정확도	AI Act 제9조; GDPR 제35조	개인이 자신의 사례를 이해하는 데 도움이 되지 않음
인간 검토	사람이 AI 결정을 검토함	GDPR 제22조; AI Act 제14조	검토자가 AI를 이해할 수 없는 경우 "형식적 승인(rubber stamping)" 위험

주목해야 할 사항

2025~2026년에 예상되는 EU AI Act의 이행 규정은 고위험 시스템에 대한 "충분한 투명성"을 구체화해야 하는바, 각 도메인별로 법적으로 요구되는 설명의 수준을 정의해야 할 것이다. 이 조항에 따른 첫 번째 집행 조치들은 규제 당국이 해당 요건을 진정한 해석 가능성을 요구하는 것으로 해석하는지, 아니면 절차적 준수를 수용하는지를 드러낼 것이다. 한편, 설명 가능한 AI(XAI) 기술 분야는 지속적으로 발전하고 있으며, 기계론적 해석 가능성(mechanistic interpretability)과 개념 기반 설명(concept-based explanations)이 보다 충실한 설명을 향한 잠재적 경로를 제시하고 있다. 법적 요건과 기술적 역량이 수렴할 것인지 아니면 계속 괴리를 보일 것인지에 따라, 설명을 받을 권리가 실질적인 보호 수단이 될지 혹은 형식적인 의무에 그칠지가 결정될 것이다.