In courtrooms across the United States, algorithmic risk assessment tools inform decisions about who receives bail, who is sentenced to prison, and who is released on parole. COMPAS (Correctional Offender Management Profiling for Alternative Sanctions), PSA (Public Safety Assessment), and their successors analyze defendant data—criminal history, age, employment status, social ties—and generate risk scores that judges use as inputs to their decisions.

The promise is objectivity: algorithms do not have bad days, harbor racial prejudice, or vary their assessments based on when they last ate lunch (unlike human judges, whose sentencing decisions have been shown to correlate with the time since their last meal). The concern is that objectivity about a biased world merely systematizes the bias—producing decisions that are consistently unfair rather than inconsistently unfair.

Can AI Mitigate or Exacerbate Bias?

Gao (2025) explores AI's dual role in criminal sentencing—acknowledging that AI-driven tools can both reduce and amplify bias depending on design choices, data quality, and implementation context. As AI-driven tools increasingly integrate into global criminal justice systems, algorithmic justice has become a critical concern.

The paper identifies conditions under which AI reduces bias: when it replaces human decision-makers who exhibit demonstrable racial or socioeconomic prejudice, when it uses validated risk factors with empirical predictive power, and when its outputs are subject to meaningful human review.

It also identifies conditions under which AI amplifies bias: when training data reflects historical discrimination (e.g., higher arrest rates for Black Americans produce higher predicted risk scores), when proxy variables (zip code, employment status) correlate with protected characteristics (race, ethnicity), and when risk scores are treated as objective truth rather than probabilistic estimates.

Algorithmic Inequity

Schneider (2025) critically examines the phenomenon of algorithmic inequity within legal systems, focusing on how AI systems can perpetuate or deepen existing social inequalities when deployed in judicial contexts.

The analysis identifies a structural problem: AI systems trained on criminal justice data learn patterns from a system that has historically over-policed and over-incarcerated Black and Brown communities. A risk assessment tool that predicts recidivism based on prior arrests is, in effect, predicting future police attention rather than future criminal behavior. The prediction is accurate—people who have been arrested before are more likely to be arrested again—but the accuracy reflects policing patterns, not individual dangerousness.

This creates a feedback loop: algorithmic risk assessment → higher sentences for high-risk individuals → increased contact with the criminal justice system → higher future risk scores. The algorithm does not merely predict recidivism; it contributes to producing it.

Suggestive vs. Decisional Algorithms

Comoglio (2025) introduces an important distinction: between suggestive algorithms (which recommend outcomes for human judges to consider), predictive algorithms (which estimate probabilities of future events), and decisional algorithms (which autonomously determine legal outcomes). The paper argues that the legal and ethical analysis should differ depending on which type is deployed.

Suggestive algorithms preserve judicial discretion: the judge receives the risk score as one input among many and retains the authority to override it. The risk is that judges defer to algorithmic recommendations—either because they trust the technology or because they want to deflect responsibility for unpopular decisions.

Decisional algorithms eliminate judicial discretion entirely. No jurisdiction currently uses fully automated sentencing, but automated bail decisions, automated parole risk classification, and automated fine calculation are in use or under development. The democratic legitimacy concerns for decisional algorithms are qualitatively different from those for suggestive algorithms.

Fairness Verification

Zheng (2025) addresses the technical challenge of ensuring that AI criminal justice systems are fair. AI is increasingly utilized in criminal justice to support decisions related to bail, sentencing, and parole. However, these systems often perpetuate historical biases, particularly racial disparities embedded in the training data.

The paper proposes fairness verification algorithms and bias mitigation mechanisms. Many existing models lack effective mechanisms for ensuring fairness while maintaining predictive accuracy. The technical challenge is that different fairness metrics (demographic parity, equalized odds, predictive parity) are mathematically incompatible—a system cannot satisfy all fairness criteria simultaneously. This means that "fair AI" requires a choice about which kind of fairness to prioritize—a choice that is fundamentally political, not technical.

Democratic Legitimacy

Vidaki and Papakonstantinou (2025) raise a question that technical fairness analyses often neglect: can AI in judicial decision-making be democratically legitimate? The question goes beyond whether algorithmic decisions are accurate or fair to whether they are legitimate—whether they carry the authority that democratic societies require of their justice systems.

Democratic legitimacy in criminal justice derives from several sources: legislation enacted by elected representatives, judicial reasoning that can be scrutinized and appealed, procedural protections that ensure defendants are heard, and the personal accountability of judges who exercise judgment on behalf of the community. Algorithmic decision-making disrupts each of these sources: the algorithm's logic may be proprietary, its reasoning may be opaque, and no individual bears personal responsibility for its outputs.

Claims and Evidence

Open Questions

Implications

The research reviewed here suggests that AI in criminal justice is neither the objective oracle its advocates promise nor the discrimination machine its critics fear. It is a tool whose effects depend on design choices, implementation contexts, and governance structures. The question is not whether to use AI in criminal justice but under what conditions, with what safeguards, and with what accountability mechanisms.

The evidence supports several design principles: training data should be audited for historical bias before use; fairness metrics should be chosen through democratic deliberation, not technical default; algorithmic outputs should be treated as recommendations, not decisions; and defendants should have meaningful rights to challenge algorithmic assessments.

면책 조항: 이 게시물은 정보 제공 목적의 연구 동향 개요이다. 학술 연구에서 인용하기 전에 구체적인 연구 결과, 통계 및 주장은 원본 논문을 통해 반드시 검증해야 한다.

법정의 AI: 알고리즘이 정의를 실현할 수 있는가, 아니면 불의를 내재화하는가?

미국 전역의 법정에서 알고리즘 위험 평가 도구는 누가 보석을 받고, 누가 교도소에 수감되며, 누가 가석방으로 석방될지에 관한 결정에 영향을 미친다. COMPAS(Correctional Offender Management Profiling for Alternative Sanctions), PSA(Public Safety Assessment), 그리고 그 후속 도구들은 피고인 데이터—전과 기록, 나이, 고용 상태, 사회적 유대 관계—를 분석하여 판사들이 판단의 참고 자료로 활용하는 위험 점수를 산출한다.

이러한 도구들이 내세우는 장점은 객관성이다. 즉, 알고리즘은 컨디션이 나쁜 날이 없고, 인종적 편견을 품지 않으며, 마지막으로 식사한 시간에 따라 평가가 달라지지 않는다는 것이다(인간 판사와 달리, 이들의 양형 결정은 마지막 식사 이후 경과 시간과 상관관계가 있는 것으로 밝혀진 바 있다). 다만 우려되는 점은, 편향된 세계에 대한 객관성이 단지 그 편향을 체계화할 뿐이라는 것이다. 즉, 불일관적으로 불공정한 결정이 아니라 일관되게 불공정한 결정을 만들어낸다는 것이다.

AI는 편향을 완화할 수 있는가, 아니면 심화시키는가?

Gao(2025)는 형사 양형에서 AI의 이중적 역할을 탐구하며, AI 기반 도구가 설계 방식, 데이터 품질, 구현 맥락에 따라 편향을 줄이기도 하고 증폭시키기도 할 수 있음을 인정한다. AI 기반 도구가 전 세계 형사 사법 시스템에 점점 더 통합됨에 따라 알고리즘 정의(algorithmic justice)는 핵심적인 문제로 부상하고 있다.

해당 논문은 AI가 편향을 줄이는 조건들을 규명한다. 즉, 명백한 인종적·사회경제적 편견을 보이는 인간 의사결정자를 대체할 때, 경험적 예측력을 갖춘 검증된 위험 요인을 활용할 때, 그리고 AI의 산출 결과가 실질적인 인간 검토의 대상이 될 때이다.

또한 AI가 편향을 증폭시키는 조건들도 규명한다. 즉, 훈련 데이터가 역사적 차별을 반영할 때(예컨대, 흑인 미국인의 높은 체포율이 더 높은 예측 위험 점수로 이어지는 경우), 대리 변수(우편번호, 고용 상태)가 보호 특성(인종, 민족)과 상관관계를 가질 때, 그리고 위험 점수가 확률적 추정치가 아닌 객관적 사실로 취급될 때이다.

알고리즘적 불평등

Schneider(2025)는 법적 시스템 내 알고리즘적 불평등(algorithmic inequity) 현상을 비판적으로 검토하며, AI 시스템이 사법적 맥락에서 활용될 때 기존의 사회적 불평등을 어떻게 지속시키거나 심화시킬 수 있는지에 초점을 맞춘다.

이 분석은 구조적 문제를 규명한다. 형사 사법 데이터로 훈련된 AI 시스템은 역사적으로 흑인 및 유색인종 공동체를 과도하게 단속하고 과도하게 수감해 온 시스템의 패턴을 학습한다는 것이다. 이전 체포 기록을 바탕으로 재범을 예측하는 위험 평가 도구는 사실상 미래의 범죄 행동이 아니라 미래의 경찰 관심을 예측하는 것이다. 그 예측은 정확하다—이전에 체포된 적이 있는 사람은 다시 체포될 가능성이 더 높다—하지만 그 정확성은 개인의 위험성이 아니라 치안 패턴을 반영한다.

이는 피드백 루프를 형성한다. 즉, 알고리즘적 위험 평가 → 고위험 개인에 대한 더 높은 형량 → 형사 사법 시스템과의 접촉 증가 → 미래의 더 높은 위험 점수로 이어지는 것이다. 알고리즘은 단지 재범을 예측하는 것이 아니라, 재범을 생산하는 데 기여한다.

제안적 알고리즘 대 결정적 알고리즘

Comoglio(2025)는 중요한 구분을 제시한다. 즉, 인간 판사가 고려할 결과를 권고하는 제안적 알고리즘(suggestive algorithms), 미래 사건의 확률을 추정하는 예측적 알고리즘(predictive algorithms), 그리고 법적 결과를 자율적으로 결정하는 결정적 알고리즘(decisional algorithms)을 구분한다. 해당 논문은 어떤 유형이 활용되느냐에 따라 법적·윤리적 분석이 달라져야 한다고 주장한다. 제안형 알고리즘은 사법적 재량권을 보존한다. 판사는 여러 입력 정보 중 하나로 위험 점수를 제공받으며, 이를 기각할 권한을 유지한다. 위험은 판사가 알고리즘의 권고에 맹목적으로 따를 수 있다는 점인데, 이는 기술에 대한 신뢰 때문이기도 하고, 인기 없는 결정에 대한 책임을 회피하려는 의도 때문이기도 하다.

결정형 알고리즘은 사법적 재량권을 완전히 제거한다. 현재 완전 자동화된 양형을 사용하는 법원은 없지만, 자동화된 보석 결정, 자동화된 가석방 위험 분류, 자동화된 벌금 산정은 이미 시행 중이거나 개발 중에 있다. 결정형 알고리즘에 대한 민주적 정당성 문제는 제안형 알고리즘의 경우와는 질적으로 다르다.

공정성 검증

Zheng(2025)은 AI 형사 사법 시스템의 공정성을 보장하는 기술적 과제를 다룬다. AI는 보석, 양형, 가석방과 관련된 결정을 지원하기 위해 형사 사법 분야에서 점점 더 많이 활용되고 있다. 그러나 이러한 시스템은 역사적 편향, 특히 훈련 데이터에 내재된 인종적 불평등을 종종 영속시킨다.

이 논문은 공정성 검증 알고리즘과 편향 완화 메커니즘을 제안한다. 기존 모델 대부분은 예측 정확도를 유지하면서 공정성을 보장하는 효과적인 메커니즘이 부재하다. 기술적 과제는 서로 다른 공정성 지표(인구통계학적 동등성, 균등화된 오즈, 예측 동등성)가 수학적으로 양립 불가능하다는 점에 있다. 즉, 어떤 시스템도 모든 공정성 기준을 동시에 충족할 수 없다. 이는 "공정한 AI"가 어떤 종류의 공정성을 우선시할 것인가에 대한 선택을 요구하며, 이 선택은 근본적으로 기술적인 문제가 아니라 정치적인 문제임을 의미한다.

민주적 정당성

Vidaki와 Papakonstantinou(2025)는 기술적 공정성 분석에서 종종 간과되는 질문을 제기한다. 사법적 의사결정에서 AI는 민주적으로 정당할 수 있는가? 이 질문은 알고리즘적 결정이 정확하거나 공정한지의 문제를 넘어, 그것이 정당한지—즉, 민주주의 사회가 사법 시스템에 요구하는 권위를 지니는지—의 문제로 나아간다.

형사 사법에서 민주적 정당성은 여러 원천에서 비롯된다. 선출된 대표자들이 제정한 입법, 검토와 항소가 가능한 사법적 추론, 피고인의 의견이 반영되도록 보장하는 절차적 보호, 그리고 공동체를 대신하여 판단을 행사하는 판사의 개인적 책임이 그것이다. 알고리즘적 의사결정은 이러한 각각의 원천을 교란시킨다. 알고리즘의 논리는 독점적일 수 있고, 그 추론은 불투명할 수 있으며, 알고리즘의 산출물에 대해 개인적 책임을 지는 사람은 없다.

주장과 근거

미해결 질문

시사점

이 연구에서 검토한 결과에 따르면, 형사 사법 분야의 AI는 지지자들이 약속하는 객관적인 신탁(oracle)도 아니고, 비판자들이 우려하는 차별의 기계도 아니다. AI는 그 효과가 설계 선택, 구현 맥락, 그리고 거버넌스 구조에 따라 달라지는 하나의 도구이다. 핵심 질문은 형사 사법 분야에서 AI를 사용할 것인가의 여부가 아니라, 어떤 조건 하에서, 어떤 안전장치를 갖추고, 어떤 책임 메커니즘과 함께 사용할 것인가이다.

관련 증거는 다음과 같은 몇 가지 설계 원칙을 뒷받침한다. 훈련 데이터는 사용 전에 역사적 편향에 대한 감사를 받아야 하며, 공정성 지표는 기술적 기본값이 아닌 민주적 숙의를 통해 선택되어야 하고, 알고리즘 출력물은 결정이 아닌 권고안으로 취급되어야 하며, 피고인은 알고리즘 평가에 이의를 제기할 수 있는 실질적인 권리를 보장받아야 한다.