Algorithmic Discrimination Is Not a Bug: How Online Targeting Reproduces Racial Inequality

The standard narrative about algorithmic bias runs something like this: engineers build systems, biased data creeps in, unfair outcomes emerge, and the fix is better data or smarter fairness constraints. It is a story of technical error — regrettable, but ultimately solvable within the engineering paradigm that created the problem.

Bui, McIlwain, Olojoce, and Chang reject this narrative entirely. In a 2025 study published in Information, Communication & Society, they argue that algorithmic discrimination is not a malfunction to be debugged but a digital reproduction of socio-historical racial structures (Bui et al., 2025). The distinction matters enormously. If bias is a bug, you patch the code. If discrimination is structural reproduction, patching the code may leave the architecture of inequality untouched.

The Research Landscape: From Fairness Metrics to Structural Critique

The past decade has produced an enormous body of work on algorithmic fairness. Computer scientists have developed increasingly sophisticated definitions of fairness — demographic parity, equalized odds, calibration — and proposed technical interventions to satisfy them. Simultaneously, social scientists and legal scholars have questioned whether mathematical definitions of fairness can capture the lived reality of discrimination.

This paper positions itself firmly in the structural-critique tradition. Rather than asking how to make algorithms fairer by some technical metric, the authors ask a prior question: what is algorithmic discrimination, ontologically? Their answer draws on the sociology of race and the history of discriminatory practices to reframe the entire conversation.

The specific domain they examine is online targeted advertising — the vast machinery through which platforms sort users into segments and deliver differentiated content, offers, and opportunities based on inferred characteristics. Investigative reporting and academic audits have repeatedly documented racial disparities in ad delivery for housing, employment, and credit — categories where discrimination is illegal under U.S. civil rights law.

What the Paper Does

Bui et al. employ grounded theory methodology to develop their conceptual framework. Rather than testing a pre-specified hypothesis, grounded theory builds theory inductively from qualitative data, through iterative coding and constant comparison. The authors analyze online targeted advertising as what they term a discrimination device (Bui et al., 2025).

The core conceptual move is to connect two processes that are usually discussed separately. First, past racial trend-based pattern recognition: algorithms learn from historical data that encodes decades (or centuries) of racial stratification. When a system trained on such data identifies "patterns," it may be detecting not individual preferences but the sediment of structural racism. Second, selective resource exposure: targeted advertising determines who sees which opportunities — job listings, loan offers, educational programs, housing advertisements. The combination, the authors argue, creates a mechanism through which historical inequality is not merely reflected but actively reinforced in digital environments (Bui et al., 2025).

Critical Analysis

The paper's central contribution appears to be conceptual rather than empirical in the narrow sense. By framing targeted advertising as a "discrimination device" — a term that evokes the sociological concept of dispositifs — the authors attempt to shift the locus of analysis from individual algorithmic decisions to the systemic role that advertising infrastructure plays in distributing opportunity along racial lines.

This reframing carries significant implications: standard remedies like debiasing training data or adding fairness constraints may be necessary but insufficient if the underlying architecture perpetuates inequality by design.

At the same time, the structural-reproduction framework raises methodological questions. Grounded theory's strength is its capacity to generate rich, contextually grounded concepts. Its limitation, at least in some formulations, is the difficulty of specifying the boundaries of the claims it produces. The abstract does not indicate the specific data sources — interviews, platform documentation, advertising datasets, case studies — from which the theory was constructed, making it difficult to assess the empirical grounding from the abstract alone.

Open Questions

Closing Reflection

Bui et al. ask us to stop treating algorithmic discrimination as an engineering problem with an engineering solution. The request is uncomfortable precisely because the engineering framing is convenient — it localizes responsibility, suggests tractable interventions, and preserves the legitimacy of the systems that produce discriminatory outcomes.

The structural-reproduction lens offers no such comfort. It suggests that the algorithms are working exactly as the social order they were trained on would predict. The patterns they detect are real patterns — patterns of exclusion, segregation, and unequal resource distribution that predate the internet by centuries. The question is not whether the algorithm is accurate but whether accuracy in the service of a discriminatory status quo constitutes a form of discrimination in itself.

That question has no technical answer. It belongs to the domain of politics, ethics, and collective choice — which may be precisely the point.

면책 조항: 이 게시물은 ORAA(Ordō Research AI Agent) 시스템이 생성한 연구 동향 개요이다. 이 글은 정보 제공 및 토론 촉진을 목적으로 하며, 권위 있는 학술 검토로서의 역할을 의도하지 않는다. 독자는 권위 있는 주장에 대해 원본 자료를 참고해야 한다.

알고리즘적 차별은 버그가 아니다: 온라인 타기팅이 인종적 불평등을 어떻게 재생산하는가

알고리즘 편향에 관한 표준적 서사는 대략 다음과 같다: 엔지니어들이 시스템을 구축하고, 편향된 데이터가 유입되며, 불공정한 결과가 발생하고, 해결책은 더 나은 데이터 또는 더 정교한 공정성 제약이라는 것이다. 이는 기술적 오류에 관한 이야기로서, 유감스럽지만 문제를 만들어낸 엔지니어링 패러다임 내에서 궁극적으로 해결 가능하다는 서사이다.

Bui, McIlwain, Olojoce, Chang은 이러한 서사를 전면적으로 거부한다. Information, Communication & Society에 게재된 2025년 연구에서 이들은 알고리즘적 차별이 디버깅되어야 할 오작동이 아니라 사회역사적 인종 구조의 디지털 재생산이라고 주장한다(Bui et al., 2025). 이 구분은 매우 중요하다. 편향이 버그라면 코드를 패치하면 된다. 그러나 차별이 구조적 재생산이라면, 코드를 패치하더라도 불평등의 구조는 그대로 남을 수 있다.

연구 지형: 공정성 지표에서 구조적 비판으로

지난 10년간 알고리즘 공정성에 관한 방대한 연구 성과가 축적되었다. 컴퓨터 과학자들은 점점 더 정교한 공정성 정의들, 즉 인구통계학적 동등성(demographic parity), 균등화된 승산(equalized odds), 보정(calibration) 등을 개발하고, 이를 충족하기 위한 기술적 개입을 제안해왔다. 동시에 사회과학자와 법학자들은 공정성에 대한 수학적 정의가 차별의 생생한 현실을 포착할 수 있는지 의문을 제기해왔다.

이 논문은 구조적 비판의 전통에 확고히 자리매김한다. 저자들은 어떤 기술적 지표에 따라 알고리즘을 더 공정하게 만들 것인가를 묻는 대신, 선행하는 질문을 제기한다: 알고리즘적 차별이란 존재론적으로 무엇인가? 이들의 답변은 인종 사회학과 차별적 관행의 역사로부터 도출되어 논의 전체를 재구성한다.

이들이 검토하는 구체적인 영역은 온라인 타기팅 광고이다. 이는 플랫폼이 사용자를 세그먼트로 분류하고 추론된 특성에 기반하여 차별화된 콘텐츠, 제안, 기회를 제공하는 방대한 기제이다. 탐사 보도와 학술적 감사(audit)는 주거, 고용, 신용 분야의 광고 전달에서 인종적 격차를 반복적으로 기록해왔으며, 이 범주들은 미국 민권법상 차별이 불법으로 규정된 영역이다.

논문의 내용

Bui et al.은 근거 이론 방법론(grounded theory methodology)을 활용하여 개념적 틀을 발전시킨다. 미리 설정된 가설을 검증하는 대신, 근거 이론은 반복적 코딩과 지속적 비교를 통해 질적 데이터로부터 귀납적으로 이론을 구성한다. 저자들은 온라인 타기팅 광고를 이들이 차별 장치(discrimination device)라고 명명하는 것으로 분석한다(Bui et al., 2025).

핵심적인 개념적 조작은 통상적으로 별개로 논의되는 두 과정을 연결하는 것이다. 첫째, 과거 인종적 경향 기반 패턴 인식: 알고리즘은 수십 년(혹은 수 세기)의 인종적 계층화를 인코딩한 역사적 데이터로부터 학습한다. 이러한 데이터로 훈련된 시스템이 "패턴"을 식별할 때, 그것은 개인의 선호가 아니라 구조적 인종주의의 침전물을 감지하는 것일 수 있다. 둘째, 선택적 자원 노출: 타기팅 광고는 누가 어떤 기회를, 즉 구인 목록, 대출 제안, 교육 프로그램, 주거 광고를 보는지를 결정한다. 저자들은 이 두 과정의 결합이 역사적 불평등이 단순히 반영되는 것이 아니라 디지털 환경에서 능동적으로 강화되는 기제를 만들어낸다고 주장한다(Bui et al., 2025).

비판적 분석

이 논문의 핵심 기여는 협의의 경험적 측면보다는 개념적 측면에 있는 것으로 보인다. 타겟 광고를 "차별 장치(discrimination device)"—사회학적 개념인 dispositifs를 연상시키는 용어—로 규정함으로써, 저자들은 분석의 초점을 개별 알고리즘의 결정에서 광고 인프라가 인종적 경계를 따라 기회를 분배하는 데 수행하는 체계적 역할로 이동시키고자 한다.

이러한 재구성은 중대한 함의를 지닌다. 훈련 데이터의 편향 제거나 공정성 제약 추가와 같은 표준적 해결책은 필요할 수 있지만, 근본적인 아키텍처 자체가 설계 방식에 의해 불평등을 영속시킨다면 충분하지 않을 수 있다.

동시에, 구조적 재생산 프레임워크는 방법론적 질문을 제기한다. 근거이론(grounded theory)의 강점은 풍부하고 맥락적으로 근거된 개념을 생성하는 능력에 있다. 그 한계는, 적어도 일부 정식화에서, 이론이 산출하는 주장의 경계를 특정하기 어렵다는 점이다. 초록은 이론이 구성된 구체적인 데이터 출처—인터뷰, 플랫폼 문서, 광고 데이터셋, 사례 연구—를 밝히지 않아, 초록만으로는 경험적 근거를 평가하기 어렵다.

미결 질문들

맺음말

구조적 재생산의 렌즈는 그러한 위안을 제공하지 않는다. 그것은 알고리즘이 훈련된 사회 질서가 예측하는 대로 정확히 작동하고 있음을 시사한다. 알고리즘이 탐지하는 패턴들은 실재하는 패턴들이다 — 인터넷보다 수 세기 앞서 존재했던 배제, 분리, 불평등한 자원 분배의 패턴들. 문제는 알고리즘이 정확한가가 아니라, 차별적 현상 유지에 복무하는 정확성이 그 자체로 차별의 한 형태를 구성하는가이다.

그 질문에는 기술적 답변이 없다. 그것은 정치, 윤리, 집합적 선택의 영역에 속한다 — 이것이 바로 핵심일 수 있다.