EducationSystematic Review
Educational Data Mining: Predicting Student Success or Sorting Students Into Futures?
Educational data mining can predict which students will fail with increasing accuracy. But the harder question—whether prediction leads to intervention, and whether intervention leads to success—remains largely unanswered. Four papers reveal a field that is technically sophisticated but pedagogically incomplete.
By Sean K.S. Shin
This blog summarizes research trends based on published paper abstracts. Specific numbers or findings may contain inaccuracies. For scholarly rigor, always consult the original papers cited in each post.
Educational data mining (EDM) has matured into a sophisticated field that applies machine learning, statistical modeling, and data science to educational datasets. The primary application is student success prediction: using data from learning management systems (click patterns, submission times, quiz scores, forum participation) to identify students who are at risk of failing or dropping out, ideally early enough for intervention.
The technical progress is genuine. Prediction accuracy has improved from roughly 70% (basic logistic regression on demographic data) to over 90% (ensemble methods on multimodal behavioral data) for many prediction tasks. The data inputs have expanded from static demographics to dynamic behavioral sequences. And explainability tools (SHAP values, attention maps) now enable educators to understand why the model flagged a particular student.
Yet a persistent gap remains between prediction and outcome improvement. A growing number of studies demonstrate that we can predict student failure with impressive accuracy. Far fewer demonstrate that acting on those predictions actually prevents failure. The prediction-intervention gap—analogous to the one documented in MOOC dropout prediction—is the field's central challenge.
Explainable EDM Systems
Abukader, Alzubi, and Adegboye (2025) present a novel approach to student performance prediction integrating metaheuristic hyperparameter optimization with explainable AI. EDM plays a crucial role in developing intelligent early warning systems that enable timely interventions to improve student outcomes.
The technical contribution is twofold: the metaheuristic optimization (using whale optimization algorithm) automatically tunes the LightGBM model's hyperparameters for each institutional context, and SHAP-based learning analytics provide interpretable explanations for each prediction—enabling educators to understand not just that a student is at risk but why.
The explainability dimension is important because unexplained predictions are actionless predictions. If a system flags a student as "at risk" without indicating which behaviors or circumstances are driving the risk, the instructor cannot design a targeted intervention. SHAP values that identify "this student's risk is driven by declining assignment completion over the last three weeks" enable specific, actionable responses.
Al-Ameri, Al-Shammari, and Castiglione (2024) expand the data inputs for student prediction beyond structured LMS logs to include multimedia data. With the increasing adoption of digital LMS, there has been a surge in multimedia data, opening new avenues for understanding student learning behavior.
The multimedia approach captures dimensions of learning engagement that click data misses: video watching patterns (fast-forwarding, rewatching, pausing), engagement with interactive content, and participation in multimedia discussion forums. These richer data inputs improve prediction accuracy—but they also raise privacy concerns about the granularity of student behavioral surveillance.
Early Warning and Intervention
Deepak (2025) investigates how predictive analytics can be used to design early warning systems that identify at-risk students and trigger timely, targeted interventions. The study situates these systems within the broader context of educational resilience.
The paper addresses the intervention side of the prediction-intervention gap. An early warning system is not merely a prediction tool—it is an organizational system that includes: a prediction model (which students are at risk), an alert mechanism (how risk information reaches the right people), an intervention protocol (what actions are taken for flagged students), and an evaluation framework (whether interventions actually improve outcomes).
Systematic Review
Shoukath and Chakkaravarthy (2025) provide a systematic literature review of machine learning approaches and performance metrics for student success prediction. Higher education institutions rely on student performance data to improve academic outcomes, but challenges remain in evaluating which approaches are most effective and in what contexts.
The review reveals that most studies evaluate prediction performance using technical metrics (accuracy, AUC, F1) on held-out data—but rarely evaluate whether the predictions, when acted upon, improve student outcomes. This disconnect between technical evaluation and educational evaluation is a methodological gap that limits the field's practical impact.
Claims and Evidence
<
| Claim | Evidence | Verdict |
|---|
| EDM can predict student failure with high accuracy | Al-Ameri et al. (2024), Abukader et al. (2025): AUC consistently above 85% for various models | ✅ Supported |
| Explainable AI improves the actionability of predictions | Abukader et al. (2025): SHAP values enable targeted interventions | ✅ Supported |
| Early warning systems improve student outcomes | Deepak (2025): framework proposed; rigorous outcome evaluation remains scarce | ⚠️ Uncertain |
| The field evaluates educational impact rigorously | Shoukath & Chakkaravarthy (2025): technical metrics dominate; educational outcome evaluation is rare | ❌ Refuted |
Open Questions
Does prediction create self-fulfilling prophecies? If a student is flagged as "at risk" and this label shapes how instructors interact with them (reduced expectations, remedial tracking), does the prediction produce the failure it predicted?Should students see their own risk predictions? Transparency might motivate behavior change—or it might discourage students who learn they are "predicted to fail."How do we evaluate EDM ethically? Randomized trials (predicting for all, intervening for some) require deliberately withholding potentially helpful intervention from control groups.Can EDM be used proactively rather than reactively? Rather than identifying students who are already struggling, can predictive models identify optimal learning conditions before struggle begins?Implications
EDM's value will ultimately be measured not by prediction accuracy but by student success improvement. The field needs to close the loop between prediction and outcome—investing as much in intervention design and evaluation as it invests in model development.
면책 조항: 이 게시물은 정보 제공을 목적으로 한 연구 동향 개요이다. 학술 저작물에서 인용하기 전에 구체적인 연구 결과, 통계 및 주장은 원본 논문을 통해 검증해야 한다.
교육 데이터 마이닝: 학생 성공 예측인가, 아니면 학생의 미래를 분류하는 것인가?
교육 데이터 마이닝(EDM)은 머신러닝, 통계적 모델링, 데이터 사이언스를 교육 데이터셋에 적용하는 정교한 분야로 성장하였다. 주요 응용 분야는 학생 성공 예측이다. 즉, 학습 관리 시스템(LMS)의 데이터(클릭 패턴, 제출 시간, 퀴즈 점수, 포럼 참여도)를 활용하여 낙제 또는 중도 탈락 위험이 있는 학생을 식별하며, 이상적으로는 개입이 가능할 만큼 충분히 이른 시점에 이루어진다.
기술적 발전은 실질적이다. 많은 예측 과제에서 예측 정확도는 약 70%(인구통계학적 데이터를 활용한 기본 로지스틱 회귀)에서 90% 이상(다중 양식 행동 데이터를 활용한 앙상블 기법)으로 향상되었다. 데이터 입력값은 정적인 인구통계에서 동적인 행동 시퀀스로 확장되었다. 또한 설명 가능성 도구(SHAP 값, 어텐션 맵)는 교육자들이 모델이 특정 학생을 왜 위험 신호로 표시했는지 이해할 수 있도록 한다.
그러나 예측과 성과 개선 사이의 간극은 여전히 지속되고 있다. 증가하는 수의 연구들은 인상적인 정확도로 학생 실패를 예측할 수 있음을 입증하고 있다. 그러나 해당 예측에 따른 행동이 실제로 실패를 방지한다는 것을 입증하는 연구는 훨씬 적다. 예측-개입 간극—MOOC 중도 탈락 예측에서 문서화된 것과 유사한—은 이 분야의 핵심 과제이다.
설명 가능한 EDM 시스템
Abukader, Alzubi, Adegboye(2025)는 메타휴리스틱 하이퍼파라미터 최적화와 설명 가능한 AI를 통합한 학생 성취 예측에 대한 새로운 접근법을 제시한다. EDM은 학생 성과를 개선하기 위한 시의적절한 개입을 가능하게 하는 지능형 조기 경보 시스템 개발에 있어 중요한 역할을 한다.
기술적 기여는 두 가지이다. 메타휴리스틱 최적화(고래 최적화 알고리즘 활용)는 각 기관의 맥락에 맞게 LightGBM 모델의 하이퍼파라미터를 자동으로 조정하며, SHAP 기반 학습 분석은 각 예측에 대한 해석 가능한 설명을 제공한다. 이를 통해 교육자들은 학생이 위험에 처해 있다는 사실뿐만 아니라 그 이유까지 이해할 수 있다.
설명 가능성 측면은 중요한데, 설명되지 않은 예측은 실행 불가능한 예측이기 때문이다. 시스템이 어떤 행동이나 상황이 위험을 유발하는지 명시하지 않고 학생을 '위험군'으로 표시한다면, 교사는 표적화된 개입을 설계할 수 없다. "이 학생의 위험은 지난 3주간 과제 완료율의 감소에 기인한다"를 식별하는 SHAP 값은 구체적이고 실행 가능한 대응을 가능하게 한다.
멀티미디어 학습 데이터
Al-Ameri, Al-Shammari, Castiglione(2024)는 구조화된 LMS 로그를 넘어 멀티미디어 데이터를 포함하는 방향으로 학생 예측을 위한 데이터 입력값을 확장한다. 디지털 LMS의 도입이 증가함에 따라 멀티미디어 데이터가 급증하고 있으며, 이는 학생 학습 행동 이해를 위한 새로운 방향을 열어주고 있다.
멀티미디어 접근법은 클릭 데이터로는 포착하지 못하는 학습 참여의 차원을 포착한다. 구체적으로 동영상 시청 패턴(빨리 감기, 다시 보기, 일시 정지), 인터랙티브 콘텐츠 참여도, 멀티미디어 토론 포럼 참여 등이 포함된다. 이러한 풍부한 데이터 입력은 예측 정확도를 향상시키지만, 동시에 학생 행동 감시의 세분화 수준에 대한 프라이버시 우려도 제기한다.
조기 경보 및 개입
Deepak(2025)은 예측 분석을 활용하여 위험에 처한 학생을 식별하고 시의적절하며 표적화된 개입을 유발하는 조기 경보 시스템을 설계하는 방법을 연구한다. 이 연구는 이러한 시스템을 교육 회복탄력성의 더 넓은 맥락 속에 위치시킨다.
이 논문은 예측-개입 격차(prediction-intervention gap)의 개입 측면을 다룬다. 조기 경보 시스템(early warning system)은 단순한 예측 도구가 아니라, 예측 모델(어떤 학생이 위험에 처해 있는가), 경보 메커니즘(위험 정보가 적절한 담당자에게 어떻게 전달되는가), 개입 프로토콜(위험으로 표시된 학생에게 어떤 조치가 취해지는가), 평가 프레임워크(개입이 실제로 결과를 개선하는가)를 포함하는 조직적 시스템이다.
체계적 문헌 고찰
Shoukath와 Chakkaravarthy(2025)는 학생 성공 예측을 위한 머신러닝(machine learning) 접근법과 성능 지표에 대한 체계적 문헌 고찰(systematic literature review)을 제공한다. 고등교육 기관은 학업 성과를 개선하기 위해 학생 수행 데이터에 의존하지만, 어떤 접근법이 어떤 맥락에서 가장 효과적인지를 평가하는 데 있어 여전히 과제가 남아 있다.
이 고찰에 따르면, 대부분의 연구는 보류 데이터(held-out data)에 대해 기술적 지표(정확도, AUC, F1)를 사용하여 예측 성능을 평가하지만, 그 예측이 실제로 행동으로 이어졌을 때 학생 결과를 개선하는지는 거의 평가하지 않는다. 기술적 평가와 교육적 평가 사이의 이러한 단절은 해당 분야의 실질적 영향력을 제한하는 방법론적 공백이다.
주장과 근거
<
| 주장 | 근거 | 판정 |
|---|
| EDM은 높은 정확도로 학생 실패를 예측할 수 있다 | Al-Ameri 등(2024), Abukader 등(2025): 다양한 모델에서 AUC가 일관되게 85% 이상 | ✅ 지지됨 |
| 설명 가능한 AI(Explainable AI)는 예측의 실행 가능성을 향상시킨다 | Abukader 등(2025): SHAP 값이 표적 개입을 가능하게 함 | ✅ 지지됨 |
| 조기 경보 시스템은 학생 결과를 개선한다 | Deepak(2025): 프레임워크 제안; 엄밀한 결과 평가는 여전히 부족함 | ⚠️ 불확실 |
| 해당 분야는 교육적 영향을 엄밀하게 평가한다 | Shoukath & Chakkaravarthy(2025): 기술적 지표가 지배적; 교육적 결과 평가는 드뭄 | ❌ 반박됨 |
미해결 질문
예측이 자기충족적 예언(self-fulfilling prophecy)을 만들어 내는가? 학생이 "위험"으로 표시되고 이 레이블이 교수자가 해당 학생과 상호작용하는 방식(기대치 하향, 보충 학습 편성)을 형성한다면, 예측이 스스로 예측한 실패를 만들어 내는가?학생이 자신의 위험 예측을 볼 수 있어야 하는가? 투명성은 행동 변화를 동기부여할 수도 있지만, 자신이 "실패할 것으로 예측된다"는 것을 알게 된 학생을 낙담시킬 수도 있다.EDM을 어떻게 윤리적으로 평가할 것인가? 무작위 대조 시험(randomized trial)(모든 학생에 대해 예측하되, 일부에게만 개입)은 대조군에게 잠재적으로 도움이 될 수 있는 개입을 의도적으로 보류하는 것을 필요로 한다.EDM이 반응적(reactive)이 아닌 선제적(proactive)으로 활용될 수 있는가? 이미 어려움을 겪고 있는 학생을 식별하는 것 대신, 예측 모델이 어려움이 시작되기 전에 최적의 학습 조건을 식별할 수 있는가?시사점
EDM의 가치는 궁극적으로 예측 정확도가 아니라 학생 성공 개선으로 측정될 것이다. 이 분야는 예측과 결과 사이의 순환 고리를 완성해야 하며, 모델 개발에 투자하는 것만큼 개입 설계와 평가에도 투자해야 한다.
References (4)
[1] Abukader, A., Alzubi, A., & Adegboye, O. (2025). Intelligent System for Student Performance Prediction: EDM with Metaheuristic-Optimized LightGBM and SHAP. Applied Sciences, 15(20), 10875.
[2] Al-Ameri, A., Al-Shammari, W., Castiglione, A., Nappi, M., Pero, C., & Umer, M. (2024). Student Academic Success Prediction Using Learning Management Multimedia Data With Convoluted Features and Ensemble Model. ACM Journal of Data and Information Quality, 17(3).
[3] Deepak (2025). Predictive Analytics for Student Success: Early Warning Systems and Intervention Strategies. Edumania, 9171.
[4] Shoukath, T. & Chakkaravarthy, M. (2025). Predictive analytics in education: machine learning approaches and performance metrics for student success – a systematic literature review. Data & Metadata, 2025, 730.