Trend AnalysisArts & Design

Dance Notation and Motion Capture Technology: Digitizing the Ephemeral Art

Dance is the most ephemeral of art forms—it exists only in the moment of performance. Motion capture and AI are now creating precise digital records of dance movement, enabling analysis, preservation, and new forms of choreographic creation that were previously impossible.

By Sean K.S. Shin

This blog summarizes research trends based on published paper abstracts. Specific numbers or findings may contain inaccuracies. For scholarly rigor, always consult the original papers cited in each post.

Why It Matters

Dance has a notation problem. Unlike music, which has had precise written notation for centuries, dance lacks a universally adopted system for recording movement. Labanotation and Benesh Movement Notation exist but are used by a tiny fraction of dance practitioners, requiring years of specialized training to read and write. The consequence is that the vast majority of choreographic work exists only in the bodies and memories of dancers—when they retire or die, that knowledge is lost.

Motion capture technology offers a fundamentally different solution: recording the three-dimensional kinematics of dance movement with millimeter precision. Combined with AI-powered analysis, motion capture can not only record dances but analyze their structural properties, compare movement styles across traditions, identify technical errors in training, and even generate new choreography. For an art form that has always been defined by its transience, this represents a paradigm shift.

The Science / The Practice

AI-Enhanced Motion Capture Analysis

Setia et al. (2025) provide a comprehensive review of how AI combined with motion capture is transforming dance performance analysis. The paper surveys both marker-based optical systems (high precision, expensive, studio-bound) and markerless systems (lower precision, portable, real-world applicable). The integration of AI adds a layer that raw motion capture data lacks: semantic understanding. AI can classify movement types, detect stylistic characteristics, identify deviations from a reference performance, and assess biomechanical risk. This transforms motion capture from a recording tool into an analytical instrument.

Digital Dance and Avatar Performance

Agata and Kirui (2025) examine the evolution of digital dance in Kenya, exploring how motion capture and avatar technology intersect with cultural dance preservation and social media choreography. Their study reveals a bidirectional influence: digital technologies enable the preservation of traditional Kenyan dances, while viral social media choreography creates new dance forms that are natively digital. The avatar dimension is particularly interesting—when a dancer's movements drive a digital character, the performance becomes detached from the dancer's physical appearance, creating new possibilities for expression and identity.

Real-Time Analysis for Dance Training

Zeng and Zhao (2024), with 1 citation, develop a street dance movement analysis and optimization system using real-time motion capture. The practical application is dance training: the system captures a student's movements in real-time, compares them to reference performances, and provides immediate feedback on timing, positioning, and body mechanics. This approach addresses a persistent challenge in dance education—the difficulty of providing precise, objective movement feedback when an instructor can only observe from one angle at normal speed.

Mathematical Modeling of Dance Movement

Liu (2024) takes the most technically ambitious approach, applying vector space modeling to classical Chinese dance movements captured through motion capture. By representing dance movements as vectors in a mathematical space, the system enables quantitative comparison of movement characteristics across performers, styles, and historical periods. The TrignoIM sensor system used in the study captures joint angles, velocities, and accelerations, creating a rich mathematical description of movement that can be analyzed computationally. This approach bridges the gap between dance scholarship (traditionally qualitative) and computational analysis (quantitative).

Motion Capture Technologies for Dance

Technology	Precision	Portability	Cost	Best For
Optical marker-based	Very high (sub-mm)	Low (studio only)	High	Research, archival
Markerless vision (AI)	Moderate	High	Low	Training, field recording
IMU sensors (Liu)	High (joint-level)	High	Moderate	Detailed biomechanical analysis
Real-time systems (Zeng & Zhao)	Moderate-high	Moderate	Moderate	Live feedback, training
Depth cameras	Moderate	High	Low	Quick capture, social media

What To Watch

The democratization of motion capture through smartphone-based body tracking (enabled by Apple ARKit, Google MediaPipe, and similar frameworks) will make dance recording accessible to anyone with a phone. Watch for the development of standardized dance movement databases that enable cross-cultural comparison of movement vocabularies, and for the integration of generative AI with motion capture to create AI choreography systems that can generate new dances in specified styles. The ethical dimension—who owns a digitized dance, especially when it captures indigenous or traditional movement—will become increasingly important as motion capture archives grow.

Explore related work through ORAA ResearchBrain.

왜 중요한가

무용은 기보(notation) 문제를 안고 있다. 수백 년 전부터 정밀한 기보 체계를 갖춰온 음악과 달리, 무용에는 보편적으로 채택된 동작 기록 방식이 없다. Labanotation과 Benesh Movement Notation이 존재하지만, 이를 읽고 쓰는 데 수년간의 전문 교육이 필요하여 극소수의 무용 전문가만이 활용하고 있다. 그 결과 대부분의 안무 작업은 오직 무용수의 몸과 기억 속에만 존재하며, 그들이 은퇴하거나 세상을 떠나면 그 지식도 함께 사라진다.

모션 캡처 기술은 근본적으로 다른 해결책을 제시한다. 무용 동작의 3차원 운동학(kinematics)을 밀리미터 단위의 정밀도로 기록하는 것이다. AI 기반 분석과 결합하면, 모션 캡처는 단순히 무용을 기록하는 것을 넘어 동작의 구조적 특성을 분석하고, 전통 간 동작 양식을 비교하며, 훈련 중 기술적 오류를 식별하고, 새로운 안무를 생성하는 것까지 가능하게 한다. 언제나 찰나성으로 정의되어 온 예술 형식에 있어, 이는 패러다임의 전환을 의미한다.

연구 내용

AI 강화 모션 캡처 분석

Setia et al. (2025)은 AI와 모션 캡처의 결합이 무용 공연 분석을 어떻게 변화시키는지에 대한 포괄적인 리뷰를 제공한다. 이 논문은 마커 기반 광학 시스템(고정밀, 고비용, 스튜디오 한정)과 마커리스 시스템(상대적으로 낮은 정밀도, 휴대 가능, 실세계 적용 가능) 모두를 다루고 있다. AI의 통합은 원시 모션 캡처 데이터가 결여하고 있는 층위, 즉 의미론적 이해를 추가한다. AI는 동작 유형을 분류하고, 양식적 특성을 감지하며, 기준 공연으로부터의 편차를 식별하고, 생체역학적 위험을 평가할 수 있다. 이를 통해 모션 캡처는 단순한 기록 도구에서 분석 도구로 변모한다.

디지털 댄스와 아바타 공연

Agata and Kirui (2025)는 케냐에서의 디지털 댄스 발전 양상을 탐구하며, 모션 캡처 및 아바타 기술이 문화적 무용 보존 및 소셜 미디어 안무와 어떻게 교차하는지를 살펴본다. 연구는 양방향 영향 관계를 밝혀낸다. 디지털 기술은 케냐 전통 무용의 보존을 가능하게 하는 동시에, 소셜 미디어에서 바이럴된 안무는 태생부터 디지털인 새로운 무용 형식을 창출한다. 아바타 차원은 특히 주목할 만하다. 무용수의 동작이 디지털 캐릭터를 구동할 때, 공연은 무용수의 신체적 외형으로부터 분리되어 표현과 정체성에 있어 새로운 가능성을 열어준다.

무용 훈련을 위한 실시간 분석

Zeng and Zhao (2024)는 피인용 1회로, 실시간 모션 캡처를 활용한 스트리트 댄스 동작 분석 및 최적화 시스템을 개발하였다. 실질적인 적용 분야는 무용 훈련이다. 이 시스템은 학생의 동작을 실시간으로 캡처하고 기준 공연과 비교하여 타이밍, 자세, 신체 역학에 관한 즉각적인 피드백을 제공한다. 이 접근법은 무용 교육에서 지속적으로 제기되어 온 과제, 즉 지도자가 정상 속도에서 한 각도로만 관찰할 수 있는 환경에서 정밀하고 객관적인 동작 피드백을 제공하기 어렵다는 문제를 해결한다.

무용 동작의 수학적 모델링

Liu (2024)는 가장 기술적으로 야심 찬 접근법을 취하며, 모션 캡처로 포착한 중국 고전 무용 동작에 벡터 공간 모델링을 적용한다. 무용 동작을 수학적 공간에서의 벡터로 표현함으로써, 이 시스템은 공연자, 양식, 역사적 시기에 걸쳐 동작 특성의 정량적 비교를 가능하게 한다. 연구에서 사용된 TrignoIM 센서 시스템은 관절 각도, 속도, 가속도를 캡처하여 계산적으로 분석 가능한 풍부한 수학적 동작 기술(記述)을 생성한다. 이 접근법은 전통적으로 정성적이었던 무용 연구와 정량적인 계산 분석 사이의 간극을 메운다.

무용을 위한 모션 캡처 기술 비교

기술	정밀도	휴대성	비용	최적 용도
광학 마커 기반	매우 높음 (서브밀리미터)	낮음 (스튜디오 전용)	높음	연구, 기록 보존
마커리스 비전 (AI)	중간	높음	낮음	훈련, 현장 기록
IMU 센서 (Liu)	높음 (관절 수준)	높음	중간	정밀 생체역학 분석
실시간 시스템 (Zeng & Zhao)	중간~높음	중간	중간	실시간 피드백, 훈련
뎁스 카메라	중간	높음	낮음	빠른 캡처, 소셜 미디어

주목할 동향

Apple ARKit, Google MediaPipe 등의 프레임워크를 통해 가능해진 스마트폰 기반 신체 추적으로 모션 캡처가 대중화됨에 따라, 무용 기록은 스마트폰을 가진 누구에게나 접근 가능해질 것이다. 동작 어휘의 교차 문화적 비교를 가능하게 하는 표준화된 무용 동작 데이터베이스의 개발, 그리고 지정된 양식으로 새로운 무용을 생성하는 AI 안무 시스템을 만들기 위한 생성형 AI와 모션 캡처의 통합에 주목할 필요가 있다. 모션 캡처 아카이브가 성장함에 따라, 특히 토착 또는 전통 동작을 캡처하는 경우 디지털화된 무용의 저작권 귀속 문제라는 윤리적 차원이 점점 더 중요해질 것이다.

관련 연구는 ORAA ResearchBrain을 통해 탐색할 수 있다.

References (4)

[1] Setia, N., Singh, A., & Dhingra, L. (2025). Motion Capture and AI in Dance Performance Analysis. ShodhKosh.

DOI Scholar

[2] Agata, F., & Kirui, A. K. (2025). The Evolution of Digital Dance: Choreography in the Age of Motion Capture and Avatars, a case of Nairobi City County. Journal of Visual and Performing Arts, 3(1).

DOI Scholar

[3] Zeng, Y., & Zhao, S. (2024). Application of Real-time Motion Capture Technology in Street Dance Movement Analysis and Optimization. Applied Mathematics and Nonlinear Sciences.

DOI Scholar

[4] Liu, M. (2024). Vector Space Modeling of Classical Chinese Dance Movements Based on Motion Capture Technology. Applied Mathematics and Nonlinear Sciences.

DOI Scholar

Dance Notation and Motion Capture Technology: Digitizing the Ephemeral Art

Why It Matters

The Science / The Practice

AI-Enhanced Motion Capture Analysis

Digital Dance and Avatar Performance

Real-Time Analysis for Dance Training

Mathematical Modeling of Dance Movement

Motion Capture Technologies for Dance

What To Watch

왜 중요한가

연구 내용

AI 강화 모션 캡처 분석

디지털 댄스와 아바타 공연

무용 훈련을 위한 실시간 분석

무용 동작의 수학적 모델링

무용을 위한 모션 캡처 기술 비교

주목할 동향

References (4)

Explore this topic deeper