Trend AnalysisArts & Design

Deepfake Technology in Film and Visual Arts: Creative Tool or Existential Threat?

Deepfake technology enables filmmakers to de-age actors, resurrect historical figures, and create impossible visual effects—but the same technology powers misinformation at scale. The dual-use challenge demands both creative innovation and robust detection systems.

By Sean K.S. Shin

This blog summarizes research trends based on published paper abstracts. Specific numbers or findings may contain inaccuracies. For scholarly rigor, always consult the original papers cited in each post.

Why It Matters

Deepfake technology—the use of deep learning to generate synthetic visual and audio media—occupies a unique position in the arts: it is simultaneously one of the most powerful creative tools and one of the most dangerous misinformation technologies ever developed. In filmmaking, deepfakes enable de-aging (Martin Scorsese's "The Irishman"), posthumous performances (Peter Cushing in "Rogue One"), and visual effects that would have been impossible or prohibitively expensive with traditional techniques. In the wider world, the same technology powers non-consensual intimate imagery, political disinformation, and financial fraud.

This dual-use nature makes deepfake technology a critical case study for how the arts engage with technologies that have both creative and destructive potential. The research landscape reflects this tension: one stream focuses on creative applications, another on detection and defense.

The Science / The Practice

Creative Applications in Film Production

Mittal et al. (2024), with 3 citations, provide the most direct examination of deepfakes as a legitimate filmmaking tool. Their paper explores how face-swapping, de-aging, and voice synthesis technologies can enhance visual effects production. The key argument is that deepfake technology is a natural evolution of the VFX pipeline—digital compositing, CGI characters, and motion capture were all controversial when introduced but are now standard. The paper documents use cases where deepfakes reduce production costs by orders of magnitude compared to traditional VFX, making high-quality visual effects accessible to independent filmmakers and smaller studios.

Batra et al. (2025), with 2 citations, address the other side of the equation by introducing SocialDF, a benchmark dataset and detection model specifically designed for social media platforms. Their research acknowledges that while deepfakes have legitimate creative applications, the primary distribution channel for harmful deepfakes is social media, where compression artifacts and platform-specific processing make detection more difficult. The benchmark provides standardized evaluation criteria for detection systems—a critical need in a field where claims of detection accuracy are often based on non-representative test sets.

Cultural Tourism and Creative AI

Yan et al. (2025) explore an unexpected application domain: the integration of creative AI and film visual effects technology in cultural tourism. Their work demonstrates how deepfake-adjacent technologies—virtual actors, historical scene reconstruction, and interactive AI characters—can create immersive tourism experiences that bring historical sites to life. A tourist visiting an ancient site could interact with AI-generated historical figures who explain the site's history in their "own" voices and appearances. This application highlights the creative potential of synthetic media when deployed in controlled, transparent contexts.

Blockchain-Based Authenticity Verification

Sakthivel et al. (2025) propose a combined AI and blockchain approach for deepfake detection, addressing a fundamental limitation of AI-only detection systems: even the best detection models can be fooled by adversarial attacks. By anchoring media authenticity on blockchain—recording provenance, creation metadata, and modification history in a tamper-resistant ledger—the system provides a complementary defense layer. This approach is particularly relevant for the film industry, where establishing the authenticity and provenance of visual assets has legal and contractual implications.

Deepfake Technology: Creative vs. Defensive Applications

Application	Domain	Opportunity	Risk
De-aging / resurrection	Film VFX	Impossible scenes become possible	Consent of deceased performers
Face-swapping	Film / entertainment	Cost reduction, creative flexibility	Non-consensual misuse
Historical reconstruction	Cultural tourism	Immersive heritage experiences	Historical inaccuracy
Voice synthesis	Audio production	Multilingual dubbing, accessibility	Voice identity theft
Detection systems	Platform safety	Misinformation defense	Arms race with generation
Blockchain provenance	Media industry	Tamper-resistant authenticity	Adoption barriers

What To Watch

The emerging regulatory landscape will shape how deepfake technology develops in the arts. The EU AI Act classifies deepfakes as high-risk when used without disclosure, while China requires watermarking of all AI-generated content. Watch for the development of industry-standard provenance systems (such as the C2PA standard) that embed creation metadata into media files, and for the film industry's evolving labor agreements around synthetic performances—the 2023 SAG-AFTRA strike was partly driven by concerns about AI replication of actors' likenesses.

Explore related work through ORAA ResearchBrain.

왜 중요한가

딥페이크 기술—심층 학습을 활용하여 합성 시각·음성 미디어를 생성하는 기술—은 예술 분야에서 독특한 위치를 점한다. 이 기술은 역사상 가장 강력한 창작 도구인 동시에 가장 위험한 허위 정보 기술 중 하나이다. 영화 제작에서 딥페이크는 디지털 노화 복원(Martin Scorsese의 "The Irishman"), 사후 공연 재현("Rogue One"의 Peter Cushing), 그리고 기존 기법으로는 불가능하거나 비용이 과도하게 드는 시각 효과를 가능하게 한다. 그러나 더 넓은 세계에서는 동일한 기술이 비동의 친밀 영상, 정치적 허위 정보, 금융 사기에 악용된다.

이러한 이중 사용 특성은 딥페이크 기술을 창의적 잠재력과 파괴적 잠재력을 동시에 지닌 기술에 예술이 어떻게 대응하는지를 보여주는 중요한 사례로 만든다. 연구 동향도 이러한 긴장을 반영한다. 한 흐름은 창의적 활용에 집중하고, 다른 흐름은 탐지와 방어에 초점을 맞춘다.

과학과 실천

영화 제작에서의 창의적 활용

Mittal et al. (2024)은 3회 인용을 기록하며, 딥페이크를 정당한 영화 제작 도구로 직접 검토한 가장 대표적인 연구를 제시한다. 이 논문은 얼굴 교체, 디지털 노화 복원, 음성 합성 기술이 시각 효과 제작을 어떻게 향상시킬 수 있는지를 탐구한다. 핵심 주장은 딥페이크 기술이 VFX 파이프라인의 자연스러운 진화라는 것이다—디지털 합성, CGI 캐릭터, 모션 캡처 모두 처음 도입될 때 논란이 있었지만 현재는 표준으로 자리 잡았다. 이 논문은 딥페이크가 기존 VFX 대비 제작 비용을 수십 배 절감하여 독립 영화 제작자와 소규모 스튜디오도 고품질 시각 효과를 활용할 수 있게 하는 사례들을 기록한다.

소셜 미디어를 위한 탐지 벤치마크

Batra et al. (2025)는 2회 인용을 기록하며, 소셜 미디어 플랫폼에 특화된 벤치마크 데이터셋과 탐지 모델인 SocialDF를 소개함으로써 문제의 반대편을 다룬다. 이 연구는 딥페이크가 정당한 창의적 활용도 있지만, 유해한 딥페이크의 주요 유통 경로는 소셜 미디어임을 인정한다. 소셜 미디어에서는 압축 아티팩트와 플랫폼별 처리 과정으로 인해 탐지가 더욱 어렵다. 이 벤치마크는 탐지 시스템에 대한 표준화된 평가 기준을 제공한다—탐지 정확도 주장이 종종 비대표적인 테스트 세트를 기반으로 하는 분야에서 매우 필요한 기준이다.

문화 관광과 창의적 AI

Yan et al. (2025)은 예상치 못한 응용 분야를 탐구한다. 바로 창의적 AI와 영화 시각 효과 기술을 문화 관광에 통합하는 것이다. 이 연구는 딥페이크와 인접한 기술—가상 배우, 역사적 장면 재현, 인터랙티브 AI 캐릭터—이 역사 유적지를 생동감 있게 되살리는 몰입형 관광 경험을 창출할 수 있음을 보여준다. 고대 유적지를 방문한 관광객이 해당 유적지의 역사를 자신의 "목소리"와 모습으로 설명하는 AI 생성 역사적 인물과 상호작용할 수 있다. 이 응용 사례는 합성 미디어가 통제되고 투명한 맥락에서 활용될 때의 창의적 잠재력을 잘 보여준다.

블록체인 기반 진위 확인

Sakthivel et al. (2025)은 AI와 블록체인을 결합한 딥페이크 탐지 방식을 제안하며, AI 전용 탐지 시스템의 근본적인 한계를 해결한다. 최고의 탐지 모델도 적대적 공격에 속을 수 있다는 것이 그 한계이다. 블록체인에 미디어 진위성을 고정함으로써—출처, 생성 메타데이터, 수정 이력을 변조 불가능한 원장에 기록함으로써—이 시스템은 보완적인 방어 계층을 제공한다. 이 접근법은 시각 자산의 진위성과 출처 확인이 법적·계약적 함의를 지니는 영화 산업에서 특히 의미가 있다.

딥페이크 기술: 창의적 활용 대 방어적 활용

활용 분야	도메인	기회	위험
디지털 노화 복원 / 부활	영화 VFX	불가능한 장면 구현	고인 공연자의 동의 문제
얼굴 교체	영화 / 엔터테인먼트	비용 절감, 창의적 유연성	비동의 악용
역사적 장면 재현	문화 관광	몰입형 문화유산 경험	역사적 부정확성
음성 합성	오디오 제작	다국어 더빙, 접근성 향상	음성 정체성 도용
탐지 시스템	플랫폼 안전	허위 정보 방어	생성 기술과의 군비 경쟁
블록체인 출처 확인	미디어 산업	변조 불가능한 진위성	도입 장벽

주목할 동향

새롭게 형성되고 있는 규제 환경이 딥페이크 기술의 예술 분야 발전 방향을 결정할 것이다. EU AI Act는 공개 없이 사용되는 딥페이크를 고위험으로 분류하며, 중국은 모든 AI 생성 콘텐츠에 워터마킹을 의무화하고 있다. 미디어 파일에 생성 메타데이터를 내장하는 C2PA 표준과 같은 업계 표준 출처 확인 시스템의 발전에 주목할 필요가 있다. 또한 합성 공연을 둘러싼 영화 산업 내 노동 협약의 변화도 중요하다—2023년 SAG-AFTRA 파업은 부분적으로 AI를 이용한 배우 외모 복제에 대한 우려에서 비롯되었다.

관련 연구는 ORAA ResearchBrain에서 탐색할 수 있다.

References (4)

[1] Mittal, S., Joshi, M., & Vats, P. (2024). Virtual Illusions: Unleashing Deepfake Expertise for Enhanced Visual Effects in Film Production. IEEE ICRITO 2024.

DOI Scholar

[2] Batra, A., Khemani, J., & Gumber, A. (2025). SocialDF: Benchmark Dataset and Detection Model for Mitigating Harmful Deepfake Content on Social Media Platforms. ACM Proceedings.

DOI Scholar

[3] Yan, P., Li, Q., & Ma, A. (2025). Exploration of the Integrated Application of Creative AI and Film Visual Effects Technology in Cultural Tourism. ACM Proceedings.

DOI Scholar

[4] Sakthivel, K., Harine, N., & Chandra Mohan, G. (2025). Towards Tamper-Resistant Digital Media: An AI and Blockchain Approach for Deepfake Detection. IEEE ICECA 2025.

DOI Scholar

Deepfake Technology in Film and Visual Arts: Creative Tool or Existential Threat?

Why It Matters

The Science / The Practice

Creative Applications in Film Production

Detection Benchmarks for Social Media

Cultural Tourism and Creative AI

Blockchain-Based Authenticity Verification

Deepfake Technology: Creative vs. Defensive Applications

What To Watch

왜 중요한가

과학과 실천

영화 제작에서의 창의적 활용

소셜 미디어를 위한 탐지 벤치마크

문화 관광과 창의적 AI

블록체인 기반 진위 확인

딥페이크 기술: 창의적 활용 대 방어적 활용

주목할 동향

References (4)

Explore this topic deeper