Trend AnalysisArts & Design

Interactive Art Installations and Audience Participation: From Spectator to Co-Creator

Interactive art installations are evolving from button-press interactivity to emergent AI-driven narratives where audiences generate the artwork through their physical presence and emotional states. LLMs and digital humans create installations that are never the same twice.

By Sean K.S. Shin

This blog summarizes research trends based on published paper abstracts. Specific numbers or findings may contain inaccuracies. For scholarly rigor, always consult the original papers cited in each post.

Why It Matters

Interactive art has existed since at least the 1960s, when artists like Allan Kaprow created "Happenings" that required audience participation to exist. But the integration of AI—particularly large language models, computer vision, and generative systems—has fundamentally changed what "interaction" means. Early interactive art responded to simple inputs: press a button, step on a sensor, wave at a camera. Current interactive installations can understand natural language, interpret emotional states, generate unique narratives, and create digital beings that respond to audiences with apparent personality and mood.

This evolution matters because it transforms the relationship between artwork and audience from stimulus-response to genuine dialogue. When an installation uses an LLM to generate narrative in response to a visitor's light patterns, or when a digital avatar simulates emotional instability triggered by audience behavior, the resulting experience is emergent—unpredictable, unrepeatable, and collaboratively authored by human and machine.

The Science / The Practice

Light as Language: LLM-Driven Emergent Narrative

Wu et al. (2024), with 2 citations, introduce "I Light U Up," an installation where audiences use light to communicate with parallel digital beings, generating narrative experiences powered by LLMs. The work is significant because it replaces conventional interaction paradigms (touch, gesture, voice) with light as an input modality—creating an installation where the audience's physical data (light patterns) directly feed the AI's narrative generation. Each visitor's experience is unique because the LLM generates different narrative responses to different light inputs. This represents a new paradigm: the audience does not interact with a pre-authored artwork but participates in generating an artwork that did not exist before their arrival.

Emotionally Unstable Digital Humans

Cai and She (2025), with 1 citation, present CRIA (Cocktail Responsive Interactive Avatar), a digital human that simulates emotional instability. The avatar exhibits states such as intoxication, anger, and confusion, responding to audience interaction with mood-driven language generation and expressive speech synthesis. This is a provocative artistic choice: rather than creating an AI that serves the audience, CRIA creates an AI that has its own emotional agenda—disrupting the expectation that interactive technology should be helpful and compliant. The artistic effect is to foreground the uncanny qualities of AI personality rather than hiding them.

Post-Participation Meaning-Making

Sobiech et al. (2025) take a reception-theory approach, investigating how participants make meaning from interactive art through post-participation interviews. Their study examines an installation featuring a mirror that displayed a previous participant instead of the viewer—a simple but powerful disruption of self-perception. The semi-structured interviews reveal that participants engage in both relational meaning-making (connecting the experience to relationships with others) and emotional meaning-making (processing feelings evoked by the encounter). This research is valuable because it shifts focus from the technology to the human experience, asking not "what can the installation do?" but "what does it do to people?"

Animation and Psychological Effects

Yang (2024), with 1 citation, examines how animation specifically influences audience psychological responses in interactive installation art. The research identifies animation as a crucial bridge between static visual art and dynamic interactive experience, finding that animated elements enhance engagement, emotional response, and sense of agency. The study positions animation not as decoration but as a core expressive medium in interactive installation design.

Interactive Art Installation Paradigms

Paradigm	Input	AI Role	Audience Experience
Sensor-based (traditional)	Physical presence, gesture	Rule-based response	Predictable, repeatable
Light-as-language (Wu et al.)	Light patterns	LLM narrative generation	Emergent, unique each time
Emotional avatar (Cai & She)	Social interaction	Mood simulation, speech synthesis	Uncanny, confrontational
Digital mirror (Sobiech et al.)	Presence only	Show previous visitor	Relational, reflective
Animated (Yang)	Various	Enhanced visual feedback	Immersive, emotionally engaging

What To Watch

The integration of multimodal foundation models into interactive installations will enable artworks that simultaneously understand speech, gesture, facial expression, and environmental context—creating interactions far richer than any single input modality allows. Watch for installations that operate over extended time periods (weeks or months), accumulating audience interactions into an evolving collective artwork. Also watch for the emergence of "installation as research method," where interactive art installations become instruments for studying human behavior, emotion, and social interaction in naturalistic settings.

Explore related work through ORAA ResearchBrain.

왜 중요한가

인터랙티브 아트는 적어도 1960년대부터 존재해왔다. 당시 Allan Kaprow 같은 예술가들은 관객의 참여 없이는 성립하지 않는 "해프닝(Happenings)"을 창조했다. 그러나 AI, 특히 대형 언어 모델(LLM), 컴퓨터 비전, 생성 시스템의 통합은 "상호작용"의 의미를 근본적으로 바꾸어놓았다. 초기 인터랙티브 아트는 단순한 입력에 반응했다. 버튼을 누르거나, 센서를 밟거나, 카메라 앞에서 손을 흔드는 방식이었다. 현재의 인터랙티브 설치 작품은 자연어를 이해하고, 감정 상태를 해석하며, 고유한 내러티브를 생성하고, 관객에게 뚜렷한 개성과 감정을 가진 듯 반응하는 디지털 존재를 만들어낼 수 있다.

이러한 진화가 중요한 이유는, 작품과 관객의 관계가 자극-반응의 구도에서 진정한 대화로 전환되기 때문이다. 설치 작품이 LLM을 활용해 방문자의 빛 패턴에 반응하는 내러티브를 생성하거나, 디지털 아바타가 관객의 행동에 의해 촉발된 감정적 불안정성을 시뮬레이션할 때, 그 결과로 생성되는 경험은 창발적이다. 즉, 예측 불가능하고 반복 불가능하며, 인간과 기계가 공동으로 저작한 것이다.

연구 내용 / 실제 사례

언어로서의 빛: LLM 기반 창발적 내러티브

Wu et al. (2024)은 2건의 인용을 받은 연구에서 "I Light U Up"을 소개한다. 이 설치 작품에서 관객은 빛을 사용해 병렬적 디지털 존재와 소통하며, LLM이 구동하는 내러티브 경험을 생성한다. 이 작품은 기존의 상호작용 패러다임(터치, 제스처, 음성)을 빛이라는 입력 양식으로 대체한다는 점에서 의의가 있다. 관객의 물리적 데이터(빛 패턴)가 AI의 내러티브 생성에 직접 입력되는 설치 작품을 만들어낸 것이다. LLM이 서로 다른 빛 입력에 대해 각기 다른 내러티브 반응을 생성하기 때문에, 방문자마다 경험이 고유하다. 이는 새로운 패러다임을 대표한다. 관객은 사전에 저작된 작품과 상호작용하는 것이 아니라, 자신이 도착하기 전에는 존재하지 않았던 작품을 생성하는 데 참여하는 것이다.

감정적으로 불안정한 디지털 휴먼

Cai와 She (2025)는 1건의 인용을 받은 연구에서 감정적 불안정성을 시뮬레이션하는 디지털 휴먼인 CRIA(Cocktail Responsive Interactive Avatar)를 제시한다. 이 아바타는 취함, 분노, 혼란 같은 상태를 표현하며, 관객과의 상호작용에 감정 주도적 언어 생성과 표현적 음성 합성으로 반응한다. 이는 도발적인 예술적 선택이다. 관객을 돕는 AI를 만드는 대신, CRIA는 자체적인 감정적 의도를 가진 AI를 만들어냄으로써 인터랙티브 기술은 유용하고 순응적이어야 한다는 기대를 뒤흔든다. 이 작품의 예술적 효과는 AI 개성의 불가사의한 특질을 감추는 것이 아니라 전면에 부각시키는 것이다.

참여 이후의 의미 생성

Sobiech et al. (2025)은 수용 이론적 접근법을 채택하여, 참여 후 인터뷰를 통해 참가자들이 인터랙티브 아트에서 어떻게 의미를 만들어내는지 탐구한다. 이들의 연구는 관람자 대신 이전 참가자를 비추는 거울이 특징인 설치 작품을 다루는데, 이는 자기 인식을 교란하는 단순하지만 강력한 장치이다. 반구조화 인터뷰 결과, 참가자들은 관계적 의미 생성(경험을 타인과의 관계와 연결 짓기)과 감정적 의미 생성(만남에서 촉발된 감정 처리하기) 모두에 참여한다는 것이 드러났다. 이 연구는 기술 자체가 아닌 인간의 경험으로 초점을 옮겨, "설치 작품이 무엇을 할 수 있는가?"가 아니라 "설치 작품이 사람에게 무엇을 하는가?"를 묻는다는 점에서 가치가 있다.

애니메이션과 심리적 효과

Yang (2024)은 1건의 인용을 받은 연구에서 애니메이션이 인터랙티브 설치 미술에서 관객의 심리적 반응에 미치는 영향을 살펴본다. 이 연구는 애니메이션을 정적 시각 예술과 역동적 인터랙티브 경험 사이의 핵심 교량으로 규명하며, 애니메이션 요소가 참여도, 감정적 반응, 주체감을 강화한다는 것을 발견했다. 연구는 애니메이션을 단순한 장식이 아니라 인터랙티브 설치 디자인의 핵심 표현 매체로 자리매김한다.

인터랙티브 아트 설치 패러다임

패러다임	입력	AI 역할	관객 경험
센서 기반 (전통적)	신체적 존재, 제스처	규칙 기반 반응	예측 가능, 반복 가능
언어로서의 빛 (Wu et al.)	빛 패턴	LLM 내러티브 생성	창발적, 매번 고유함
감정 아바타 (Cai & She)	사회적 상호작용	감정 시뮬레이션, 음성 합성	불가사의함, 대립적
디지털 거울 (Sobiech et al.)	존재 자체	이전 방문자 표시	관계적, 성찰적
애니메이션 기반 (Yang)	다양함	강화된 시각적 피드백	몰입적, 감정적으로 풍부함

향후 주목할 점

멀티모달 기반 모델의 인터랙티브 설치 통합은 음성, 제스처, 표정, 환경적 맥락을 동시에 이해하는 작품을 가능하게 할 것이며, 이는 단일 입력 양식이 허용하는 것보다 훨씬 풍부한 상호작용을 만들어낼 것이다. 장기간(수주 또는 수개월)에 걸쳐 운영되며 관객의 상호작용을 축적해 진화하는 집합적 예술 작품으로 발전하는 설치 작품에 주목할 필요가 있다. 또한 "연구 방법으로서의 설치 작품"의 등장에도 주목해야 한다. 인터랙티브 아트 설치가 자연주의적 환경에서 인간의 행동, 감정, 사회적 상호작용을 연구하는 도구가 되는 흐름이다.

관련 연구는 ORAA ResearchBrain에서 탐색할 수 있다.

References (4)

[1] Wu, Z., Wen, R., & Sagesser, M. Z. (2024). I Light U Up: Exploring a New Emergent Narrative Paradigm through Physical Data Participation in AI Generative Experiences. UIST 2024 Adjunct.

DOI Scholar

[2] Cai, R., & She, J. (2025). Cocktail Responsive Interactive Avatar, CRIA: An Interactive Art Installation of Digital Human in Moody Scenario. ACM Creativity & Cognition.

DOI Scholar

[3] Sobiech, F., Walczak, N., & Ignatowicz, F. (2025). Interpreting the Digital Mirror: Relational and Emotional Meaning-Making in Interactive Art. IEEE SMC 2025.

DOI Scholar

[4] Yang, Z. (2024). Integration of Science and Art: The Influence of Animation on Audience's Psychological Effects in Interactive Installation Art. EAI Endorsed Transactions.

DOI Scholar

Interactive Art Installations and Audience Participation: From Spectator to Co-Creator

Why It Matters

The Science / The Practice

Light as Language: LLM-Driven Emergent Narrative

Emotionally Unstable Digital Humans

Post-Participation Meaning-Making

Animation and Psychological Effects

Interactive Art Installation Paradigms

What To Watch

왜 중요한가

연구 내용 / 실제 사례

언어로서의 빛: LLM 기반 창발적 내러티브

감정적으로 불안정한 디지털 휴먼

참여 이후의 의미 생성

애니메이션과 심리적 효과

인터랙티브 아트 설치 패러다임

향후 주목할 점

References (4)

Explore this topic deeper