Social media platforms generate vast quantities of text that capture public attitudes, emotional reactions, and discursive patterns in near real-time. Traditional content analysis—human coders reading and categorizing posts—cannot keep pace with this volume. Large language models offer an alternative: automated classification of sentiment, topic, and discourse features across millions of posts. But using LLMs as analytical instruments raises methodological questions: how reliable are their classifications? What biases do they introduce? And what can they reveal that human analysis cannot?

The Research Landscape

Geopolitical Discourse and LLM Bias

Rogers and Zhang (2024), with 15 citations, provide the most methodologically rigorous study, analyzing discourse about the Russia-Ukraine war across Chinese social media platforms (Weibo and Douyin) using both manual and LLM-assisted classification.

Their most striking finding is methodological: LLM classification systematically coded more posts as "neutral" than human coders did. Posts that human analysts identified as subtly pro-Russian (through ironic framing, what-aboutism, or selective emphasis) were classified as "neutral" by the LLM. This "bias toward neutrality" reflects the LLM's training: safety fine-tuning encourages models to avoid taking sides on politically sensitive topics, creating a systematic undercount of non-neutral sentiment.

The substantive finding is equally significant: Chinese social media discourse about the war showed "mass amplification of Russian state positions"—not through explicit pro-Russia statements (which are relatively rare) but through selective topic emphasis, framing effects, and narrative repetition. This amplification is largely invisible to LLM classification because it operates at the discourse level (how topics are framed) rather than the sentiment level (how individual posts are classified).

The implication for computational discourse analysis is clear: LLMs can classify individual posts but struggle with discourse-level phenomena that emerge from patterns across posts.

Food Safety Sentiment Evolution

Ma and Zheng (2024), with 12 citations, apply text mining and sentiment analysis to food safety incidents on Weibo, tracking how public sentiment evolves over time during food safety crises. Their contribution is the temporal dimension: not just what people feel, but how those feelings change as events unfold.

The analysis reveals a consistent pattern:

This temporal pattern has practical implications for crisis communication: the window for effective response is narrow (the first 24-48 hours), and failure to respond during this window allows blame attribution to solidify into durable public narratives.

Rural Landscape Sentiment

Zhang, Jin, and Rogers & Zhang (2024), with 5 citations, demonstrate a different application: analyzing public sentiment toward rural landscapes on Weibo using deep learning models. The study goes beyond simple sentiment classification to identify specific dimensions of landscape appreciation—aesthetic, ecological, nostalgic, economic—and their relative prevalence in public discourse.

The finding that "nostalgia" is the dominant sentiment dimension in rural landscape discussions (more prevalent than aesthetic appreciation or economic valuation) has implications for rural planning: public support for rural preservation may be driven more by emotional attachment to an idealized past than by ecological or economic arguments.

Marriage Discourse

Ye and Gao (2025) apply LLM-assisted content analysis to 219,358 marriage-related posts from Weibo and Xiaohongshu, examining how declining marriage rates in China are discussed on social media. The analysis identifies moral foundations underlying marriage discourse—care, fairness, loyalty, authority, sanctity—and how these foundations differ between platforms and demographic groups.

Critical Analysis: Claims and Evidence

Open Questions

What This Means for Your Research

For computational linguists, Rogers and Zhang's finding about neutrality bias is methodologically important: LLM classifications should be validated against human judgments, especially for politically sensitive content.

For crisis communication researchers, Ma and Zheng's temporal pattern provides an empirically grounded framework for response timing.

Explore related work through ORAA ResearchBrain.

면책 조항: 이 게시물은 정보 제공 목적의 연구 동향 개요이다. 학술 연구에서 인용하기 전에 구체적인 연구 결과, 통계 및 주장은 원본 논문과 대조하여 확인해야 한다.

담론 분석가로서의 LLM: 소셜 미디어 마이닝이 여론에 대해 밝히는 것

소셜 미디어 플랫폼은 공공의 태도, 감정적 반응, 담론적 패턴을 거의 실시간으로 포착하는 방대한 양의 텍스트를 생성한다. 전통적인 내용 분석—사람이 직접 게시물을 읽고 분류하는 방식—은 이 규모에 발맞출 수 없다. 대규모 언어 모델(LLM)은 대안을 제시한다. 수백만 건의 게시물에 걸쳐 감성, 주제, 담론적 특징을 자동으로 분류하는 것이다. 그러나 LLM을 분석 도구로 활용하는 것은 방법론적 질문을 제기한다. 분류의 신뢰도는 어느 정도인가? 어떤 편향을 도입하는가? 그리고 인간 분석으로는 밝힐 수 없는 것을 무엇을 드러낼 수 있는가?

연구 동향

지정학적 담론과 LLM 편향

Rogers and Zhang (2024)은 15회 인용으로, 방법론적으로 가장 엄밀한 연구를 제공하며, 수동 분류와 LLM 보조 분류를 모두 활용하여 중국 소셜 미디어 플랫폼(Weibo와 Douyin)에서 러시아-우크라이나 전쟁에 관한 담론을 분석한다.

이 연구에서 가장 주목할 만한 발견은 방법론적인 것이다. LLM 분류는 인간 코더보다 더 많은 게시물을 "중립"으로 체계적으로 코딩하였다. 인간 분석가가 미묘하게 친러시아적이라고 식별한 게시물(아이러니한 프레이밍, 화제 전환식 논리(what-aboutism), 또는 선택적 강조를 통해)을 LLM은 "중립"으로 분류하였다. 이러한 "중립 편향"은 LLM의 학습 방식에서 비롯된다. 안전 미세조정(safety fine-tuning)은 모델이 정치적으로 민감한 주제에 대해 입장 표명을 피하도록 유도하며, 이로 인해 비중립적 감성이 체계적으로 과소 계산된다.

실질적인 발견 또한 그에 못지않게 중요하다. 전쟁에 관한 중국 소셜 미디어 담론은 "러시아 국가 입장의 대규모 증폭"을 보여주었다. 이는 명시적인 친러시아 진술(비교적 드문)을 통해서가 아니라, 선택적 주제 강조, 프레이밍 효과, 서사 반복을 통해 이루어졌다. 이러한 증폭은 감성 수준(개별 게시물이 어떻게 분류되는지)이 아닌 담론 수준(주제가 어떻게 프레이밍되는지)에서 작동하기 때문에 LLM 분류에는 대체로 포착되지 않는다.

계산 담론 분석에 대한 시사점은 명확하다. LLM은 개별 게시물은 분류할 수 있지만, 게시물 전반의 패턴에서 나타나는 담론 수준의 현상은 파악하기 어렵다.

식품 안전 감성의 변화

Ma and Zheng (2024)은 12회 인용으로, Weibo의 식품 안전 사건에 텍스트 마이닝과 감성 분석을 적용하여 식품 안전 위기 기간 동안 공중 감성이 시간에 따라 어떻게 변화하는지를 추적한다. 이 연구의 기여는 시간적 차원에 있다. 단순히 사람들이 무엇을 느끼는지가 아니라, 사건이 전개됨에 따라 그 감정이 어떻게 변화하는지를 분석한다.

분석은 일관된 패턴을 드러낸다.

이러한 시간적 패턴은 위기 커뮤니케이션에 실질적인 시사점을 제공한다. 효과적인 대응을 위한 창(window)은 좁으며(초기 24-48시간), 이 창 내에 대응하지 못할 경우 책임 귀인이 지속적인 공중 서사로 고착화된다.

농촌 경관 감성

농촌 경관 논의에서 '향수(nostalgia)'가 지배적인 감정 차원이라는 발견(미적 감상이나 경제적 평가보다 더 우세함)은 농촌 계획에 시사점을 제공한다: 농촌 보존에 대한 공중의 지지는 생태적 또는 경제적 논거보다 이상화된 과거에 대한 정서적 애착에 의해 더 많이 추동될 수 있다.

결혼 담론

Ye와 Gao(2025)는 LLM 보조 내용 분석을 Weibo와 Xiaohongshu에서 수집한 결혼 관련 게시물 219,358건에 적용하여, 중국의 혼인율 감소가 소셜 미디어에서 어떻게 논의되는지 검토한다. 이 분석은 결혼 담론의 근저에 있는 도덕적 토대—배려, 공정성, 충성, 권위, 신성함—와 이러한 토대가 플랫폼 및 인구통계학적 집단에 따라 어떻게 달라지는지를 규명한다.

비판적 분석: 주장과 증거

미해결 문제

연구에 주는 시사점

전산 언어학자에게는 Rogers와 Zhang의 중립 편향 발견이 방법론적으로 중요하다: LLM 분류 결과는 특히 정치적으로 민감한 콘텐츠의 경우 인간의 판단과 비교하여 검증되어야 한다.

위기 커뮤니케이션 연구자에게는 Ma와 Zheng의 시간적 패턴이 대응 시점 결정을 위한 경험적 근거를 갖춘 프레임워크를 제공한다.

관련 연구는 ORAA ResearchBrain을 통해 탐색할 수 있다.