More than half the world's population speaks two or more languages, and multilingual speakers rarely confine themselves to one language at a time. Code-switching, the practice of alternating between languages within a conversation or even within a single sentence, is not a sign of linguistic confusion but a sophisticated communicative strategy governed by complex sociolinguistic and grammatical constraints. Yet the overwhelming majority of NLP systems assume monolingual input, creating a fundamental mismatch with how billions of people actually use language online.

Why It Matters

Social media, messaging applications, and online forums generate enormous volumes of code-switched text daily. Hindi-English (Hinglish), Spanish-English (Spanglish), Malay-English (Manglish), and countless other language pairs are the default register for millions of digital communicators. When NLP systems cannot handle this mixed input, the consequences cascade: sentiment analysis fails, content moderation misclassifies, machine translation produces garbage, and information retrieval misses relevant content. The problem is not marginal. In many markets, code-switched text represents the majority of user-generated content.

Beyond engineering, code-switching research illuminates fundamental questions about how the bilingual mind organizes multiple linguistic systems. Computational models of code-switching must grapple with the same questions that occupy psycholinguists: what constrains where switches can occur, how are competing grammars activated simultaneously, and what triggers a switch in the first place.

The Science

Dedicated Code-Switching NLP Architecture

Sailaja (2025) presents SwitchLang AI, a system designed specifically for processing code-switched and multilingual text on social media and messaging platforms. The architecture addresses the core challenge that traditional NLP pipelines, trained on monolingual data, systematically fail when encountering mixed-language input. SwitchLang AI incorporates language identification at the token level, script-aware tokenization, and cross-lingual embeddings that can represent words from multiple languages in a shared semantic space. The system handles not only clean code-switching (where language boundaries align with word boundaries) but also code-mixing phenomena where morphemes from different languages combine within single words.

Benchmarking Language Identification Under Pressure

Ojo et al. (2025) introduce DIVERS-Bench, a comprehensive evaluation framework that tests state-of-the-art language identification models across diverse and challenging conditions including speech transcripts, web text, social media text, and crucially, code-switched data. Their findings reveal a stark performance gap: models that achieve near-perfect accuracy on clean monolingual text see dramatic degradation in code-switched domains. The benchmark covers multiple language families and demonstrates that current LID systems systematically overfit to clean, monolingual data distributions. The implication is that the foundational NLP task of language identification, often treated as solved, remains open in the multilingual real world.

Linguistic Patterns in Code-Switching

Susiawati et al. (2025) provide the linguistic grounding through a systematic literature review of 44 empirical studies on code-switching and code-mixing patterns among multilingual learners. Their synthesis identifies recurring structural patterns: intra-sentential switching tends to occur at syntactic boundaries that are structurally equivalent across the languages involved, confirming the Equivalence Constraint hypothesis. Tag-switching and inter-sentential switching follow discourse-functional patterns related to topic shifts, emphasis, and identity marking. The pedagogical implications are significant: code-switching is a competence marker rather than a deficiency, and language education systems should accommodate rather than penalize it.

Low-Resource Multilingual Models

Alghamdi (2025) addresses the architectural challenge of building transformer-based NLP systems that can handle low-resource languages, a problem intimately connected to code-switching since many code-switching pairs involve at least one low-resource language. The study demonstrates that while models like mBERT and XLM-RoBERTa achieve high performance on high-resource languages, they struggle to reliably represent the morphological and syntactic properties of low-resource languages, creating a systematic bias in code-switching processing toward the higher-resource language in any pair.

Code-Switching NLP Challenge Matrix

<

NLP Task	Monolingual Performance	Code-Switched Performance	Primary Bottleneck
Language identification	>98%	70-85%	Token-level ambiguity
Sentiment analysis	85-92%	60-75%	Emotion lexicon gaps
Named entity recognition	88-95%	55-70%	Mixed-script entities
Machine translation	30-45 BLEU	10-25 BLEU	Parallel data scarcity
Text classification	85-90%	65-80%	Feature space mismatch

What To Watch

The emergence of massively multilingual models trained on over 100 languages simultaneously is beginning to close the code-switching gap, but fundamental challenges remain. The most promising direction involves models that are explicitly trained on code-switched data rather than merely hoping that multilingual training produces code-switching competence as a side effect. Community-sourced annotation of code-switched corpora, particularly through gamified platforms and citizen science initiatives, could address the training data bottleneck. On the theoretical side, computational models of code-switching constraints offer a rare opportunity to bridge formal linguistics and NLP engineering in mutually beneficial ways.

Discover related work using ORAA ResearchBrain.

면책 조항: 이 게시물은 정보 제공 목적의 연구 동향 개요이다. 학술 연구에서 인용하기 전에 구체적인 연구 결과, 통계 및 주장은 원본 논문을 통해 검증해야 한다.

다국어 NLP에서의 코드 전환: 디지털 공간에서 언어가 충돌할 때

세계 인구의 절반 이상이 두 개 이상의 언어를 구사하며, 다국어 화자들은 한 번에 하나의 언어만을 사용하는 경우가 거의 없다. 코드 전환(code-switching)이란 대화 내에서, 심지어 단일 문장 내에서도 언어를 교대로 사용하는 관행으로, 이는 언어적 혼란의 징후가 아니라 복잡한 사회언어학적·문법적 제약에 의해 지배되는 정교한 의사소통 전략이다. 그러나 NLP 시스템의 압도적 다수는 단일 언어 입력을 전제로 하고 있어, 수십억 명의 사람들이 실제로 온라인에서 언어를 사용하는 방식과 근본적인 불일치를 빚고 있다.

왜 중요한가

소셜 미디어, 메시징 애플리케이션, 온라인 포럼은 매일 방대한 양의 코드 전환 텍스트를 생성한다. 힌디어-영어(Hinglish), 스페인어-영어(Spanglish), 말레이어-영어(Manglish), 그리고 수많은 다른 언어 쌍들은 수백만 명의 디지털 커뮤니케이터들이 기본적으로 사용하는 언어 레지스터이다. NLP 시스템이 이러한 혼합 입력을 처리하지 못할 경우 그 결과는 연쇄적으로 나타난다. 감성 분석이 실패하고, 콘텐츠 검수가 잘못 분류하며, 기계 번역이 의미 없는 결과물을 생성하고, 정보 검색이 관련 콘텐츠를 놓치게 된다. 이 문제는 결코 사소하지 않다. 많은 시장에서 코드 전환 텍스트는 사용자 생성 콘텐츠의 대다수를 차지한다.

공학적 측면을 넘어, 코드 전환 연구는 이중 언어 사용자의 마음이 여러 언어 체계를 어떻게 조직하는지에 관한 근본적인 질문들을 조명한다. 코드 전환에 대한 계산 모델은 심리언어학자들이 씨름하는 것과 동일한 질문들에 맞닥뜨려야 한다. 즉, 전환이 일어날 수 있는 위치를 제한하는 것은 무엇인지, 경쟁하는 문법들이 어떻게 동시에 활성화되는지, 그리고 무엇이 전환을 유발하는지가 바로 그것이다.

연구 내용

코드 전환 전용 NLP 아키텍처

Sailaja(2025)는 소셜 미디어 및 메시징 플랫폼에서 코드 전환 및 다국어 텍스트 처리를 위해 특별히 설계된 시스템인 SwitchLang AI를 제시한다. 이 아키텍처는 단일 언어 데이터로 학습된 전통적인 NLP 파이프라인이 혼합 언어 입력을 처리할 때 체계적으로 실패한다는 핵심 과제를 다룬다. SwitchLang AI는 토큰 수준의 언어 식별, 문자 체계 인식 토큰화, 그리고 여러 언어의 단어를 공유 의미 공간에서 표현할 수 있는 교차 언어 임베딩을 통합한다. 이 시스템은 언어 경계가 단어 경계와 일치하는 깔끔한 코드 전환뿐만 아니라, 서로 다른 언어의 형태소가 단일 단어 내에서 결합되는 코드 혼합 현상도 처리한다.

가혹한 조건에서의 언어 식별 벤치마킹

Ojo et al.(2025)은 음성 전사본, 웹 텍스트, 소셜 미디어 텍스트, 그리고 특히 코드 전환 데이터를 포함한 다양하고 까다로운 조건에서 최신 언어 식별 모델을 평가하는 포괄적인 평가 프레임워크인 DIVERS-Bench를 소개한다. 그들의 연구 결과는 명백한 성능 격차를 드러낸다. 즉, 깨끗한 단일 언어 텍스트에서 거의 완벽한 정확도를 달성하는 모델들이 코드 전환 도메인에서는 급격한 성능 저하를 보인다는 것이다. 이 벤치마크는 여러 어족(language family)을 대상으로 하며, 현재의 LID 시스템들이 체계적으로 깨끗한 단일 언어 데이터 분포에 과적합되어 있음을 입증한다. 이는 종종 해결된 문제로 여겨지던 언어 식별이라는 NLP의 기초 과제가 실제 다국어 환경에서는 여전히 열린 문제로 남아 있음을 시사한다.

코드 전환의 언어적 패턴

Susiawati et al. (2025)은 다중 언어 학습자들의 코드 전환(code-switching) 및 코드 혼합(code-mixing) 패턴에 관한 44편의 실증 연구를 체계적으로 문헌 고찰함으로써 언어학적 토대를 제공한다. 이들의 종합 분석은 반복적으로 나타나는 구조적 패턴을 규명한다. 문장 내 전환(intra-sentential switching)은 관련 언어들 간에 구조적으로 동등한 통사적 경계에서 발생하는 경향이 있으며, 이는 등가 제약(Equivalence Constraint) 가설을 뒷받침한다. 태그 전환(tag-switching)과 문장 간 전환(inter-sentential switching)은 주제 전환, 강조, 정체성 표지와 관련된 담화 기능적 패턴을 따른다. 교육적 함의는 중요하다. 즉, 코드 전환은 결핍의 표지가 아니라 능숙함의 표지이며, 언어 교육 체계는 이를 제재하기보다 수용해야 한다.

저자원 다국어 모델

Alghamdi (2025)는 저자원 언어를 처리할 수 있는 트랜스포머(transformer) 기반 NLP 시스템 구축이라는 구조적 과제를 다룬다. 이는 코드 전환 쌍이 저자원 언어를 최소 하나 포함하는 경우가 많다는 점에서 코드 전환과 밀접하게 연관된 문제이다. 해당 연구는 mBERT 및 XLM-RoBERTa와 같은 모델들이 고자원 언어에서는 높은 성능을 달성하지만, 저자원 언어의 형태론적·통사적 특성을 신뢰할 수 있는 수준으로 표상하는 데 어려움을 겪는다는 점을 보여준다. 이로 인해 코드 전환 처리 시 언어 쌍에서 더 고자원인 언어 쪽으로 체계적 편향이 발생한다.

코드 전환 NLP 과제 매트릭스

<

NLP 과제	단일 언어 성능	코드 전환 성능	주요 병목 요인
언어 식별	>98%	70-85%	토큰 수준 모호성
감성 분석	85-92%	60-75%	감정 어휘 집합 공백
개체명 인식	88-95%	55-70%	혼합 문자 개체
기계 번역	30-45 BLEU	10-25 BLEU	병렬 데이터 희소성
텍스트 분류	85-90%	65-80%	특징 공간 불일치

주목할 동향

100개 이상의 언어로 동시에 훈련된 대규모 다국어 모델의 등장은 코드 전환 격차를 좁히기 시작했지만, 근본적인 과제는 여전히 남아 있다. 가장 유망한 방향은 다국어 훈련이 부수적 효과로 코드 전환 능력을 산출하기를 기대하는 것이 아니라, 코드 전환 데이터로 명시적으로 훈련된 모델을 개발하는 것이다. 게임화 플랫폼 및 시민 과학 이니셔티브를 통한 코드 전환 말뭉치의 커뮤니티 기반 주석 작업은 훈련 데이터 병목 문제를 해결하는 데 기여할 수 있다. 이론적 측면에서 코드 전환 제약에 관한 계산 모델은 형식 언어학과 NLP 공학을 상호 이익이 되는 방식으로 연결할 수 있는 드문 기회를 제공한다.

관련 연구는 ORAA ResearchBrain을 통해 탐색할 수 있다.