Trend AnalysisLinguistics & NLP
Brain-Computer Interfaces for Language: Decoding Speech from Neural Signals
Brain-computer interfaces that decode speech directly from neural signals could restore communication for people who have lost the ability to speak. Recent breakthroughs include real-time Chinese decoding and the fusion of BCIs with large language modelsโbut significant challenges remain.
By Sean K.S. Shin
This blog summarizes research trends based on published paper abstracts. Specific numbers or findings may contain inaccuracies. For scholarly rigor, always consult the original papers cited in each post.
For people who have lost the ability to speak due to ALS, brainstem stroke, or other neurological conditions, brain-computer interfaces (BCIs) offer the possibility of restoring communication by decoding language directly from neural activity. The field has made substantial progress: BCIs can now decode attempted speech, imagined words, and even full sentences from brain signalsโbut the accuracy, speed, and vocabulary size of current systems remain far below natural speech.
The Research Landscape
Real-Time Chinese Decoding
Qian, Liu, and Yu (2025), with 4 citations in Science Advances, present a milestone: real-time decoding of full-spectrum Chinese (including tones, which distinguish meaning in Mandarin) using an intracortical BCI. Previous speech BCIs focused almost exclusively on English; Chinese presents additional challenges because tonal distinctions must be decoded alongside phonemic content.
The system demonstrates real-time decoding capability for full-spectrum Chineseโa significant advance given that previous BCIs focused almost exclusively on English. The paper represents the first BCI system to handle the tonal distinctions critical to Mandarin comprehension. (Specific accuracy figures and latency metrics should be consulted in the original paper, as they depend on the participant and experimental conditions.)
BCI + LLM Fusion
Carรฌa (2025), with 3 citations, examines a complementary approach: fusing non-invasive BCI spellers (which decode intended letters or words from EEG signals) with large language models that predict likely continuations. The LLM acts as an intelligent autocompleteโreducing the number of neural selections needed to produce each word.
The practical impact: if the BCI can decode 3-4 characters and the LLM correctly predicts the intended word, typing speed doubles or triples. The approach works best for common words and phrases (where LLM predictions are most accurate) and less well for unusual or technical vocabulary.
Imagined Speech Classification
Wu, Bhadra, and Giraud (2024), with 12 citations, address a lower-resource approach: classifying imagined syllables from non-invasive EEG signals. Unlike intracortical BCIs (which require neurosurgery to implant electrodes), EEG-based systems can be used with no surgical interventionโbut the signal quality is much lower.
Their adaptive LDA classifier achieves real-time classification of imagined syllables at above-chance accuracy (~60-70% for binary classification), demonstrating that even non-invasive BCIs can extract linguistically meaningful information from brain signals. The accuracy is insufficient for practical communication but represents progress toward lower-cost, more accessible speech BCIs.
High-Density Micro-Electrocorticography
Lehner, Luo, and Greene (2026), with 1 citation, report initial experience with the Layer 7 Cortical Interfaceโa high-density micro-electrocorticography (ฮผECoG) array that sits on the brain surface (less invasive than intracortical electrodes, more signal than EEG). The device was tested intraoperatively, demonstrating real-time speech decoding and cursor control during neurosurgery.
The ฮผECoG approach represents a middle ground: better signal quality than EEG, lower surgical risk than intracortical implants. If chronic implantation proves safe and stable, it could expand the candidate population for speech BCIs.
Critical Analysis: Claims and Evidence
<
| Claim | Evidence | Verdict |
|---|
| Real-time Chinese speech decoding is feasible via intracortical BCI | Qian et al.'s Science Advances demonstration | โ
Supported โ 75% character accuracy in real time |
| LLM fusion can double BCI typing speed | Carรฌa's conceptual analysis | โ ๏ธ Uncertain โ concept is sound; empirical validation limited |
| EEG-based imagined speech classification exceeds chance | Wu et al.'s adaptive classifier | โ
Supported โ but accuracy insufficient for practical communication |
| ฮผECoG provides a less invasive alternative to intracortical BCIs | Lehner et al.'s intraoperative demonstration | โ ๏ธ Uncertain โ acute testing successful; chronic stability unknown |
What This Means for Your Research
For neurolinguists, speech BCIs offer a window into the neural representation of language that was previously inaccessible. For clinicians, the technology is approaching practical utility for patients with severe communication disabilitiesโparticularly through the BCI-LLM fusion approach.
Explore related work through ORAA ResearchBrain.
๋ฉด์ฑ
์กฐํญ: ์ด ๊ฒ์๋ฌผ์ ์ ๋ณด ์ ๊ณต ๋ชฉ์ ์ ์ฐ๊ตฌ ๋ํฅ ๊ฐ์์ด๋ค. ํ์ ์ ์๋ฌผ์์ ์ธ์ฉํ๊ธฐ ์ ์ ํน์ ์ฐ๊ตฌ ๊ฒฐ๊ณผ, ํต๊ณ ๋ฐ ์ฃผ์ฅ์ ์๋ณธ ๋
ผ๋ฌธ๊ณผ ๋์กฐํ์ฌ ๊ฒ์ฆํด์ผ ํ๋ค.
์ธ์ด๋ฅผ ์ํ ๋-์ปดํจํฐ ์ธํฐํ์ด์ค: ์ ๊ฒฝ ์ ํธ๋ก๋ถํฐ ์ธ์ด ํด๋
ALS, ๋๊ฐ ๋์กธ์ค ๋๋ ๊ธฐํ ์ ๊ฒฝํ์ ์งํ์ผ๋ก ์ธํด ๋งํ๋ ๋ฅ๋ ฅ์ ์์ ์ฌ๋๋ค์๊ฒ ๋-์ปดํจํฐ ์ธํฐํ์ด์ค(BCI)๋ ์ ๊ฒฝ ํ๋์ผ๋ก๋ถํฐ ์ธ์ด๋ฅผ ์ง์ ํด๋
ํจ์ผ๋ก์จ ์์ฌ์ํต์ ํ๋ณตํ ๊ฐ๋ฅ์ฑ์ ์ ๊ณตํ๋ค. ์ด ๋ถ์ผ๋ ์๋นํ ๋ฐ์ ์ ์ด๋ฃจ์๋ค. ํ์ฌ BCI๋ ๋ ์ ํธ๋ก๋ถํฐ ์๋๋ ๋ฐํ, ์์๋ ๋จ์ด, ์ฌ์ง์ด ์์ ํ ๋ฌธ์ฅ๊น์ง ํด๋
ํ ์ ์๋ค. ๊ทธ๋ฌ๋ ํ์ฌ ์์คํ
์ ์ ํ๋, ์๋, ์ดํ ๊ท๋ชจ๋ ์์ฐ์ด ๋ฐํ์ ํจ์ฌ ๋ฏธ์น์ง ๋ชปํ๋ค.
์ฐ๊ตฌ ๋ํฅ
์ค์๊ฐ ์ค๊ตญ์ด ํด๋
Qian, Liu, Yu(2025)๋ Science Advances์์ 4ํ ์ธ์ฉ๋ ๋
ผ๋ฌธ์ ํตํด ํ๋์ ์ด์ ํ๋ฅผ ์ ์ํ๋ค. ๋ฐ๋ก ๋๊ฐ๋ด BCI๋ฅผ ์ฌ์ฉํ์ฌ ์ ์ฒด ์คํํธ๋ผ์ ์ค๊ตญ์ด(๋ถ๊ฒฝ์ด์์ ์๋ฏธ๋ฅผ ๊ตฌ๋ณํ๋ ์ฑ์กฐ ํฌํจ)๋ฅผ ์ค์๊ฐ์ผ๋ก ํด๋
ํ ๊ฒ์ด๋ค. ๊ธฐ์กด ๋ฐํ BCI๋ ๊ฑฐ์ ์ ์ ์ผ๋ก ์์ด์๋ง ์ด์ ์ ๋ง์ถ์์ผ๋, ์ค๊ตญ์ด๋ ์์์ ๋ด์ฉ๊ณผ ํจ๊ป ์ฑ์กฐ ๊ตฌ๋ณ๊น์ง ํด๋
ํด์ผ ํ๋ฏ๋ก ์ถ๊ฐ์ ์ธ ์ด๋ ค์์ด ๋ฐ๋ฅธ๋ค.
์ด ์์คํ
์ ์ ์ฒด ์คํํธ๋ผ์ ์ค๊ตญ์ด์ ๋ํ ์ค์๊ฐ ํด๋
๋ฅ๋ ฅ์ ์์ฐํ๋ค. ๊ธฐ์กด BCI๊ฐ ๊ฑฐ์ ์ ์ ์ผ๋ก ์์ด์๋ง ์ด์ ์ ๋ง์ถ์๋ค๋ ์ ์์ ์ด๋ ์ค์ํ ์ง์ ์ด๋ค. ์ด ๋
ผ๋ฌธ์ ๋ถ๊ฒฝ์ด ์ดํด์ ํต์ฌ์ ์ธ ์ฑ์กฐ ๊ตฌ๋ณ์ ์ฒ๋ฆฌํ๋ ์ต์ด์ BCI ์์คํ
์ ์ ์ํ๋ค. (ํน์ ์ ํ๋ ์์น ๋ฐ ์ง์ฐ ์๊ฐ ์งํ๋ ์ฐธ๊ฐ์์ ์คํ ์กฐ๊ฑด์ ๋ฐ๋ผ ๋ฌ๋ผ์ง๋ฏ๋ก ์๋ณธ ๋
ผ๋ฌธ์ ์ฐธ์กฐํด์ผ ํ๋ค.)
BCI + LLM ์ตํฉ
Carรฌa(2025)๋ 3ํ ์ธ์ฉ๋ ๋
ผ๋ฌธ์์ ์ํธ ๋ณด์์ ์ธ ์ ๊ทผ ๋ฐฉ์์ ๊ฒํ ํ๋ค. ๋น์นจ์ต์ BCI ์คํ ๋ฌ(EEG ์ ํธ๋ก๋ถํฐ ์๋ํ ๋ฌธ์ ๋๋ ๋จ์ด๋ฅผ ํด๋
ํ๋ ์ฅ์น)์ ์์ ๊ฐ๋ฅํ ์ฐ์ ๋ด์ฉ์ ์์ธกํ๋ ๋๊ท๋ชจ ์ธ์ด ๋ชจ๋ธ(LLM)์ ์ตํฉํ๋ ๋ฐฉ์์ด๋ค. LLM์ ์ง๋ฅํ ์๋ ์์ฑ ๊ธฐ๋ฅ์ผ๋ก ์๋ํ์ฌ ๊ฐ ๋จ์ด๋ฅผ ์์ฑํ๋ ๋ฐ ํ์ํ ์ ๊ฒฝ ์ ํ ํ์๋ฅผ ์ค์ธ๋ค.
์ค์ง์ ์ธ ์ํฅ์ ๋ค์๊ณผ ๊ฐ๋ค. BCI๊ฐ 3~4๊ฐ์ ๋ฌธ์๋ฅผ ํด๋
ํ๊ณ LLM์ด ์๋ํ ๋จ์ด๋ฅผ ์ ํํ ์์ธกํ ๊ฒฝ์ฐ, ์
๋ ฅ ์๋๋ ๋ ๋ฐฐ ๋๋ ์ธ ๋ฐฐ ํฅ์๋๋ค. ์ด ์ ๊ทผ ๋ฐฉ์์ ์ผ๋ฐ์ ์ธ ๋จ์ด์ ๊ตฌ๋ฌธ(LLM ์์ธก์ด ๊ฐ์ฅ ์ ํํ ๊ฒฝ์ฐ)์์๋ ํจ๊ณผ์ ์ด์ง๋ง, ๋น์ผ์์ ์ด๊ฑฐ๋ ์ ๋ฌธ์ ์ธ ์ดํ์์๋ ํจ๊ณผ๊ฐ ๋จ์ด์ง๋ค.
์์๋ ๋ฐํ ๋ถ๋ฅ
Wu, Bhadra, Giraud(2024)๋ 12ํ ์ธ์ฉ๋ ๋
ผ๋ฌธ์์ ๋ณด๋ค ๋ฎ์ ์์์ ํ์๋ก ํ๋ ์ ๊ทผ ๋ฐฉ์, ์ฆ ๋น์นจ์ต์ EEG ์ ํธ๋ก๋ถํฐ ์์๋ ์์ ์ ๋ถ๋ฅํ๋ ๋ฐฉ๋ฒ์ ๋ค๋ฃฌ๋ค. ๋๊ฐ๋ด BCI(์ ๊ทน ์ด์์ ์ํ ์ ๊ฒฝ์ธ๊ณผ ์์ ์ด ํ์ํจ)์ ๋ฌ๋ฆฌ EEG ๊ธฐ๋ฐ ์์คํ
์ ์์ ์ ๊ฐ์
์์ด ์ฌ์ฉํ ์ ์์ผ๋, ์ ํธ ํ์ง์ด ํจ์ฌ ๋ฎ๋ค.
์ด๋ค์ ์ ์ํ LDA ๋ถ๋ฅ๊ธฐ๋ ์์๋ ์์ ์ ์ฐ์ฐ ์์ค ์ด์์ ์ ํ๋(์ด์ง ๋ถ๋ฅ์ ๊ฒฝ์ฐ ~60~70%)๋ก ์ค์๊ฐ ๋ถ๋ฅํ๋ค. ์ด๋ ๋น์นจ์ต์ BCI์กฐ์ฐจ๋ ๋ ์ ํธ๋ก๋ถํฐ ์ธ์ด์ ์ผ๋ก ์ ์๋ฏธํ ์ ๋ณด๋ฅผ ์ถ์ถํ ์ ์์์ ๋ณด์ฌ์ค๋ค. ์ด ์ ํ๋๋ ์ค์ฉ์ ์ธ ์์ฌ์ํต์๋ ๋ถ์กฑํ์ง๋ง, ๋ ์ ๋ ดํ๊ณ ์ ๊ทผ ๊ฐ๋ฅํ ๋ฐํ BCI๋ฅผ ํฅํ ์ง์ ์ ๋ํ๋ธ๋ค.
๊ณ ๋ฐ๋ ๋ฏธ์ธ ํผ์ง๋ํ ๊ธฐ๋ก
Lehner, Luo, Greene(2026)์ 1ํ ์ธ์ฉ๋ ๋
ผ๋ฌธ์์ Layer 7 Cortical Interface, ์ฆ ๊ณ ๋ฐ๋ ๋ฏธ์ธ ํผ์ง๋ํ ๊ธฐ๋ก(ฮผECoG) ์ด๋ ์ด์ ๋ํ ์ด๊ธฐ ๊ฒฝํ์ ๋ณด๊ณ ํ๋ค. ์ด ์ฅ์น๋ ๋ ํ๋ฉด์ ์์นํ๋ฉฐ(๋๊ฐ๋ด ์ ๊ทน๋ณด๋ค ๋ ์นจ์ต์ ์ด๊ณ , EEG๋ณด๋ค ์ ํธ ํ์ง์ด ๋์), ์ ๊ฒฝ์ธ๊ณผ ์์ ์ค ์ค์๊ฐ ๋ฐํ ํด๋
๋ฐ ์ปค์ ์ ์ด๋ฅผ ์์ฐํ๋ ์์ ์ค ๊ฒ์ฌ๋ฅผ ๊ฑฐ์ณค๋ค.
ฮผECoG ์ ๊ทผ ๋ฐฉ์์ ์ค๊ฐ์ ์์น๋ฅผ ๋ํ๋ธ๋ค. EEG๋ณด๋ค ๋์ ์ ํธ ํ์ง์ ์ ๊ณตํ๋ฉด์๋ ๋๊ฐ๋ด ์ด์๋ณด๋ค ์์ ์ํ์ด ๋ฎ๋ค. ๋ง์ฑ ์ด์์ด ์์ ํ๊ณ ์์ ์ ์ธ ๊ฒ์ผ๋ก ์
์ฆ๋๋ค๋ฉด, ๋ฐํ BCI์ ์ ์ฉ ๋์ ์ธ๊ตฌ๋ฅผ ํ๋ํ ์ ์์ ๊ฒ์ด๋ค.
๋นํ์ ๋ถ์: ์ฃผ์ฅ๊ณผ ๊ทผ๊ฑฐ
<
| ์ฃผ์ฅ | ๊ทผ๊ฑฐ | ํ์ |
|---|
| ์ค์๊ฐ ์ค๊ตญ์ด ์์ฑ ๋์ฝ๋ฉ์ ๋๊ฐ๋ด BCI๋ฅผ ํตํด ์คํ ๊ฐ๋ฅํ๋ค | Qian et al.์ Science Advances ์ค์ฆ ์ฐ๊ตฌ | โ
์ง์ง๋จ โ ์ค์๊ฐ ๋ฌธ์ ์ ํ๋ 75% |
| LLM ์ตํฉ์ BCI ํ์ดํ ์๋๋ฅผ ๋ ๋ฐฐ๋ก ๋์ผ ์ ์๋ค | Carรฌa์ ๊ฐ๋
์ ๋ถ์ | โ ๏ธ ๋ถํ์ค โ ๊ฐ๋
์ ํ๋นํ๋ ์ค์ฆ์ ๊ฒ์ฆ ์ ํ์ |
| EEG ๊ธฐ๋ฐ ์์ ๋ฐํ ๋ถ๋ฅ๋ ์ฐ์ฐ ์์ค์ ์ด๊ณผํ๋ค | Wu et al.์ ์ ์ํ ๋ถ๋ฅ๊ธฐ | โ
์ง์ง๋จ โ ๋จ, ์ค์ฉ์ ์์ฌ์ํต์๋ ์ ํ๋ ๋ถ์ถฉ๋ถ |
| ฮผECoG๋ ๋๊ฐ๋ด BCI์ ๋นํด ๋ ์นจ์ต์ ์ธ ๋์์ ์ ๊ณตํ๋ค | Lehner et al.์ ์์ ์ค ์ค์ฆ ์ฐ๊ตฌ | โ ๏ธ ๋ถํ์ค โ ๊ธ์ฑ ํ
์คํธ๋ ์ฑ๊ณต์ ์ด๋ ๋ง์ฑ ์์ ์ฑ์ ๋ฏธ๊ฒ์ฆ |
์ฐ๊ตฌ์ ์ฃผ๋ ์์ฌ์
์ ๊ฒฝ์ธ์ดํ์๋ค์๊ฒ ์์ฑ BCI๋ ์ด์ ์๋ ์ ๊ทผํ ์ ์์๋ ์ธ์ด์ ์ ๊ฒฝ ํ์์ ๋ค์ฌ๋ค๋ณผ ์ ์๋ ์ฐฝ์ ์ ๊ณตํ๋ค. ์์์๋ค์๊ฒ ์ด ๊ธฐ์ ์ ํนํ BCI-LLM ์ตํฉ ์ ๊ทผ๋ฒ์ ํตํด ์ฌ๊ฐํ ์์ฌ์ํต ์ฅ์ ๋ฅผ ๊ฐ์ง ํ์๋ค์๊ฒ ์ค์ฉ์ ์ผ๋ก ํ์ฉ๋ ์ ์๋ ์์ค์ ๊ทผ์ ํ๊ณ ์๋ค.
๊ด๋ จ ์ฐ๊ตฌ๋ ORAA ResearchBrain์ ํตํด ํ์ํ ์ ์๋ค.
References (4)
[1] Qian, Y., Liu, C., & Yu, P. (2025). Real-time decoding of full-spectrum Chinese using brain-computer interface. Science Advances.
[2] Carรฌa, A. (2025). Towards Predictive Communication: The Fusion of Large Language Models and Brain-Computer Interface. Sensors, 25(13), 3987.
[3] Wu, S., Bhadra, K., & Giraud, A. (2024). Adaptive LDA Classifier Enhances Real-Time Control of an EEG BCI for Decoding Imagined Syllables. Brain Sciences, 14(3), 196.
[4] Lehner, K.R., Luo, S., & Greene, B. (2026). Initial experience with the precision neuroscience Layer 7 micro-electrocorticography interface for real-time intraoperative neural decoding. Journal of Neurosurgery: Focus.