말을 할 수 없고 손과 몸도 자유롭게 움직이기 어려운 사람이 있습니다.
머릿속에는 하고 싶은 말이 분명히 있지만 입으로 표현할 수 없습니다.
그런데 뇌에 설치된 작은 전극이 그 사람이 말하려는 신호와 몸짓하려는 신호를 동시에 읽어, 화면에는 문장을 띄우고 가상 아바타는 고개를 끄덕이거나 손을 흔들어 준다면 어떨까요?
공상과학 영화 같은 기술이 실제 연구에서 한 단계 더 발전했습니다.
미국 캘리포니아대 샌프란시스코(UCSF) 연구팀은 하나의 뇌 임플란트로 말과 몸짓을 동시에 해석하는 뇌-컴퓨터 인터페이스(BCI)를 개발했다고 발표했습니다.
연구 결과는 2026년 9월 14일 국제학술지 Nature Neuroscience에 발표됐습니다. Nature는 이 기술을 말과 비언어적 몸짓을 동시에 실시간으로 번역한 새로운 형태의 다기능 뇌 임플란트로 소개했습니다.
그런데 여기서 먼저 한 가지 짚어야 합니다.
이 장치가 사람 머릿속의 모든 생각을 마음대로 읽는 것은 아닙니다.
‘생각을 읽는다’는 표현, 정확히는 무엇일까?
제목만 보면 이런 생각이 들 수 있습니다.
“이제 AI가 내가 머릿속으로 생각하는 것까지 읽는 것인가?”
현재 기술은 그런 단계가 아닙니다.
연구 참가자는 특정 문장을 말하려고 시도하거나, 특정 몸짓을 하려고 시도하거나 상상했습니다.
뇌에서는 실제로 입이나 손이 움직이지 않더라도 말을 하거나 움직이려고 할 때 관련 신경 활동이 발생합니다.
연구진은 바로 그 신호를 기록했습니다.
즉,
자유로운 생각 → 그대로 문장으로 읽음
이 아니라,
말하거나 움직이려는 의도 → 뇌 신호 분석 → AI가 문장·몸짓으로 변환
하는 기술입니다.
이 차이는 꽤 중요합니다.
아직은 사람의 비밀스러운 생각을 몰래 읽는 장치가 아니라, 몸이 움직이지 않는 사람의 의사표현을 복원하는 의료·보조기술에 가깝습니다.
뇌에 전극 253개를 설치했다
연구에 사용된 핵심 장치는 ECoG(Electrocorticography·피질전도검사) 전극 배열입니다.
253개의 작은 전극을 뇌의 왼쪽 대뇌피질 표면에 설치했습니다.
이곳에는 말을 만들거나 얼굴·팔·손 등을 움직이는 데 관련된 감각운동 영역이 포함돼 있습니다.
전극이 이곳에서 발생하는 미세한 전기신호를 기록하면 컴퓨터와 AI 모델이 그 신호 패턴을 분석합니다.
쉽게 표현하면 이렇습니다.
사람이
“안녕하세요”
라고 말하려고 하면 뇌에서 특정 활동 패턴이 나타납니다.
손을 흔들려고 할 때는 또 다른 패턴이 나타납니다.
AI는 반복적인 학습을 통해
“이 신호는 말을 하려는 신호”
“이 신호는 손을 흔들려는 신호”
처럼 구분해 갑니다.
그리고 해석된 말은 화면의 글자로 표시하고, 몸짓은 가상 아바타의 움직임으로 표현합니다.
말과 몸짓을 ‘동시에’ 읽었다는 것이 핵심
뇌-컴퓨터 인터페이스 자체가 처음 등장한 것은 아닙니다.
이미 여러 연구팀이 마비 환자의 뇌 신호를 이용해
문자를 입력하거나,
컴퓨터 커서를 움직이거나,
로봇팔을 조작하거나,
말하려는 내용을 음성으로 변환하는
기술을 개발해왔습니다.
UCSF 연구팀도 이전에 상당한 성과를 냈습니다.
2021년에는 말을 하지 못하는 사람의 뇌 신호에서 단어를 해석했고, 이후 연구에서는 이를 텍스트·합성음성·가상 얼굴 아바타로 확장했습니다. UCSF의 BRAVO 임상연구는 뇌 신호를 글자, 음성 또는 움직임 명령으로 바꾸는 BCI를 연구하고 있습니다.
이번 연구가 한 단계 더 나아간 것은 ‘말’과 ‘몸짓’을 하나의 장치에서 동시에 해석했다는 점입니다.
사람은 실제 대화를 할 때 말만 하지 않습니다.
“네”라고 하면서 고개를 끄덕이기도 하고,
“안녕”이라고 말하면서 손을 흔들기도 하고,
모르겠다는 말을 하면서 어깨를 으쓱하기도 합니다.
이런 몸짓은 단순한 움직임이 아닙니다.
대화의 감정과 의미를 전달하는 중요한 부분입니다.
이번 연구는 BCI를 단순한 ‘뇌로 타이핑하는 기계’에서 조금 더 인간다운 의사소통 도구로 발전시키려는 시도라고 볼 수 있습니다.
실제 환자가 사용했다
연구는 건강한 사람에게 단순히 센서를 붙여 실험한 것이 아닙니다.
뇌간 뇌졸중과 ALS(근위축성측삭경화증) 등으로 말과 움직임에 심각한 장애가 생긴 사람들이 참여했습니다.
연구 전체에서는 여러 참가자의 말·얼굴·상지 움직임과 관련한 신호를 분석했고, 그 가운데 두 참가자에게서는 말과 몸짓을 동시에 해석해 개인화된 전신 아바타를 실시간으로 조종하는 실험이 진행됐습니다.
한 참가자는 뇌간 뇌졸중 이후 말을 제대로 할 수 없고 움직임에도 장애가 있었습니다.
또 다른 참가자는 ALS로 인해 말과 운동 능력이 점차 손상되고 있었습니다.
연구진은 참가자들에게
말을 시도하거나,
고개를 끄덕이고,
손을 흔들고,
어깨를 으쓱하는 등의
행동을 시도하거나 상상하게 했습니다.
그리고 말과 몸짓을 함께 하는 상황도 실험했습니다.
예를 들어
“Hello” + 손 흔들기
“Yes” + 고개 끄덕이기
같은 방식입니다.
화면의 문장과 아바타가 함께 움직인다
최종 결과는 꽤 흥미롭습니다.
AI가 말과 관련된 신호를 감지하면 화면 아래에 문장이 나타납니다.
동시에 몸짓과 관련된 신호가 감지되면 화면 속 개인화된 가상 아바타가 그 움직임을 표현합니다.
즉 환자가 실제로 손을 충분히 움직일 수 없어도 아바타는 대신 손을 흔들 수 있습니다.
고개를 자유롭게 끄덕이지 못해도 아바타가 의도를 표현할 수 있습니다.
연구진이 목표로 하는 것은 단순히
“의사를 전달할 수 있다”
는 수준을 넘어서는 것입니다.
좀 더 자연스럽게 자신의 존재감과 감정을 표현하는 것입니다.
UCSF 연구팀 역시 BCI 연구의 장기적인 목표를 더 자연스러운 의사소통을 회복하는 것으로 설명하고 있습니다.
왜 몸짓까지 필요할까?
우리가 일상적인 대화를 떠올려 보면 이유를 쉽게 알 수 있습니다.
친구가
“괜찮아.”
라고 말하더라도 웃으며 고개를 끄덕이는 것과 고개를 숙인 채 말하는 것은 느낌이 전혀 다릅니다.
말의 의미는 단어만으로 완성되지 않습니다.
표정, 고개 움직임, 손짓, 자세가 함께 전달됩니다.
특히 가족이나 가까운 사람과의 대화에서는 이런 비언어적 표현이 매우 중요합니다.
그래서 연구팀은 BCI의 다음 단계가 단순히 빠른 문자 입력만이 아니라 ‘사람다운 대화’를 복원하는 것이라고 보고 있습니다.
이 부분이 이번 연구의 가장 흥미로운 지점입니다.
그럼 이제 마비 환자가 자유롭게 대화할 수 있을까?
아직 그 단계는 아닙니다.
이번 연구는 매우 중요한 기술적 진전이지만 초기 임상연구입니다.
연구 참가자 수도 매우 적습니다.
또 현재 장치는 뇌 표면에 전극을 직접 설치해야 합니다.
일반 스마트기기처럼 누구나 쉽게 사용할 수 있는 기술이 아닙니다.
사람마다 뇌 신호가 다르기 때문에 개인별 데이터를 이용해 AI를 학습시키는 과정도 필요합니다. Nature가 보도한 전문가 평가에서도 보다 일반적으로 사용할 수 있는 시스템을 만들기 위해서는 추가 연구가 필요하다는 점이 강조됐습니다.
따라서
“내년부터 병원에서 사용할 수 있다”
거나
“생각만 하면 누구나 말을 할 수 있다”
고 받아들이면 너무 앞서간 해석입니다.
수술해야 한다는 것도 큰 과제
이 기술의 가장 큰 현실적 장벽 가운데 하나는 수술입니다.
연구에 사용된 ECoG 장치는 두피 위에 붙이는 EEG 장치와 다릅니다.
전극을 뇌 표면에 가까이 설치하기 위해 수술이 필요합니다.
대신 피부 밖에서 측정하는 뇌파보다 훨씬 선명하고 세밀한 신호를 얻을 수 있다는 장점이 있습니다.
결국 앞으로 BCI가 실제 의료현장에 널리 사용되려면
수술 위험을 얼마나 낮출 수 있는지,
장기간 안정적으로 사용할 수 있는지,
장치를 얼마나 작고 편리하게 만들 수 있는지
가 중요한 과제가 됩니다.
Neuralink와 같은 기술일까?
최근 뇌 임플란트라고 하면 일론 머스크의 Neuralink를 먼저 떠올리는 분도 많을 겁니다.
큰 개념에서는 둘 다 뇌-컴퓨터 인터페이스입니다.
그러나 뇌 신호를 측정하는 전극 방식이나 삽입 위치, 연구 목적과 시스템 구조에는 차이가 있습니다.
이번 UCSF 연구는 뇌 표면에서 신호를 기록하는 고밀도 ECoG 방식을 사용했습니다.
UCSF Chang Lab의 BRAVO 연구 역시 ECoG 신호를 이용해 말과 움직임을 복원하는 것을 주요 목표로 하고 있습니다.
BCI라는 하나의 분야 안에서도
뇌 안쪽에 전극을 삽입하는 방식,
뇌 표면에 설치하는 방식,
두피 밖에서 신호를 읽는 방식
등 여러 접근법이 경쟁하고 있는 것입니다.
AI가 없었다면 가능했을까?
이번 기술에서 전극만큼 중요한 것이 AI와 머신러닝입니다.
253개의 전극에서 들어오는 신호는 사람이 눈으로 보고
“이건 안녕하세요라는 뜻이다”
라고 알아낼 수 있는 형태가 아닙니다.
수많은 전기신호 속에서 특정 행동과 연결되는 패턴을 찾아야 합니다.
AI는 반복된 데이터에서
어떤 신호가 말과 관계있는지,
어떤 신호가 손이나 얼굴의 움직임과 관련됐는지,
두 행동이 동시에 나타날 때 어떤 패턴이 생기는지
학습합니다.
그래서 현재 BCI의 발전은 사실상
뇌과학 + 의료기기 + 반도체·센서 + AI
가 만나는 분야라고 볼 수 있습니다.
AI가 발전하면서 과거에는 분석하기 어려웠던 복잡한 신경신호를 실시간으로 해석하는 능력도 빠르게 좋아지고 있습니다.
그런데 뇌 신호도 개인정보일까?
기술이 발전하면 또 다른 질문이 생깁니다.
뇌에서 나오는 정보는 누구의 것일까요?
현재 BCI는 제한된 행동 의도를 해석하는 단계지만 앞으로 기술이 발전하면 뇌 데이터에 포함되는 정보의 범위도 커질 수 있습니다.
그러면 일반적인 건강정보보다 훨씬 민감한 새로운 개인정보 문제가 등장할 수 있습니다.
예를 들어
누가 뇌 데이터를 보관하는지,
병원이나 기업이 데이터를 사용할 수 있는 범위는 어디까지인지,
해킹되면 어떤 일이 생기는지,
사용자가 데이터 삭제를 요구할 수 있는지
같은 문제가 생깁니다.
따라서 BCI가 본격적으로 상용화되는 시대에는 기술 성능만큼 뇌 데이터의 소유권과 보호 기준도 중요한 주제가 될 가능성이 큽니다.
‘생각을 읽는 AI’보다 더 중요한 것은
이 연구를 보면 처음에는
“AI가 사람 생각까지 읽기 시작했구나.”
라는 생각이 들 수 있습니다.
하지만 저는 조금 다르게 봅니다.
이번 기술에서 가장 중요한 것은 AI가 사람의 생각을 훔쳐보는 것이 아니라,
몸 때문에 세상과 대화하기 어려웠던 사람이 다시 자신의 의사를 표현할 가능성이 커졌다는 것입니다.
뇌졸중이나 ALS 등으로 말을 잃었다고 해서 생각까지 사라지는 것은 아닙니다.
하고 싶은 말도 있고,
가족에게 표현하고 싶은 감정도 있고,
웃고 싶고,
싫다고 고개를 흔들고 싶은 마음도 있습니다.
그동안 문제는 그 생각을 밖으로 전달할 통로가 막혀 있었다는 것입니다.
BCI는 그 통로를 다시 만드는 기술입니다.
앞으로 어디까지 발전할까?
현재는 몇 개의 말과 몸짓을 해석하는 연구 단계입니다.
하지만 기술이 발전하면 훨씬 다양한 가능성이 열립니다.
더 많은 단어와 문장을 자연스럽게 표현하고,
표정이나 몸짓을 함께 전달하고,
개인의 실제 목소리와 비슷한 합성음성으로 말하고,
로봇팔이나 휠체어 같은 장치를 동시에 조작하는 방향으로 발전할 수 있습니다.
실제로 UCSF 연구팀은 이미 뇌 신호를 텍스트, 음성, 얼굴 아바타 등으로 변환하는 연구를 단계적으로 발전시켜왔습니다.
그래서 이번 연구 하나만 따로 보는 것보다,
2021년 단어 해독 → 2023년 음성·얼굴 아바타 → 2026년 말+몸짓 동시 해독
이라는 흐름으로 보는 것이 훨씬 흥미롭습니다.
아직은 치료제가 아니라 ‘가능성을 보여준 연구’
마지막으로 꼭 구분해야 할 부분입니다.
이번 연구가 발표됐다고 해서 ALS나 뇌졸중으로 말을 잃은 사람이 당장 병원에서 이 장치를 받을 수 있는 것은 아닙니다.
현재는 임상연구 단계입니다.
참가자 수가 적고, 뇌 수술이 필요하며, 개인별 학습 과정도 필요합니다.
앞으로 더 많은 사람을 대상으로
정확도,
장기간 안정성,
수술 안전성,
일상생활에서의 사용성
등을 확인해야 합니다.
그러나 연구가 보여준 방향은 분명합니다.
과거의 BCI가
“생각으로 커서를 움직인다”
는 단계였다면,
이제는
“말하고, 몸짓하고, 자신의 존재를 표현한다”
는 방향으로 가고 있습니다.
말을 잃은 사람에게 단어 몇 개를 돌려주는 것을 넘어 대화 그 자체를 되돌려주려는 기술입니다.
그 점에서 이번 연구는 AI와 뇌과학이 만나는 분야에서 꽤 의미 있는 한 걸음이라고 생각합니다.
참고자료
Nature — ‘Multifunctional’ brain implant translates speech and gestures in real time
이번 연구의 의미와 참가자 실험, 253개 전극을 이용한 뇌 임플란트 구조를 설명합니다.
Nature 기사 보기
Nature Neuroscience — Simultaneous speech and gesture decoding for multimodal communication in paralysis
2026년 9월 14일 발표된 원 논문입니다. 하나의 뇌 임플란트에서 말과 몸짓을 동시에 해석하는 연구 결과를 확인할 수 있습니다.
Nature Neuroscience 원 논문 보기
UCSF Chang Lab — Speech Neuroprosthesis / BRAVO Clinical Trial
UCSF가 진행하고 있는 뇌-컴퓨터 인터페이스 연구의 목적과 기존 연구 흐름을 확인할 수 있습니다.
UCSF Chang Lab BCI 연구 보기
답글 남기기