[논문 리뷰] Accurate Decoding of Natural Sentences from Non-Invasive Brain Recordings

• 메타정보
• TL;DR
• 소개 (Introduction)
• 핵심 기여 (Key Contributions)
• 관련 연구 / 배경 지식
  • 동기 vs 비동기 디코딩
  • CTC — 정렬 없이 시퀀스를 학습하는 법
  • BrainModule, Conformer, 그리고 SigLIP
• 방법 / 아키텍처 상세
  • 1단 — 문자: MEG 인코더
  • 2단 — 단어: CTC 토크나이저와 정렬기
  • 3단 — 문장: neuro-conditioned LLM
  • Model soup — 피험자를 별개 태스크로 다루기
  • 학습 목표 / 손실 함수
• 학습 데이터와 파이프라인
  • EnglishBCBL 데이터셋
  • 과제 설계
  • 전처리와 데이터 분할
  • 데이터 증강
  • 학습 자원
  • 평가 지표
• 실험 결과
  • 규모가 비동기 디코딩을 연다
  • 문장 다양성은 총량과 별개의 축이다
  • 메인 결과 — 단어와 의미 수준
  • CER 이 나빠지는 것은 결함인가
  • 얼마나 자주 완벽한가
  • CTC 토크나이저와 LoRA 전략
  • 자율 AI 에이전트 (Auto Research)
  • 그리고 실패
• 결과 분석 / Ablation
  • LLM 은 정말 뇌를 읽는가
  • 인코더가 병목이다
  • 다중 피험자 학습이 크게 남는다
  • 센서를 줄여도 되는가
  • 임베딩 공간에서 무슨 일이 일어나는가
• 한계와 비판적 평가
• 시사점 / Takeaways
• 설치 및 사용법
• 참고 자료
• 더 읽어보기

메타정보

TL;DR

• 비침습 MEG 만으로 사람이 타이핑하는 자연 문장을 평균 WER 39% 로 디코딩한다. 최고 피험자는 WER 22%, 테스트 문장의 28% 를 단어 오류 0개로, 47% 를 단어 편집 1회 이내로 복원한다. 직전 SOTA 인 Brain2Qwerty v1 의 최고 피험자 52% 대비 두 배 개선이다.
• 열쇠는 모델이 아니라 데이터 규모와 문장 다양성이었다. 피험자당 1시간 → 10시간으로 늘리자 키 입력 타이밍을 몰라도 되는 비동기 (asynchronous) 인코더의 CER 이 0.59 → 0.25 로 떨어져, 타이밍을 아는 동기 (synchronous) 인코더 0.23 을 2%p 차이까지 따라붙었다. 스케일링은 로그 선형이며 90시간에서도 포화 조짐이 없다 (기울기 −0.39 CER/decade).
• 파이프라인은 문자 · 단어 · 문장 세 층을 함께 학습한다. CTC 인코더 (BrainModule + Conformer) 가 문자를, SigLIP 정렬기가 MEG 임베딩을 단어 임베딩으로, LoRA 로 미세조정한 Qwen3 가 문장을 담당한다. 셋을 잇는 장치가 CTC 토크나이저 — CTC 가 예측한 space 위치로 연속 MEG 임베딩을 단어 덩어리로 자른다.
• LLM 은 CTC 출력을 문법적으로 다듬는 교정기가 아니다. MEG 토큰을 프롬프트에서 빼는 ablation 만으로 WER 이 0.43 → 0.49 로 나빠진다. LLM 이 실제로 신경 신호를 읽고 있다는 뜻이다.
• 세 개의 자율 AI 코딩 에이전트 (Cursor + Claude Opus 4.6) 에게 파이프라인 튜닝을 맡겼더니 Optuna TPE 를 크게 앞섰다 (교차 피험자 테스트 WER: Optuna 0.493 · 개선 없음 vs 에이전트 0.42/0.43/0.45 · 최대 −16%). 반대로 “v1 코드베이스에서 시작해 v2 성능을 재현하라” 는 열린 과제에서는 셋 다 완전히 실패했다.

소개 (Introduction)

말과 움직임을 잃은 사람에게 소통을 되돌려 주는 문제에서, 지난 몇 년의 성과는 거의 전부 침습 BCI 쪽에서 나왔다. 운동 피질에 전극을 심은 환자들이 시도 발화 (attempted speech) 로 언어를 만들어 내고 (Moses et al., 2021; Willett et al., 2023; Card et al., 2024), 손글씨 (Willett et al., 2021) 와 타이핑 (Pandarinath et al., 2017; Jude et al., 2026) 으로 자연 발화에 근접한 속도와 정확도에 도달했다. 문제는 그 대가다. 개두술은 의료적 위험을 수반하고, 신경염증 반응 때문에 장기간 좋은 기록 품질을 유지하기 어려우며, 넓은 환자군에 수술 인프라를 제공하는 일 자체가 물류 난제다.

비침습 대안은 오래 논의돼 왔지만 각각 결정적인 약점이 있었다. EEG 는 신호대잡음비가 나빠 환자에게 요구하는 인지 부담이 지나치게 크고, fMRI 는 시간 해상도가 원리적으로 낮아 실시간 소통에 쓸 수 없다. MEG 는 그 사이 어딘가에서 가장 유망한 후보로 꼽혀 왔다. 특히 같은 그룹의 직전 작업인 Brain2Qwerty v1 (Lévy et al., 2025) 은 키 입력 시점에 시간 정렬된 분류기를 학습해 CER 32% 로 타이핑된 텍스트를 디코딩했다.

그런데 v1 에는 세 가지 구조적 한계가 있었다. 첫째, 개별 키 입력의 타이밍을 알아야 동작한다 — 실사용에서는 그 타이밍이야말로 알 수 없는 값이다. 둘째, 문자 분류를 잘한다고 문장 복원이 되는 건 아니다. 몇 글자만 틀려도 출력 전체가 읽을 수 없게 된다. 셋째, 데이터가 너무 적었다. 침습 BCI 가 10~40시간에 걸쳐 수천 문장을 쓰는 데 반해 v1 은 피험자당 1시간이었다.

이 논문은 세 한계를 정면으로 겨냥한다. 9명에게서 각 10시간, 총 90회 세션을 기록해 22,000여 문장 코퍼스를 만들고, CTC (Connectionist Temporal Classification) 목적함수로 타이밍 의존을 없애고, LLM 을 붙여 문장 수준 복원을 맡겼다. 그리고 그 위에 하나를 더 얹었다 — 파이프라인 자체의 최적화를 자율 AI 에이전트에게 맡기는 실험이다. 비침습 BCI 를 직접 다루지 않더라도, “데이터 규모가 아키텍처를 이기는 지점” 과 “LLM 을 비언어 모달리티의 디코더로 붙이는 실무적 방법” 두 가지 때문에 읽을 값어치가 있다.

핵심 기여 (Key Contributions)

• 비침습 문장 디코딩의 정확도를 실용 영역 근처까지 끌어올렸다. 평균 WER 39%, 최고 피험자 22%. fMRI 로 지각된 음성을 복원한 Tang et al. (2023) 의 WER 0.92–0.94 와 비교하면, 정확한 단어를 맞히는 능력에서 질적으로 다른 수준이다.
• 데이터 규모와 문장 다양성이 독립적인 두 축임을 분리해 보였다. 총 문장 수와 피험자 수를 맞춘 통제 실험에서, 128문장 × 2회 반복보다 256문장 × 1회가 CER 0.65 → 0.45 로 유의하게 낫다. 언어모델 없이도 성립하는 결과다.
• CTC 토크나이저. CTC 가 예측한 space 토큰 위치로 연속 신경 임베딩을 단어 단위로 자르는 단순한 장치인데, 문장 정렬 (0.46) · 패치 토큰화 (0.49) 대비 WER 0.39 로 앞선다. CTC 기반 파이프라인이라면 어디에나 이식할 수 있는 일반 기법이다.
• LLM 이 교정기가 아니라 신경 신호의 독자임을 실증했다. MEG 토큰을 프롬프트에서 제거하는 ablation 으로 세 지표가 모두 나빠진다. ~2,700 문장이라는, LLM 미세조정 기준으로는 극도로 작은 코퍼스로 이 적응이 일어난다는 점이 특히 인상적이다.
• 자율 AI 에이전트를 연구 루프에 넣은 통제된 비교. 동일 컴퓨트 예산에서 Optuna TPE 와 정면 비교했고, 성공 조건 (탐색 공간이 제한된 하이퍼파라미터 튜닝) 과 실패 조건 (아키텍처를 새로 발명하는 열린 과제) 을 둘 다 보고한다.

관련 연구 / 배경 지식

동기 vs 비동기 디코딩

이 논문을 이해하는 데 가장 중요한 구분이다. 동기 (synchronous) 디코딩은 각 키 입력 시점에 시간 정렬된 짧은 윈도우 (약 3초) 를 잘라 그 안의 문자를 분류한다. Brain2Qwerty v1 이 이 방식이다. 정확도는 높지만 키 입력 시점을 외부에서 알려 줘야 한다. 비동기 (asynchronous) 디코딩은 10초 이상의 연속 응답 구간을 통째로 받아 텍스트 시퀀스를 생성한다. 타이밍 정보가 필요 없으므로 실시간 사용이 가능하지만, 정렬을 스스로 찾아야 하니 훨씬 어려운 문제다.

CTC — 정렬 없이 시퀀스를 학습하는 법

CTC (Graves et al., 2006) 는 음성 인식에서 온 목적함수로, 길이가 다른 입력 시퀀스와 출력 시퀀스를 프레임 단위 정렬 라벨 없이 학습시킨다. 핵심은 blank 토큰의 도입이다. 모델은 매 시간 프레임마다 문자 또는 blank 를 내놓고, 연속된 중복 문자를 접고 blank 를 지운 결과가 목표 문자열이 되는 모든 경로의 확률을 합해 최대화한다. 이 논문의 어휘는 blank (index 0) · 소문자 26자 (1–26) · space (27) 의 28개 클래스다.

CTC 가 이 파이프라인에서 하는 일은 두 가지다. 하나는 타이밍 의존을 제거하는 것. 다른 하나는 뒤에 나올 CTC 토크나이저의 근거를 제공하는 것 — greedy 경로가 space 를 내뱉는 프레임 위치가 곧 단어 경계의 추정치가 된다.

BrainModule, Conformer, 그리고 SigLIP

BrainModule (Défossez et al., 2023) 은 MEG 센서 배열의 물리적 배치를 다루는 모듈이다. 센서는 3차원 공간에 흩어져 있고 활성 채널 수는 세션마다 다르므로, 센서 좌표를 2차원 Fourier feature 로 인코딩해 가변 길이 센서 배열을 고정 차원 (270 virtual channel) 으로 사영한다. 피험자별 affine 층을 subject index 로 조건화해, 명시적 센서 수준 공동 정합 (co-registration) 없이 개인별 센서 기하를 흡수한다.

Conformer (Gulati et al., 2020) 는 convolution 과 self-attention 을 교차 배치한 음성 인식용 블록이다. convolution 이 국소 시간 구조를, attention 이 장거리 의존을 담당한다. 이 논문의 부록 실험은 Conformer 를 표준 Transformer 로 바꾸기만 해도 인코더 CER 이 0.25 → 0.28 로 나빠짐을 보인다.

SigLIP (Zhai et al., 2023) 은 CLIP 계열 대조 학습의 변형으로, softmax 대신 pairwise sigmoid binary cross-entropy 를 쓴다. 배치 전체에 걸친 정규화가 필요 없어 구현이 단순하고 작은 배치에서도 안정적이다. 여기서는 MEG 유래 단어 임베딩을 LLM 의 실제 단어 임베딩에 붙이는 데 쓰인다.

방법 / 아키텍처 상세

1단 — 문자: MEG 인코더

인코더는 두 단계로 나뉜다.

BrainModule. 센서 좌표를 2차원 Fourier feature (총 임베딩 차원 2,048) 로 인코딩해 가변 채널을 270개 virtual channel 로 매핑하고, subject index 로 조건화한 affine 층을 적용한다. 이렇게 공간적으로 융합된 $B \times 270 \times T$ 표현 ($T$ 는 100 Hz 시간 프레임 수) 이 4층 dilated convolution 으로 들어간다 (hidden 1,500, kernel 5, dilation period 3). GELU · batch norm · residual skip (0.1 배 스케일) · dropout (input 0.2, conv 0.5) 을 쓰고, conv stack 앞에 채널 차원을 512 로 줄이는 선형 사영을 둔다. 이어서 stride 4 의 1D convolution (kernel 16) 으로 시간 해상도를 1/4 로 줄여 프레임당 약 40 ms 를 만든다.

Conformer. 다운샘플된 시퀀스를 4층 Conformer 가 처리한다 (model dim 1,024, attention head 4, feed-forward 1,024, depthwise conv kernel 17, dropout 0.3). 출력에 선형 head 를 붙여 28-class 문자 분포를 낸다.

학습에는 보조 CTC head 를 하나 더 쓴다. 시간 다운샘플링 직후 (Conformer 이전) 에 붙여 함께 학습하며, 합성 손실은 다음과 같다.

$\alpha = 0.7$ 이므로 학습 초기의 그래디언트 신호는 보조 분기가 지배하고, Conformer 는 그 위에서 최종 표현을 다듬는 역할을 맡는다 (Nozaki and Komatsu, 2021 의 방식).

2단 — 단어: CTC 토크나이저와 정렬기

연속적인 MEG 임베딩과 LLM 이 기대하는 단어 수준 토큰 사이의 간극을 메우는 것이 이 파이프라인의 실질적 핵심이다. 방법은 놀랄 만큼 단순하다. CTC greedy 경로가 space 토큰을 내뱉은 프레임 위치에서 Conformer 출력을 자른다. 각 단어 구간 (blank 프레임 포함) 을 프레임별 2층 MLP 에 통과시킨 뒤 시간 축으로 mean-pool 해 단일 신경 단어 임베딩을 만들고, 선형 adapter 로 LLM hidden 차원에 맞춘다.

이 단순한 규칙이 통하는 근거는 통계다. space 는 문자 전체의 19% 를 차지할 만큼 빈번하며 그만큼 예측도 견고하다. 그래서 예측된 단어 수가 정답의 ±1 단어 안에 드는 문장이 86% 다.

그래도 CTC 분할이 만든 신경 토큰 개수 $N$ 과 실제 목표 단어 수 $M$ 은 다를 수 있다. 그래서 대조 학습 전에 문장 내부 정렬 단계를 둔다. $N$ 개 신경 임베딩과 $M$ 개 목표 단어 임베딩 (LLM 입력 임베딩 층에서 가져온다) 사이의 코사인 거리 비용 행렬을 만들고, hard DTW (Sakoe and Chiba, 1978) 로 단조 정렬 경로를 찾아 일대일 쌍을 뽑는다 (신경 토큰당 목표 하나).

뽑힌 쌍들을 배치 전체에서 모아 $\ell_2$ 정규화한 뒤 SigLIP 손실을 계산한다. 배치 내 모든 쌍 $(i, j)$ 에 대해 스케일된 코사인 유사도에 sigmoid binary cross-entropy 를 적용한다.

$\tau$ 와 $b$ 는 학습 가능한 스칼라다. 라벨은 정답 임베딩 $\mathbf{w}_i$ 와 $\mathbf{w}_j$ 의 코사인 유사도가 0.999 이상일 때 (즉 같은 단어일 때) 1, 아니면 0 이다. 이 중복 인지 (duplicate-aware) 라벨링이 없으면, 같은 문장이 여러 피험자에게서 나타날 때 서로를 거짓 음성 (false negative) 으로 취급하게 된다.

3단 — 문장: neuro-conditioned LLM

프롬프트 구성은 다음과 같다.

[CTC: ‖ <CTC 디코딩 텍스트 토큰> ‖ \nMEG: ‖ <MEG 토큰 임베딩> ‖ \nOutput:]

즉 LLM 은 두 개의 입력 스트림을 받는다. CTC 텍스트는 그럴듯한 언어적 사전 (prior) 에 LLM 을 묶어 두고, MEG 토큰은 그 사전을 넘어서게 밀어 줄 잔여 신경 정보를 나른다.

학습 시에는 modality dropout 으로 MEG 토큰 임베딩과 CTC 텍스트 토큰 양쪽에서 무작위 토큰 위치를 독립적으로 0 으로 만든다 (각각 비율 0.1). 어느 한쪽 모달리티만으로도 견고하게 조건화되도록 강제하는 장치다. 손실은 label smoothing 0.02 를 적용한 cross-entropy 다.

LLM 은 Qwen3-4B 를 LoRA (rank 128, $\alpha = 256$, dropout 0.0) 로 모든 선형 사영 행렬에 적용해 미세조정한다. 추론은 beam size 16, 최대 60 신규 토큰, length penalty 0.2 의 beam search 다.

Model soup — 피험자를 별개 태스크로 다루기

LoRA 를 붙이는 방식으로 세 가지를 비교한다. Joint LoRA 는 아홉 명 데이터를 합쳐 단일 adapter 를 학습한다. Per-subject LoRA 는 피험자별로 독립 adapter 아홉 개를 학습한다. Model Soup (Wortsman et al., 2022) 은 피험자별 adapter 를 학습한 뒤 best checkpoint 의 state dict 를 균일 평균해 단일 adapter 로 만들어 전원에게 적용한다.

발상은 이렇다. 각 피험자의 MEG 서명은 서로 다른 “태스크” 이므로, adapter 를 태스크별로 특화시킨 뒤 가중치 공간에서 평균 내면 무거운 단일 joint 모델을 학습하지 않고도 일반화되는 하나의 모델을 얻는다.

학습 목표 / 손실 함수

전체 손실은 세 항의 가중합이다.

• $\mathcal{L}_{\text{CTC}}$ — 문자 수준. 뇌 신호를 키 입력 문자열로 옮기는 능력을 담당한다. 부록의 상관 분석 (Figure S5) 이 보이듯 이 항의 품질이 최종 성능을 사실상 결정한다.
• $\mathcal{L}_{\text{Contrastive}}$ — 단어 수준 SigLIP 손실. MEG 단어 덩어리를 LLM 의 단어 임베딩 공간으로 끌어당긴다.
• $\mathcal{L}_{\text{CE}}$ — 문장 수준 자기회귀 cross-entropy. 프롬프트에 담긴 CTC 텍스트와 신경 토큰 양쪽에 조건화해 목표 문장을 생성하도록 학습한다.

두 가지 학습 레짐을 실험했다. (i) End-to-end 단계별 학습은 275 epoch 를 세 구간으로 나눈다 — CTC 만 (epoch 0–149), CTC + contrastive (150–224, $\alpha = 0.1$), CTC + contrastive + LLM CE (225–274, $\beta = 0.01$). 비활성 항은 버리고 활성 가중치를 합이 1 이 되게 재정규화한다. (ii) Standalone LoRA 미세조정은 최고 contrastive checkpoint 에서 CTC 인코더와 사전학습된 단어 사영기를 얼린 뒤, LoRA 가 붙은 LLM 만 단일 GPU 에서 30 epoch 최적화한다. 가벼운 이 레짐이 LoRA 설정 · LLM 크기 · model soup 전략을 빠르게 반복하게 해 줬고, 최종 최고 성능도 여기서 나왔다.

학습 데이터와 파이프라인

EnglishBCBL 데이터셋

과제 설계

각 시행은 세 국면으로 이뤄진다 — 듣기 → 신호 대기 → 타이핑. MEG 호환 헤드폰으로 문장 오디오를 재생하고, 화면에 fixation cross 를 1.5초 띄운 뒤, cross 가 사라지는 것이 타이핑 시작 신호다. 타이핑 중 화면에는 글자가 전혀 표시되지 않는다. 참가자는 backspace 없이 최대한 정확히 입력하며 화면 중앙의 회전하는 검은 사각형에 시선을 고정한다. 좌우로 읽는 시선 이동이 언어 내용에 의해 유발되는 것을 막으려는 설계이고, 최소 피드백으로 키 입력마다 그 사각형이 시계 방향으로 10도씩 돈다.

세션당 16문장 × 16블록 이며, 매 세션 첫 4문장은 연습 시행으로 본 2,560 문장과 겹치지 않는다. 연습 4문장 중 처음 둘은 완전한 시각 피드백을, 나머지 둘은 최소 피드백 조건에 익숙해지도록 준다.

이 설계에서 중요한 지점은 지연 타이핑 (delayed typing) 이다. 듣기와 타이핑 사이에 강제 지연을 두었으므로, 디코딩이 겨냥하는 것은 청각 지각이 아니라 언어 생성 국면의 신경 활동이다.

전처리와 데이터 분할

MEG 는 0.5–45 Hz 대역통과 + 50 Hz notch 후 100 Hz 로 다운샘플하고, 채널별 RobustScaler (기록별 median · IQR) 로 정규화한 뒤 ±5 robust SD 를 넘는 값을 clamp 한다. SSP 는 적용하지 않았다.

분할은 고유 문장 텍스트 수준에서 결정론적 해시 기반 splitter 로 80/10/10 을 만든다. 문장 텍스트의 해시만으로 배정이 정해지므로 쿼리에 어떤 피험자가 포함되든 분할이 안정적이고, 같은 문장 텍스트를 공유하는 모든 이벤트가 (피험자·세션을 가로질러) 같은 파티션에 들어간다. 텍스트 누수가 0 이라는 뜻이다. 문장 풀이 2,724개로 작다는 점을 생각하면 이 설계는 필수적이다.

데이터 증강

MEG 세그먼트는 문장 시작 (첫 키 입력) 400 ms 전부터 문장 종료 (마지막 키 릴리스) 까지 자르고, 완료 후 신경 활동을 담기 위해 400–500 ms 를 균일 표집해 뒤에 덧붙인다. 학습 중에는 pre-onset baseline 에서 최대 400 ms 를 무작위로 잘라 내는 시간 jittering 으로 신경 신호와 문장 시작의 유효 정렬을 epoch 마다 흔든다.

추가로 채널별 상수 오프셋 $\mathcal{N}(0, 0.3)$ 으로 slow-drift 아티팩트를 흉내 내고, 시간 축 masking (최대 50 프레임, 적용 확률 0.2) 과 센서 축 독립 채널 masking (최대 폭 400) 을 SpecAugment (Park et al., 2019) 방식으로 적용하며, 시행 길이를 $[0.8, 1.2]$ 배로 선형 보간해 늘리고 줄인다.

학습 자원

평가 지표

• CER — 예측·정답 문자열의 Levenshtein 편집 거리를 정답 길이로 정규화.
• WER — 공백 토큰화 후 단어 수준 Levenshtein 거리를 정답 단어 수로 정규화.
• SemER — frozen RoBERTa-large (Liu et al., 2019) 의 mean-pool hidden state 를 $\ell_2$ 정규화한 뒤 예측·정답 간 $\ell_2$ 거리. 의미적 근접도를 잰다.

CER/WER 은 edit-distance 라이브러리의 SequenceMatcher, SemER 은 HuggingFace transformers 로 구현했고, 조건 간 유의성 검정은 양측 Mann-Whitney U 검정을 썼다.

실험 결과

규모가 비동기 디코딩을 연다

먼저 던진 질문은 “새 데이터셋의 규모와 다양성이 비동기 디코딩과 동기 디코딩의 격차를 메우기에 충분한가” 다. 두 인코더를 저데이터 SpanishBCBL (Lévy et al., 2025) 과 새 EnglishBCBL 양쪽에서 학습해 CER 을 비교했다.

읽는 법이 중요하다. 저데이터에서는 동기가 비동기를 크게 앞선다 (0.39 vs 0.59, 20%p 격차). 그런데 데이터를 10배로 늘리자 그 격차가 2%p 로 붕괴한다. 키 입력 타이밍이라는 강력한 감독 신호를 데이터가 대체해 버린 것이다. 실시간 사용의 전제 조건이 성능 희생 없이 충족된다는 뜻이므로, 이 논문 전체를 떠받치는 결과다.

스케일링은 로그 선형이다. EnglishBCBL 의 점진적으로 큰 부분집합으로 Encoder Async 를 재학습했을 때 $\log_{10}(\text{hours})$ 와 피험자 평균 CER 사이의 Pearson $r = -0.99$ ($p = 1.1 \times 10^{-3}$, $R^2 = 0.98$, 5개 학습 비율 조건), 기울기는 decade 당 −0.39 CER 이다. 현재 90시간 천장에서 포화 조짐이 전혀 없다.

문장 다양성은 총량과 별개의 축이다

SpanishBCBL 에서 학습한 Encoder Async 의 CER 0.59 는, 같은 양 의 EnglishBCBL 데이터로 학습했을 때의 0.52 ± 0.02 보다 유의하게 높다 ($p < 0.05$). 데이터 양이 아니라 성질의 차이라는 뜻이다.

두 데이터셋의 차이는 반복 여부다. SpanishBCBL 은 각 고유 문장을 피험자마다 2회씩 타이핑했고, EnglishBCBL 은 1회씩만 했다. 이를 분리하려고 총 문장 수와 피험자 수 ($n = 9$) 를 맞추고 고유 문장 수만 다르게 한 통제 데이터셋 두 개를 만들었다 — 128 고유 문장 × 2회 반복 (SpanishBCBL 프로토콜) vs 256 고유 문장 × 1회 (EnglishBCBL 프로토콜).

결과는 CER 0.45 ± 0.03 (비반복) vs 0.65 ± 0.01 (반복), $p < 0.001$ 이다. 같은 총 시행 수라면 문장을 반복하는 것보다 새 문장을 보는 편이 20%p 낫다. 데이터 수집 프로토콜을 짜는 사람에게 곧바로 실행 가능한 결론이고, 언어모델이 개입하지 않은 인코더 단독 결과라는 점에서 더 깨끗하다.

메인 결과 — 단어와 의미 수준

세 접근을 비교한다. (1) 언어모델 보정 없는 Encoder 단독 (CTC logit 에서 매 시점 최빈 클래스 선택), (2) Encoder + N-gram (Brain2Qwerty v1 방식, 6-gram 문자 LM 으로 보정), (3) 전체 Brain2Qwerty v2 파이프라인.

모든 쌍별 비교가 $p < 0.005$ 다. 소통에 직결되는 두 지표 WER 과 SemER 에서 Brain2Qwerty v2 가 명확히 앞선다. 특히 SemER 은 N-gram 대비 0.085 → 0.059 로 크게 좋아지는데, LLM 이 잡음 섞인 신경 입력에서 전역적으로 일관된 문장 구조를 복원한다는 뜻이다.

fMRI 로 지각된 음성을 복원한 Tang et al. (2023) 의 WER 0.92–0.94 와 비교하면, 비침습 신경 기록에서 정확한 단어를 뽑아내는 능력에서 눈에 띄는 진전이다.

CER 이 나빠지는 것은 결함인가

흥미롭게도 Brain2Qwerty v2 의 CER 은 Encoder 단독 (0.28) 과 N-gram (0.26) 보다 나쁘다 (0.31). 이건 LLM 자기회귀 디코딩의 구조적 귀결이다. LLM 은 인코더 출력과 MEG 토큰 신호 품질이 디코딩에 충분하지 않은 상황에서도 유창한 문장을 만들도록 학습돼 있어서, 문자 수준에서 목표와 크게 갈라지는 틀린 문장을 내놓는다.

실패 양상이 N-gram 과 질적으로 다르다. Brain2Qwerty v2 는 최고 피험자에게는 완벽하거나 거의 완벽한 디코딩을 내놓지만, 최악 피험자의 출력은 일관되지만 완전히 다른 문장 이 될 수 있다. 논문의 예시가 선명하다 — 목표 “cars are not allowed on this road” 에 대해 “had she not fallen down the stairs” 를 내놓는다. 문법적으로 흠 없고, 단어 정확도나 의미 정확도에서 얻은 것은 하나도 없이 CER 만 크게 손해 본다.

반대로 N-gram 모델은 국소 문자 시퀀스를 꾸준히 보정해 CER 은 낮게 유지하지만 어휘적으로 올바른 문장을 만들어 내지 못한다 (Figure 3F 의 “WAS THE DISH THAT YOU NIGHTY IN THE LP BUT” 같은 출력). 성공적인 소통이 엄밀한 문자 일치가 아니라 의미 에 달려 있다는 관점에서, WER 과 SemER 의 개선이 CER 손실보다 값지다는 것이 저자들의 주장이고 타당하다.

다만 이 트레이드오프는 응용에 따라 뒤집힌다. 논문도 짚듯이 비밀번호를 입력하는 상황과 대화에 응답하는 상황은 디코딩 목적함수를 다르게 잡아야 한다. 문자 하나가 중요한 곳에서 유창한 hallucination 은 최악의 실패다.

얼마나 자주 완벽한가

중앙·최악 피험자에서도 전형적 오류 양상은 단어 하나가 치환되거나 빠지는 것 이지 무관한 문장으로 붕괴하는 것이 아니다. 부록의 난이도 대역별 분석 (Figure S3) 이 이를 뒷받침한다. 쉬운 대역에서는 최고 피험자가 6문장 중 5문장을 그대로 맞히고, 중앙 피험자도 최대 한두 단어 차이에 그친다. 그 차이조차 “travel by plane” → “travel alone”, “car” → “computer” 처럼 대개 의미 보존적이거나 문법을 유지하는 치환이다. 어려운 대역으로 갈수록 치환의 사거리가 길어지고 주제만 인접한 문장이 나오지만, 출력은 여전히 문법적이다.

CTC 토크나이저와 LoRA 전략

정렬 전략 비교. CTC 토크나이저 WER 0.39 ± 0.04 · 문장 정렬 (문장당 임베딩 하나; Zhang et al., 2026) 0.46 ± 0.04 · 패치 토큰화 (문장을 동일 간격 청크로 고정 분할; Dosovitskiy et al., 2021 의 ViT 착안) 0.49 ± 0.05, 모두 $p < 0.005$. 전형적 문장에서 9개 단어 중 8개가 rank 1 로 복원된다 (Figure 4C).

LoRA rank sweep. $r \in {1, \ldots, 256}$ 에서 세 전략의 궤적이 뚜렷이 갈린다. Joint LoRA 는 작은 rank 에서 이긴다 ($r = 2$, WER 0.43). 그 이상에서는 단일 adapter 의 용량이 제한된 문장 풀 (~2.7K 고유 문장) 을 암기하기에 충분해져 WER 이 나빠진다. Per-subject LoRA 와 Model Soup 은 각각 약 10배 적은 데이터를 보므로 이 과적합 영역에 도달하지 않고, rank 가 커질수록 WER 이 매끄럽게 내려가 Model Soup 이 $r = 128$ 에서 이긴다 (WER 0.43). Model Soup 은 높은 rank 에서도 joint baseline 보다 빠르게 학습된다 — 작은 adapter 아홉 개를 맞추는 편이 큰 pooled adapter 하나를 학습하는 것보다 효율적이기 때문이다.

백본 스케일링. All subjects ($r=2$) / Model soup ($r=128$) 순으로 나열하면 Qwen3-0.6B 0.43/0.43, 1.7B 0.42/0.41, 4B 0.42/0.40, 4B + 모든 모듈 0.41/0.39 다. Model Soup 은 매 단계에서 개선된다 — 0.6B → 1.7B ($p = 0.020$), 1.7B → 4B ($p < 0.01$), attention-only → all modules ($p < 0.01$). 반면 joint training 은 WER 0.41 근처에서 정체한다. LLM 크기를 키울 때 이득을 챙기는 전략은 Model Soup 쪽이라는 뜻이다.

자율 AI 에이전트 (Auto Research)

Karpathy 의 autoresearch 에서 착안해, Claude Opus 4.6 기반 Cursor 에이전트 세 개를 독립적으로 돌렸다. 각각 전용 git worktree 와 격리된 브랜치에서 파일시스템·터미널 전권을 가지되 서로의 브랜치는 볼 수 없다. 공통 코드베이스와 사전학습 checkpoint 는 공유하고 설정 파일과 결과 디렉토리는 분리했다. 부모 브랜치 설정은 의도적으로 빈약하게 만들어 네 개 하이퍼파라미터 (learning rate, weight decay, LoRA rank, batch size) 와 모델 지정 (Qwen3-0.6B + LoRA), 아키텍처 상수만 노출했다.

에이전트 프롬프트의 규칙이 흥미롭다 — SLURM 을 5분마다 폴링하고 절대 idle 하지 말 것, 매 라운드 정확히 50개 job 으로 독립적인 아이디어 4–5개 이상을 검증할 것, 45분 타임아웃 · 멈춘 job 은 즉시 취소, 파일 삭제 금지 · 테스트 예측 조회 금지, 오직 subject 0 만 사용하고 validation 지표로만 최적화할 것. 예산은 10 라운드 × 50 job = 500 회 실행이다.

비교군 Optuna (Akiba et al., 2019) 는 동일 컴퓨트 예산으로 같은 네 파라미터에 TPE 를 돌렸다 (v4.8, multivariate=True, group=True, constant-liar=True, n-startup-trials=32, 500 trial 을 50개씩 10 배치).

교차 피험자 평가가 결정적이다. Optuna 의 단일 피험자 이득은 전이되지 않고 완전히 사라진 반면 ($p = 0.88$), 세 에이전트는 모두 유의한 개선을 유지했다 (전부 $p < 10^{-6}$). 에이전트가 발견한 것이 S01 튜닝 아티팩트가 아니라 모집단 전반에 유효한 혁신이라는 뜻이다.

세 에이전트가 독립적으로 수렴한 핵심 전략들이다.

• Label smoothing — 세 에이전트 모두 라운드 1–2 에서 발견. 단일 라운드 최대 WER 감소 (Agent 1 기준 −0.04).
• Modality dropout — 학습 중 CTC 토큰을 떨어뜨려 LLM 이 잡음 섞인 CTC 예측보다 신경 단어 임베딩에 더 의존하게 만든다. 라운드 5–9 에서 지속적으로 큰 이득.
• Beam search 디코딩 — 테스트 시 다중 가설 디코딩. 라운드 2–3.
• 문장 수준 대조 정렬 손실 — 단어 수준 정렬을 보완하는 CLIP 스타일 보조 손실. 라운드 7–8.
• 최소 프롬프트 — 장황한 태스크 설명 대신 CTC:, MEG:, Output: 만 남긴다.

이 기법들은 모두 v2 개발 과정에서 검토됐고, 최종 설정은 연구팀이 선택했다.

그리고 실패

같은 에이전트들에게 열린 목표를 주면 — Brain2Qwerty v1 코드베이스에서 시작해 EnglishBCBL 에서 v2 파이프라인 성능을 맞춰 보라고 하면 — 셋 다 일관되게 실패한다. 크고 서로 얽힌 코드 수정 때문에 이후 SLURM job 의 대부분이 유효한 지표를 내기 전에 크래시하고, 드물게 단일 실행이 성공해도 에이전트는 반복하기보다 idle 로 빠졌다.

저자들의 결론은 담백하다. AI 에이전트는 강력한 force multiplier 일 수 있지만, 현재로서는 인간 연구자가 과학 과정의 핵심 부분으로 남는다.

결과 분석 / Ablation

LLM 은 정말 뇌를 읽는가

LLM 기반 디코더에 대한 가장 중요한 질문은 이것이다. LLM 이 실제로 신경 정보를 읽고 있는가, 아니면 인코더의 텍스트 출력을 언어적 사전으로 다듬는 교정기에 불과한가.

이를 가르기 위해 CTC 토크나이저와 단어 사영기가 만든 MEG 유래 단어 임베딩 (Neuro Token) 을 제거하고, LLM 을 인코더 예측만으로 조건화한 변형 (Brain2Qwerty + LLM) 을 같은 Qwen3-0.6B 백본에서 학습했다.

세 지표 모두에서 개선되고 (paired Wilcoxon $p \approx 0.004$), 격차가 가장 큰 곳은 WER (절대 −5.6 pt) 다. Discussion 에서 저자들은 이 열화를 WER 기준 16% 로 정리한다. WER 에서 격차가 가장 크다는 사실이 핵심인데, Neuro Token 이 CTC 텍스트만으로는 없는 단어 수준 정보를 나른다는 뜻이기 때문이다.

두 입력 스트림이 상보적으로 작동한다는 그림이 여기서 완성된다. CTC 텍스트는 LLM 을 그럴듯한 언어적 사전에 묶어 두고, MEG 토큰은 그 사전을 넘어 디코딩을 밀어 줄 잔여 신경 정보를 나른다. 전체 성능은 둘 다 있을 때만 나온다.

특히 놀라운 것은 이 적응이 ~2,700 고유 학습 문장 (~90시간 MEG) 이라는 코퍼스에서 일어난다는 점이다. 언어모델 미세조정에 통상 쓰이는 규모보다 몇 자릿수 작다.

인코더가 병목이다

Brain2Qwerty v2 의 문장별 WER · SemER 을 상류 인코더 CER 과 상관시키면 두 하류 지표 모두 인코더 CER 과 선형으로 스케일한다 (Pearson $r$ — WER 0.78, SemER 0.68). 인코더에서 나오는 키 입력 예측이 좋을수록 최종 디코딩 문장이 좋다 — 당연해 보이지만, 이것이 성립한다는 사실 자체가 “LLM 이 신경 신호와 무관하게 그럴듯한 문장을 지어내는 것 아닌가” 라는 의심에 대한 반증이기도 하다.

그렇다면 인코더 아키텍처는 얼마나 중요한가. 같은 데이터로 세 아키텍처를 학습·평가했다.

Conformer 를 표준 Transformer 로 바꾸면 CER 0.25 → 0.28 ($p < 0.005$) 로, Conformer 의 convolution-attention 교차 배치가 MEG 신호의 국소 시간 구조에 유용한 귀납 편향임을 보인다. BrainModule 을 Temporal Patch 모듈로 마저 바꾸면 0.37 까지 나빠져 셋 중 최악이다. 두 구성 요소 모두 저 SNR MEG 입력에서 각자 몫을 한다는 뜻이다.

다중 피험자 학습이 크게 남는다

세 레짐의 순서는 세 피험자 모두에서 동일하다 — per-subject < LOO + finetune < joint training. WER 기준으로 최고 피험자는 38.3% → 32.8% → 22.6%, 중앙은 66.5% → 58.6% → 47.8%, 최악은 90.6% → 68.3% → 61.4% 다.

per-subject 는 joint 와 optimisation step 수를 맞추기 위해 학습 스케줄을 4배로 늘렸는데도 일관되게 최악이다. 컴퓨트가 아니라 데이터 다양성의 문제라는 뜻이다.

실용적으로 더 중요한 것은 LOO + finetune 이 격차의 상당 부분을 메운다는 사실이다. 새 피험자를 위해 기반 파이프라인을 처음부터 재학습할 필요 없이, 미세조정 한 번으로 배치 가능하다는 이야기다. 임상 배포 시나리오에서 결정적인 성질이다.

센서를 줄여도 되는가

306채널 Megin 같은 whole-head MEG 는 부피가 크고 극저온 냉각이 필요하며 임상·소비자 배포에는 비싸다. 상온에서 동작하는 유연한 헬멧 형태의 OPM (optically pumped magnetometer) 이 실용 대안으로 떠오르는데, 보통 50–150 센서로 구성된다. 그런 저채널 배열이 이 정도 문장 디코딩을 지탱할 수 있는가.

keep-fraction ${0.25, 0.50, 0.75}$ 로 306 채널을 각각 ${76, 153, 230}$ 개로 무작위 부분 표집하고, 단순화를 위해 전원 공용 LoRA rank 2 로 전체 파이프라인을 재학습했다 (이 설정의 전체 배열 기준선은 WER 0.433). fraction 마다 모델 시드는 고정하고 센서 선택 시드를 4개 돌려, 분산이 “어떤 센서가 남았는가” 만 반영하도록 했다.

성능은 센서 수에 따라 매끄럽고 단조롭게 나빠진다. 처음 76채널을 버리는 것 (306 → 230) 은 전체 배열 대비 WER +3.4 pp 에 그치고, 다음 77개 (230 → 153) 가 +2.3 pp, 마지막 77개 (153 → 76) 가 +5.7 pp 다. SEM 은 WER 기준 항상 1 pp 이하로 촘촘하다.

결론이 실무적으로 중요하다. 150 센서 규모의 OPM 급 헬멧은 306채널 기준선 대비 WER 을 약 5.7 pp 만 잃는다. 저채널 시스템도 같은 end-to-end 디코딩 파이프라인과 짝지으면 본 논문 성능의 대부분을 회수할 수 있다는 뜻이다.

임베딩 공간에서 무슨 일이 일어나는가

부록의 tSNE 분석이 인코더 내부를 들여다본다. BrainModule 이후의 키 표현은 참가자별로 뭉친다 — 개인별 신경 서명이 임베딩에 남아 있다는 뜻이다. 반면 Conformer 마지막 층 이후의 표현은 키 클래스별로 뚜렷이 뭉치며, 그 구조가 물리적 키보드 배치를 반영한다. 결정적으로 이 구조는 학습으로 획득된 것이다 — 학습되지 않은 Conformer 의 임베딩 공간에서는 키 표현이 여전히 피험자별로 뭉친다.

한계와 비판적 평가

저자들이 인정한 한계부터.

• 개인차가 크다. N-gram CER 기준 17.1%–41.0% 범위다. 최종 성능이 상류 인코더 품질과 강하게 상관하므로, 교차 피험자 전이나 자기지도 사전학습으로 인코더를 개선하는 것이 우선순위다.
• 건강한 자원자 대상 연구다. 참가자들은 실제로 키보드를 친다. 실제 키 입력이 없는 환자에게 — 추론뿐 아니라 학습과 미세조정 단계에서도 없다 — 이 접근이 신뢰성 있게 이전되는지는 아직 증명되지 않았다.
• 실시간이 아니다. 인과적 (causal) 아키텍처가 아니라 문장 전체를 받아 동작하므로 지연이 필연적으로 크고, 사용자가 타이핑 중인 단어를 문장 끝나기 전에 볼 수 없다. EMG 손글씨 디코딩에서 저지연 causal Conformer 가 성과를 냈으니 (Sivakumar et al., 2024) 그 방향의 후속이 필요하다.
• 침습 대비 격차가 여전히 크다. SOTA 침습 BCI 는 타이핑에서 WER 2% 미만 (Jude et al., 2026), 손글씨에서 CER 6% 미만 (Willett et al., 2021) 이다.
• 장비 제약. 306센서 극저온 MEG 는 임상 적응이 어렵다. 센서 ablation 과 OPM 논의가 이를 완화하지만, OPM 으로 실제 검증한 것은 아니다.

리뷰어 입장에서 추가로 보이는 것들.

• 문장 풀이 좁다. Llama 4 로 생성한 “간단한 영어 문장” 2,724개다. 축약형은 제거됐고 특수문자도 없다. 실제 소통에서 필요한 고유명사, 숫자, 도메인 용어, 구어적 파편은 전혀 없는 셈이다. LLM 이 이 좁은 분포를 강력한 사전으로 삼고 있을 가능성을 배제하기 어렵다. 분할이 문장 텍스트 해시 기반이라 문자 그대로의 누수는 없지만, 분포 수준 의 사전 이득은 남는다.
• WER 39% 가 실사용에서 무엇을 뜻하는지 평가가 없다. 열 단어 중 네 단어가 틀린다는 뜻이다. 최고 피험자의 28% 완벽 · 47% 1단어 이내는 인상적이지만, 이 수준에서 실제 소통 과제 (질문 응답, 의사 전달 성공률) 를 측정한 사용자 연구는 없다.
• CER 악화의 안전성 함의가 논의에 그친다. 유창하지만 완전히 틀린 문장을 생성하는 실패 양상은 의료 소통 맥락에서 심각한 위험이다. “had she not fallen down the stairs” 같은 출력이 환자 발화로 제시되는 상황을 생각하면, 신뢰도 추정치 (confidence) 나 거부 (abstention) 메커니즘이 필요해 보이는데 다루지 않는다.
• Auto Research 비교가 완전히 공정하지는 않다. Optuna 는 노출된 네 파라미터만 탐색하도록 구성상 제약돼 있고, 에이전트는 코드를 고쳐 새 축을 만들 수 있다. 저자들도 이를 명시하므로 결론이 틀린 것은 아니지만, “에이전트가 TPE 보다 낫다” 가 아니라 “탐색 공간을 확장할 수 있는 쪽이 이긴다” 가 정확한 해석이다. 동일한 탐색 공간에서의 비교는 없다.
• 피험자 9명은 통계적으로 얇다. paired Wilcoxon 에서 $n = 9$ 로 도달 가능한 최소 $p$ 가 0.0039 이고, Figure 3 의 모든 유의 비교가 정확히 그 값이다. 즉 검정력이 바닥에 닿아 있다.
• SemER 지표의 해석이 모호하다. RoBERTa-large 임베딩의 $\ell_2$ 거리인데, 절대 스케일 (0.059 vs 0.096) 이 의미적으로 무엇을 뜻하는지 앵커가 없다. 사람 판정과의 상관 같은 검증이 있으면 좋았을 것이다.

시사점 / Takeaways

• 이 논문의 진짜 발견은 아키텍처가 아니라 데이터다. 저데이터에서 20%p 뒤지던 비동기 인코더가 데이터 10배에서 2%p 차이로 따라붙는다. 키 입력 타이밍이라는 강력한 감독 신호를 데이터가 대체한 것이다. 신경 디코딩에서 “실시간 사용 가능한 설정” 과 “정확한 설정” 사이의 트레이드오프가 데이터로 지워질 수 있다는 뜻이고, 앞으로 이 분야에서 무엇에 투자할지를 바꾸는 결과다.
• 같은 시행 수라면 문장을 반복하지 말고 새 문장을 보여라. 128문장 × 2회 vs 256문장 × 1회에서 CER 0.65 vs 0.45. 언어모델 없이 성립하는, 프로토콜 설계에 곧바로 쓸 수 있는 결론이다. 데이터 수집 비용이 지배적인 모든 신경 기록 연구에 해당한다.
• CTC 토크나이저는 이식 가능한 아이디어다. “연속 임베딩을 어떻게 LLM 의 이산 토큰으로 자를 것인가” 는 모든 비텍스트 모달리티 → LLM 파이프라인이 마주하는 문제다. 이 논문의 답은 별도 분할 모델을 학습하는 대신 이미 학습한 CTC head 의 space 예측을 재사용하는 것이다. space 가 문자의 19% 라 견고하게 예측되고, 결과적으로 문장의 86% 가 단어 수 ±1 안에 든다. CTC 기반 파이프라인이라면 어디에서든 공짜로 얻을 수 있는 분할이다.
• Neuro Token ablation 은 이런 논문에서 반드시 요구해야 할 실험이다. LLM 을 디코더로 붙인 모든 연구는 “LLM 이 언어적 사전으로 답을 지어내는 것 아닌가” 라는 의심을 받는다. 프롬프트에서 신경 입력만 빼고 나머지를 동일하게 유지하는 이 ablation 이 그 의심에 대한 최소한의 답이다. WER 0.43 → 0.49 라는 차이가 없었다면 이 논문의 주장은 훨씬 약했을 것이다.
• 피험자를 태스크로 보고 model soup 을 쓰는 레시피가 잘 작동한다. joint LoRA 는 rank 를 키우면 작은 코퍼스를 암기해 무너지지만, 피험자별 adapter + 가중치 평균은 rank 128 까지 매끄럽게 좋아지고 백본을 키울 때의 이득도 이쪽이 챙긴다. 개인차가 큰 생체 신호 도메인 전반에 재사용 가능한 패턴이다.
• AI 에이전트의 성공과 실패 조건이 같은 실험에서 드러난다. 탐색 공간이 좁게 정의된 튜닝에서는 TPE 를 크게 앞서고 그 이득이 다른 피험자로 전이된다. 반면 “아키텍처를 새로 발명하라” 는 열린 과제에서는 크고 얽힌 수정이 크래시를 낳고 에이전트는 idle 로 빠진다. 자동화의 경계가 능력이 아니라 과제 구조에 있다는 관찰이며, 실패를 함께 보고했다는 점을 높게 평가한다.

설치 및 사용법

저자들은 코드를 공개했다.

git clone https://github.com/facebookresearch/brain2qwerty
cd brain2qwerty

파이프라인의 세 단계 (CTC 인코더 → 대조 정렬 → LoRA LLM) 중 마지막 standalone LoRA 미세조정 레짐이 최고 성능을 냈으며, 단일 GPU 30 epoch 로 반복 가능하다. 전체 end-to-end 학습은 8× A100 80 GB 에서 19.5시간이 든다. 데이터셋 (EnglishBCBL) 자체의 공개 여부는 논문에 명시돼 있지 않다.

참고 자료

• 논문: https://arxiv.org/abs/2608.18114
• Code: https://github.com/facebookresearch/brain2qwerty
• Auto Research 착안: https://github.com/karpathy/autoresearch

더 읽어보기

• Brain-to-Text Decoding: A Non-invasive Approach via Typing (Lévy et al., 2025) — 본 논문의 직전 버전인 Brain2Qwerty v1. 키 입력에 시간 정렬된 동기 분류기로 MEG 에서 CER 32% 를 달성했고, EEG (CER 67%) 와의 격차도 함께 보고한다.
• Decoding speech perception from non-invasive brain recordings (Défossez et al., 2023) — 본 논문의 BrainModule 이 유래한 작업. 대조 학습으로 M/EEG 에서 지각된 음성의 자기지도 표현을 디코딩한다.
• Towards decoding individual words from non-invasive brain recordings (d’Ascoli et al., 2025) — MEG/EEG 에서 개별 단어를 디코딩하며, 기록 장치와 실험 프로토콜의 선택이 성능을 지배한다는 점을 보인다.
• Semantic reconstruction of continuous language from non-invasive brain recordings (Tang et al., 2023) — fMRI 로 지각·상상 발화와 무성 영상의 의미를 복원한다. 본 논문이 WER 비교 기준 (0.92–0.94) 으로 인용하는 작업.
• A high-performance speech neuroprosthesis (Willett et al., 2023) — 침습 BCI 쪽 대표 성과. 비침습이 얼마나 따라잡아야 하는지를 가늠하는 기준선이다.
• Model soups: averaging weights of multiple fine-tuned models improves accuracy without increasing inference time (Wortsman et al., 2022) — 본 논문의 피험자별 LoRA 가중치 평균 전략의 원본.