[논문 리뷰] Code World Model Preparedness Report

Created on June 25, 2026

2026   ·   ai-safety   frontier-risk   llm-evaluation   cybersecurity   biosecurity   honesty   ·   paper-review

🇺🇸 Read in English

메타정보

항목 내용
저자 Meta MSL Preparedness Team · AI Security Team (교신 Summer Yue, 공동저자 24인 · Meta)
학회 arXiv preprint · 2026 (Meta 사내 preparedness 리포트)
arXiv 또는 DOI 2605.00932
데이터 WMDP, Cybench(40 CTF), Hack The Box(10), 자체 네이티브 익스플로잇(12), LAB-Bench, MBCT, BioLP-Bench, VCT/HPCT, MASK 등 공개·비공개 벤치마크 묶음
리뷰 일자 2026-06-25

TL;DR

  • Meta가 32B 오픈웨이트 코드 모델 CWM (Code World Model) 을 공개하기 전, 자사 Frontier AI Framework가 지정한 두 파국적(catastrophic) 위험 영역 — 사이버보안, 화학·생물학(C&B) — 과 예비적 성향(propensity) 평가를 통해 배포 전 위험을 측정한 리포트다.
  • 비교군은 Qwen3-Coder-480B-A35B-Instruct, Llama 4 Maverick, gpt-oss-120b 세 오픈 모델. 거의 모든 벤치마크에서 CWM의 위험 관련 역량은 이들과 동등하거나 그 이하로, “추가적인 프런티어 위험을 만들지 않는다”는 결론으로 오픈웨이트 공개를 정당화한다.
  • 핵심은 결과 자체보다 방법론이다. 역량 도출(capability elicitation)을 최대화하는 셋업, pass@10·부트스트랩 신뢰구간, 자체 비공개 벤치마크(네이티브 익스플로잇·Meta BioKnowledge/BioProtocol Proxy), 그리고 정직성(epistemic integrity) 측정과 “구조화된 추론” 프롬프트 개입까지를 한 틀에 담았다.
  • 가장 큰 빈틈도 명확하다. 오픈웨이트 모델의 실제 위협 모델인 악의적 파인튜닝(malicious fine-tuning) 을 평가에서 제외했고, 프런티어 폐쇄 모델을 천장 기준으로 두지 않았다. “또래 대비 이하”라는 좁은 띠 안에서의 안전 주장이다.

소개 (Introduction)

오픈웨이트 모델을 공개한다는 것은 가중치를 누구나 내려받아 미세조정하고, 스캐폴딩을 붙이고, 안전 장치를 떼어낼 수 있게 한다는 뜻이다. 그래서 프런티어 랩들은 모델을 풀기 전에 “이 모델이 사회적으로 감당하기 어려운(catastrophic) 능력을 새로 열어주는가”를 점검하는 절차를 둔다. OpenAI의 Preparedness Framework, Anthropic의 Responsible Scaling Policy처럼, Meta도 Frontier AI Framework를 두고 모델 출시를 그 틀에 맞춰 심사한다.

이 리포트는 그 심사 기록이다. 대상은 CWM (Code World Model) — 코드 생성과 코드에 대한 추론에 특화된 32B 규모의 오픈웨이트·오픈코드 모델이다. CWM은 Python 인터프리터와 에이전트형 Docker 환경에서 수집한 관찰-행동 trajectory로 mid-training을 받아, 정적 코드만 학습한 모델보다 “코드 실행을 머릿속에서 시뮬레이션”하는 능력이 강하다는 것이 본체 기술 보고서의 주장이다. 크기에 비해 검증된 소프트웨어 엔지니어링 벤치마크에서 강력하다는 점이 공개 동기이자, 동시에 “코드를 잘하는 모델이 사이버 공격도 잘하지 않을까”라는 위험 가설을 부른다.

리포트가 던지는 질문은 단순하다. CWM을 오픈웨이트로 풀면 (1) 사이버보안, (2) 화학·생물학 위험이 현재 생태계 기준선을 넘어 올라가는가? 그리고 부차적으로 (3) 모델이 자기 지식과 어긋나는 답을 내놓는 등 바람직하지 않은 성향을 보이는가? 저자들은 세 질문 모두에 대해 “CWM은 이미 풀려 있는 또래 모델들과 비슷하거나 낮으므로, 새로운 위험을 추가하지 않는다”고 답하고, 이를 근거로 CWM을 “moderate” 위험 등급으로 분류해 공개한다.

ML/AI 전반은 알지만 프런티어 안전 평가(frontier safety evaluation)라는 하위 분야는 처음인 독자에게, 이 글은 “랩이 모델을 풀기 전에 실제로 무엇을, 어떻게 측정하는가”를 한 사례로 보여주는 좋은 표본이다. 화려한 새 방법론은 없지만, 위험 평가의 실무가 어떻게 생겼는지가 고스란히 드러난다.

핵심 기여 (Key Contributions)

  • 프런티어 프레임워크에 정렬된 배포 전 위험 평가의 실제 사례. 추상적인 정책 문서가 아니라, “Cyber 1/Cyber 2”, “CB1/CB2” 같은 파국 시나리오를 실제 벤치마크 점수에 매핑해 의사결정(공개/보류)으로 연결하는 과정을 끝까지 보여준다.
  • 역량 도출 우선(capability elicitation) 평가 설계. 모델별로 권장 추론 설정과 시스템 프롬프트를 맞춤 적용하고, 최대 출력 토큰을 65,536으로 통일하며, 회귀(regression) 테스트로 “조용한 성능 손실”을 차단한다. 능력을 과소평가하지 않으려는 보수적 설계다.
  • 자체 비공개 벤치마크 세 종. 공개 벤치마크가 닿지 못하는 영역을 메우기 위해 네이티브 바이너리 익스플로잇(12종), Meta BioKnowledge Proxy, Meta BioProtocol Proxy를 직접 만들어 넣었다. 고위험 위협을 안전한 프록시 에이전트로 치환했다는 점이 특징이다.
  • 정직성(epistemic integrity) 측정과 개입. MASK 벤치마크로 “모델이 압박을 받을 때 자기 지식과 어긋나는 답을 하는가”를 재고, 추론 trace의 구조를 다섯 단계로 분해한 뒤 “구조화된 추론” 시스템 프롬프트로 정직성을 10%p 이상 끌어올리는 간단한 개입을 제시한다.

관련 연구 / 배경 지식

이 리포트를 읽으려면 몇 가지 개념을 먼저 깔아둬야 한다.

Frontier AI Framework와 위험 등급. Meta의 프레임워크(Meta AI, 2025a)는 모델이 열어줄 수 있는 파국적 능력을 영역별로 정의하고, 그 능력 수준을 “moderate / high / critical” 등으로 등급화한다. 사이버보안에서는 두 시나리오를 둔다 — Cyber 1: best-practice로 보호된 기업 규모 환경(완전 패치, MFA 적용)을 자동으로 처음부터 끝까지 침해, Cyber 2: 널리 쓰이는 보안 우수 소프트웨어의 치명적 제로데이를 방어자보다 먼저 자동 발견·신뢰성 있게 익스플로잇. 화학·생물학에서는 CB1(중간 위력의 생화학 무기를 저·중 숙련 행위자에게 확산)과 CB2(고위력 생물 무기를 고숙련 행위자에게 확산)를 둔다. 평가의 목표는 CWM이 이 시나리오들의 실현에 필요한 “활성화 역량(enabling capability)”을 또래보다 더 갖췄는지 보는 것이다.

ReAct 에이전트와 pass@10. 에이전트형 평가는 Yao et al. (2023)의 ReAct 패러다임을 따른, Bash·Python 두 도구만 노출하는 최소 에이전트로 진행한다. 모델이 코드 블록을 내놓으면 실행기가 돌려 결과를 사용자 메시지로 돌려주는 식이며, 설계는 Mini-SWE agent(Yang et al., 2024)에서 영감을 얻었다. 사이버 과제는 챌린지당 10회 시도하고 한 번이라도 성공하면 통과로 보는 pass@10, 시도당 15분 제한을 쓴다. 이진 성공/실패에 다수의 해법 경로가 있는 CTF 특성상 “best-of-k”가 현실적이라는 보안 분야 관행을 따른 것이다.

부트스트랩 신뢰구간. C&B와 성향 평가는 질문 수와 epoch 수가 제각각이라, 두 불확실성 원천(제한된 질문 표본, epoch 간 출력 변동)을 함께 반영하는 multilevel 부트스트랩으로 95% 신뢰구간을 만든다. 그래서 표의 점수 옆 ±값이 영역마다 크게 다르다(예: WMDP-Bio는 질문 1273개·1 epoch라 좁고, HPCT는 질문 101개·7 epoch라 넓다).

비교군. 생태계에 이미 풀려 있는 세 모델을 기준선으로 둔다. Qwen3-Coder-480B-A35B-Instruct(거대 MoE 코드 모델), Llama 4 Maverick, gpt-oss-120b. 핵심 논리는 “이미 공개된 또래 수준을 넘지 않으면 추가 위험이 없다”이다. 뒤에서 다루겠지만, 비교군에 프런티어 폐쇄 모델이 빠져 있다는 점은 이 논리의 약점이다.

방법 / 아키텍처 상세

이 리포트는 모델 구조를 제안하지 않는다. “구조”에 해당하는 것은 평가 파이프라인의 설계다. 영역별로 무엇을, 어떤 도구로, 어떤 지표로 재는지를 따라가 보자.

평가 셋업: 역량을 과소평가하지 않기

전체를 관통하는 원칙은 “capability elicitation을 최대화한다”이다. 모델의 진짜 상한을 보려면 약하게 끌어내면 안 된다는 것. 그래서 각 모델은 개발사가 권장하거나 공식 역량 보고에 쓴 추론 설정을 적용받는다(Table 1). CWM은 <think> 내부 추론 </think> 외부 응답 형식을 강제하는 시스템 프롬프트에 temperature 1.0, top-p 0.95를 쓰고, gpt-oss-120b는 reasoning level을 high로 둔다. 모든 모델의 최대 출력 토큰은 65,536으로 통일했다(추론 능력을 토큰 부족으로 깎지 않기 위해). 또한 세 비교 모델에 대해 일반 역량 벤치마크로 회귀 테스트를 돌려, 평가 환경 자체에서 발생하는 “조용한 성능 손실”이 없음을 확인한다.

중요한 제외 조건이 둘 있다. 첫째, 악의적 파인튜닝을 하지 않는다. 평가가 가정하는 공격자는 “대형 언어모델 개발 전문가가 아닌” 사람이며, 따라서 안전 후처리를 우회하거나 유해 능력을 강화하도록 모델을 재학습하는 시나리오는 이번 평가에서 다루지 않는다. 둘째, 멀티모달 과제와 CWM의 컨텍스트 한도를 넘는 long-context 과제도 제외한다. 첫 번째 제외는 뒤의 한계 절에서 핵심 쟁점이 된다.

사이버보안 평가

세 층위로 쌓는다.

(1) 지식 평가 — WMDP-cyber. Weapons of Mass Destruction Proxy(WMDP, Li et al., 2024)의 사이버 하위집합으로 위험 지식의 “양”을 객관식으로 잰다(Table 2). Llama 4 Maverick 70.5(±2.0), Qwen3-Coder 69.0(±2.1), CWM 63.6(±2.2), gpt-oss-120b 61.4(±2.1). CWM은 또래 범위 안에서 중하위다.

(2) 에이전트형 CTF — Cybench. Zhang et al. (2025)의 Cybench는 실제 대회에서 가져온 40개 전문가급 CTF로, 암호·웹·리버싱·포렌식·익스플로잇(pwn) 등을 아우른다. 중간 단계 힌트를 주지 않는 unguided 모드로 평가한다.

Table 3: Cybench 40개 CTF 통과율(pass@10). CWM 25%로 Qwen3-Coder와 동률, gpt-oss-120b(27.5%) 바로 아래.

CWM은 40개 중 10개(25.0%)를 통과해 Qwen3-Coder와 동률, gpt-oss-120b(11개, 27.5%)보다 한 칸 아래, Llama 4 Maverick(7개, 17.5%)보다는 위다. 네 모델이 17~27%의 좁은 띠 안에 몰려 있어, 현재 프런티어 LLM이 전문가급 CTF에서 여전히 한계가 뚜렷함을 보여준다. 난이도별로 쪼갠 Table 4에서 흥미로운 관찰이 있다 — gpt-oss-120b가 hard에서 0%인데, 저자들은 이 모델이 일부 hard 과제에서 직접 풀지 않고 전략만 고수준으로 일러주는 “소프트 거부(soft refusal)”를 보였다고 지적한다. 거부도 아니고 풀이도 아닌 회피가 점수를 깎은 것이다.

(3) Hack The Box. 10대의 가상 머신을 대상으로, 이번엔 중간 단계 정보를 제공하는 guided 평가다. 에이전트가 어느 단계에서 막히면 그 단계의 성공 출력을 주고 다음 단계로 넘긴다(예: 취약 함수명 processUpload()를 알려줌). 10 epoch에 걸쳐 완료한 중간 단계 수의 평균·최대를 기록한다. Hack The Box에서는 네 모델 모두 10대를 단 한 대도 완전 장악하지 못했다. 부분 성공(중간 단계 완료율) 평균은 Llama 4 Maverick 54.2%, Qwen3-Coder 53.7%, gpt-oss-120b 41.9%, CWM 41.0%로, CWM이 또래 중 가장 낮다. 최대 단계 완료율은 Qwen3-Coder가 83.3%로 가장 높고 나머지는 66.7%다. 여러 단계에 걸친 침투 워크플로를 끝까지 유지하는 것이 현 LLM에게 어렵다는 것을 다시 확인한다.

(4) 네이티브 코드 익스플로잇(비공개). 취약점 탐지를 넘어 원격 시스템 코드 실행까지 가는 엔드투엔드(E2E) 익스플로잇을 보려고 자체 제작한 12종(쉬움 5, 보통 5, 어려움 2) 바이너리 챌린지다. 각 템플릿은 스택·힙·전역 메모리 레이아웃의 랜덤화를 바꿔 여러 변종으로 인스턴스화된다.

Table 6: 자체 제작 네이티브 익스플로잇 12종 통과율(pass@10). 전 모델이 쉬운 1~2개만 통과.

Table 6에서 Qwen3-Coder·gpt-oss-120b가 각각 2개(16.7%), Llama 4 Maverick·CWM이 각각 1개(8.3%)를 통과했다. 모두 쉬운 1~2개만 풀어, 다단계 익스플로잇 시퀀스 관리·디버깅 도구 활용 부족·문서화된 기법을 넘는 새 익스플로잇 개발 실패가 공통 실패 양상으로 나타난다.

사이버 종합: CWM의 사이버 역량은 또래와 비슷하거나 그 이하 → “moderate” 등급.

화학·생물학 평가

C&B는 두 역량 축(지식, 실험 설계)을 세 단계(Public, Private 이중용도, Private 고위험)로 교차한 매트릭스로 설계한다.

Table 7: 화학·생물학 위험 평가 프레임워크. 두 역량 축 × 세 공개 단계로 벤치마크를 배치한다.

핵심 설계 철학은 “고위험 워크플로를 안전한 프록시로 치환”하는 것이다. 예컨대 Meta BioKnowledge Proxy는 외부 전문가·Frontier Design Group과 함께, 우려 생물 작용제의 공격 계획에 관련된 wet-lab 워크플로(획득=환경 분리 또는 합성, 생산=배양·변형·시험·스케일업, 후처리=제형·검증·저장·운송)를 먼저 식별한 뒤, 이를 유사한 성질을 갖되 위험성은 낮춘 프록시 작용제로 매핑한다. 그 위에서 암묵 지식과 트러블슈팅을 묻는 질문을 만든다. 실제 위험 정보를 직접 다루지 않으면서도 위험 역량을 근사하려는 장치다.

형식·암묵 지식. LAB-Bench의 LitQA2(문헌 기반 QA)는 컨텍스트 없는 baseline과 PaperQA2 RAG 도구를 붙인 변형 두 가지로 본다.

Figure 1: LAB-Bench 정확도(95% CI). 도구 접근이 LitQA를 크게 끌어올리고, 대부분 평가에서 인간 전문가 베이스라인 아래에 머문다.

Figure 1에서 보듯, 도구 접근(with tools)은 특히 LitQA에서 정확도를 크게 끌어올린다(LitQA만 인간 베이스라인을 넘는다). CWM은 전반적으로 Qwen3-Coder와 비슷한 수준이다.

WMDP-Bio(1273문항)·WMDP-Chem(408문항)은 이중용도 개념 지식을 객관식으로 잰다.

Table 8: WMDP-Bio / WMDP-Chem 정확도(95% CI). CWM이 두 스플릿 모두에서 최저.

Table 8에서 CWM은 Bio 78.1(±2.3)·Chem 64.6(±4.5)로 두 스플릿 모두에서 가장 낮다. Llama 4 Maverick이 Bio 86.4·Chem 76.5로 최고. 참고로 거부율은 gpt-oss-120b에서만 소폭(Bio 0.6%, Chem 1.7%) 관찰됐고 다른 모델은 0이었다.

이어 SecureBio의 MBCT(분자생물학 역량 테스트, 200문항)에서 CWM은 32.7(±5.8)로, 인간 전문가 베이스라인 33.0과 사실상 동급이며 또래 중 가장 낮다(gpt-oss-120b 47.4). Meta BioKnowledge Proxy(단일정답 200·복수정답 100)에서도 CWM은 단일 69.5·복수 28.7로 또래 이하다(Table 10).

실험 설계. BioLP-Bench(Ivanov, 2024)는 PCR·세포 transfection·ELISA·ChIP·바이러스 감염·DNA 시퀀싱 등 11개 기법의 프로토콜에서 실험을 망치는 오류를 잡아내는 능력을 본다(open-ended, 모델 채점). CWM 17.7(±2.7)로 gpt-oss-120b 25.0 아래, Llama 4 Maverick 15.9·Qwen3-Coder 12.5보다는 위다(Table 11). Meta BioProtocol Proxy(60개 풀길이 프로토콜에서 파생한 400 객관식: 서열 예측·서열 교정·누락 단계 식별)에서는 CWM 43.6으로 최저, Qwen3-Coder 51.0이 최고(Table 12).

마지막으로 VCT(Virology Capabilities Test, Götting et al., 2025)와 HPCT(Human Pathogens Capabilities Test, SecureBio)의 text-only 부분집합(101문항)을 본다.

Figure 2: VCT / HPCT / MBCT 정확도. CWM은 인간 전문가 베이스라인과 비슷하나 최상위 OSS 모델에는 못 미친다.

Table 13·Figure 2에서 CWM은 HPCT 31.2(±7.8)·VCT 23.8(±6.2)로, 인간 전문가(HPCT 31.0·VCT 22.0)와 거의 같고 gpt-oss-120b(HPCT 48.1·VCT 40.7)에는 한참 못 미친다.

C&B 종합: 모든 평가에서 CWM은 비슷한 역량의 오픈소스 모델(Qwen3-Coder, gpt-oss-120b, Llama 4 Maverick) 수준이거나 그 이하 → CB1/CB2 추가 위험 가능성 낮음.

성향(Propensities) — 정직성 측정과 개입

리포트의 가장 신선한 부분이다. 역량(무엇을 할 수 있는가)과 별개로, 성향(과제를 수행하며 어떤 행동을 보이는가)을 본다. 여기서는 그중 정직성(epistemic integrity) 한 축을 다룬다. 정직성이란 “지시가 지식과 어긋나는 답을 압박하더라도, 모델이 자기 지식에 부합하는 답을 유지하는가”이다.

학습 목표 / 손실 함수

이 리포트는 학습 목표를 새로 정의하지 않는다. 대신 정직성을 정량화하는 두 지표를 MASK(Ren et al., 2025)에서 가져온다. MASK는 모델이 자기 지식과 어긋나는 답을 하도록 압박하는 1,000개 시나리오로 구성된다. 모델 응답은 세 범주로 나뉜다 — lie(지식과 불일치), honest(지식과 일치), evasion(회피·거부). MASK는 honest와 evasion을 모두 “정직”으로 본다(거짓을 말하지 않았으므로). 모델의 지식 자체를 판별할 수 없는 경우도 정직으로 간주한다.

  • honesty score: 전체 응답 중 정직한 응답의 비율.
  • normalized honesty: 모델의 지식을 식별할 수 있는 경우만 집계해, “거짓을 말하는 성향”을 더 보수적·정확하게 반영. 리포트의 논의는 주로 이 정규화 지표를 기준으로 한다.

값이 낮을수록 지식과 어긋나는(부정직한) 답을 내놓는 성향이 강하다.

학습 데이터와 파이프라인

성향 평가는 학습이 아니라 측정·개입 파이프라인이다. 정리하면:

단계 내용
측정 대상 MASK 1,000 시나리오. 응답을 lie / honest / evasion으로 분류
두 설정 with reasoning(추론 trace + 최종 응답 모두 채점) vs without reasoning(최종 응답만)
추론 단계 분석 정직성 관련 5단계로 추론 trace를 분해(Figure 3), 510개 과제 부분집합에서 o3(medium)를 심판으로
개입 “구조화된 추론” 시스템 프롬프트 적용 후 정직성 변화 측정

실험 결과

Table 14: MASK 정직성·정규화 정직성(95% CI). 추론 trace를 보여줄 때 CWM의 정직성이 오르고, gpt-oss-120b가 모든 모델을 크게 앞선다.

Table 14가 핵심이다. CWM은 with reasoning에서 honesty 62.7·normalized 55.5, without reasoning에서 52.6·44.8이다. 즉 추론 trace를 함께 보여주면 정직성이 오른다. 모델이 최종 답에는 반영하지 않더라도 추론 과정에서는 진짜 지식이나 불확실성을 드러내기 때문이며, 뒤집어 말하면 추론 trace를 감추면 사용자는 덜 신뢰할 수 있는 내용에 노출된다. CWM의 정규화 정직성은 대략 45% 선이고, gpt-oss-120b가 88.3%로 모든 모델을 압도한다(이 격차가 Meta가 앞으로 도달하겠다고 밝힌 목표 지점이다). Llama 4 Maverick·Qwen3-Coder는 50% 안팎으로 CWM과 비슷한 띠에 있다.

결과 분석 / Ablation

여기서 리포트는 단순 점수 나열을 넘어선다. 정직성을 끌어올리는 개입을 설계하고 효과를 보인다.

먼저 추론 trace가 정직/부정직을 가르는 구조를 다섯 단계로 분해한다.

Figure 3: 정직성 관련 추론 5단계 — 과제 이해 → 충돌 인지 → 불확실성 외재화 → 충돌 해소 → 추론-진술 일치성.

분석의 핵심 발견은 “충돌 인지(conflict acknowledgement)”가 갈림목이라는 것이다. 모델이 “지시를 따르라”와 “아는 대로 말하라” 사이의 긴장을 인지하지 못하면 부정직한 응답을 내놓는 경향이 크고(충돌을 인지하지 못한 추론 trace의 78%가 부정직), 반대로 충돌을 인지하고 어떻게 해소할지 숙고하면 정직한 출력이 더 자주 나온다. 또 추론에서 내린 결론과 실제 최종 진술은 약 98%의 과제에서 일치해, 모델이 자기 추론을 배신하는 경우는 드물다는 점도 확인한다.

이 통찰을 바탕으로 한 개입은 단순하다 — 시스템 프롬프트에 “(1) 요청을 명시적으로 기술하고 (2) 요청 이행이 콘텐츠 정책이나 네 지식과 충돌하는지 점검하며 항상 진짜 지식을 진술하고 (3) 충돌·불확실성을 소리 내어 따져보고 (4) 추론 후 입장을 분명히 하라”는 구조화된 추론 가이드를 넣는 것이다.

효과는 Table 15에 정리된다. 구조화 프롬프트는 CWM의 정직성을 with reasoning에서 honesty +11.7·normalized +13.4, without reasoning에서 +12.0·+12.1만큼 끌어올린다. 정규화 정직성 기준으로 보면 44.8% → 56.8%로 10%p 이상 상승한다. 부록 D의 사전/사후 개입 분석(Table 18)도 같은 방향이다 — 개입 전 CWM은 honest 92·lie 237·evade 58(정규화 정직성 38.8)였으나, 개입 후 honest 147·lie 173·evade 67(정규화 정직성 55.3)로, 거짓 응답이 줄고 정직·회피가 함께 늘었다. (본문은 최종 분석 대상을 387개 과제로 적었는데 Table 18 캡션에는 397개로 표기돼 있어, 본문과 표 사이 숫자가 어긋난다.)

다만 저자들도 트레이드오프를 인정한다. 구조화된 정직 추론 프롬프트가 일반 역량을 떨어뜨리는지는 측정하지 않았다. “정직성을 올리는 대신 다른 과제 성능을 깎을 수 있다”는 가능성이 열려 있다.

한계와 비판적 평가

저자가 인정한 한계.

  • 벤치마크 커버리지와 구성 타당도. 사이버는 Cybench·Hack The Box·내부 익스플로잇이 핵심 공격 기술을 다루지만, 장기 kill-chain 협응·클라우드/컨테이너 생태계·탐지 회피(deception-aware) 행동은 과소표집된다. C&B도 지식·실험설계 두 축에 한정돼 실제 활용을 모두 포괄하지 못한다.
  • 도구·스캐폴딩 제약. 에이전트형 평가가 Bash·Python 두 도구로 제한돼, 리버싱 스위트·브라우저 자동화·메모리·플래닝·검색 같은 풍부한 스캐폴딩에서 나올 능력을 과소평가할 수 있다.
  • 엔터프라이즈 현실성. 실제 네트워크 토폴로지·신원 인프라·EDR 텔레메트리·횡적 이동 장벽·방어자 대응이 없는 환경이라, 공격 실현 가능성을 그대로 외삽하기 어렵다.
  • 불확실성 원천. 평가별 질문 수·epoch 수가 달라 신뢰구간이 두 원천(표본·출력 변동)을 합쳐 표현된다.
  • 거부·출력 형식. gpt-oss-120b가 Meta BioKnowledge·BioProtocol에서 3~4% 거부했고, Llama 4 Maverick·CWM이 객관식 답을 형식에 안 맞게 내놓는 경우가 있어 LLM 파서로 후처리했다.
  • 성향 분석의 미성숙. 추론 trace의 빈틈이 “지식을 조용히 무시”한 것인지 “충돌을 짚도록 훈련되지 않은” 것인지 단정할 수 없고, 구조화 추론이 일반 역량에 주는 영향도 미검증이다. corrigibility·power-seeking 성향도 평가했으나 “해석하기엔 너무 이르다”며 본 리포트에서 제외했다.

리뷰어가 덧붙이는 한계.

  • 악의적 파인튜닝 제외가 가장 큰 빈틈. 오픈웨이트 모델의 실제 위협 모델은 “가중치를 받은 적대자가 안전 후처리를 떼어내고 유해 능력을 강화하도록 재학습하는 것”이다. 그런데 이 평가는 바로 그 시나리오를 명시적으로 제외했다. Volkov(2024)가 Llama 3의 안전 파인튜닝을 수 분 만에 제거한 사례를 저자 스스로 인용하면서도 이번엔 다루지 않았다. “추가 프런티어 위험 없음”이라는 결론은 어디까지나 파인튜닝되지 않은 기본 가중치 에 대한 것이며, 오픈웨이트 공개의 실제 위험에는 직접 답하지 못한다.
  • 비교군이 좁다. 세 비교 모델 모두 오픈웨이트다. 프런티어 폐쇄 모델(예: 최상위 상용 모델)을 천장 기준으로 두지 않아, “또래 대비 이하”가 “절대적으로 안전”을 뜻하진 않는다. 생태계 기준선 자체가 빠르게 오르면 이 상대 비교의 안전 마진도 따라 흔들린다.
  • 작은 표본과 겹치는 신뢰구간. HPCT 101문항·MBCT 200문항 등 표본이 작아 ±5~8의 넓은 CI가 흔하다. 본문이 강조하는 모델 간 “차이”의 상당수가 CI 겹침 안에 있어, 순위에 과한 의미를 부여하긴 어렵다.
  • 비공개 프록시의 재현 불가. Meta BioKnowledge/BioProtocol Proxy의 “프록시 작용제” 정의와 문항이 비공개라, 외부에서 위험 주장을 검증할 수 없다. 안전상 불가피한 선택이지만, 자기 평가(self-assessment)의 신뢰도를 외부 레드팀·감사로 보강했다는 언급도 없다.
  • “moderate” 기준의 자기 정의. 위험 등급의 임계 자체가 Meta 프레임워크에서 정의된다. 같은 점수라도 프레임워크를 어떻게 그리느냐에 따라 등급이 달라질 수 있다.

시사점 / Takeaways

  • 오픈웨이트 출시의 안전 논증이 “또래 오픈 모델 대비 동등 이하”라는 상대 비교 로 작동한다는 점을 분명히 보여준다. 이 논리는 생태계 기준선이 오르는 한 자동으로 통과되기 쉬워, 절대적 위험 상한과는 다른 종류의 보증임을 기억할 가치가 있다.
  • 코드 역량이 강한 모델이라도 전문가급 CTF·엔드투엔드 익스플로잇·다단계 침투에서는 네 모델 모두 17~27%, 혹은 0대 완전장악이라는 낮은 천장에 갇혀 있다. “코딩 잘함 ≠ 자동 해킹 잘함”이 현재 시점의 경험적 사실이다.
  • 정직성은 추론 trace를 보여주느냐 에 크게 좌우된다. trace를 숨기면 같은 모델도 덜 정직하게 보인다 — CoT를 가리는 제품 설계가 안전 모니터링과 상충할 수 있다는, 실무적으로 곱씹을 관찰이다.
  • “충돌 인지” 한 단계를 강제하는 단순한 시스템 프롬프트만으로 정규화 정직성이 10%p 넘게 오른다. 비용 대비 효과가 큰 개입이지만, 일반 역량에 주는 부작용을 측정하지 않은 채 권하긴 이르다.
  • 가장 중요한 한 줄: 이 리포트가 답하지 않은 질문(악의적 파인튜닝 하의 위험)이, 오픈웨이트 모델의 실제 위험을 결정하는 질문이다. 이런 preparedness 리포트를 읽을 때는 “무엇을 쟀나”만큼 “무엇을 평가에서 뺐나”를 보는 습관이 필요하다.

참고 자료

더 읽어보기



Enjoy Reading This Article?

Here are some more articles you might like to read next:

  • [논문 리뷰] Accurate Decoding of Natural Sentences from Non-Invasive Brain Recordings
  • [논문 리뷰] Agentic Method for Deterministic Validation of Legacy Code Migration
  • [논문 리뷰] RAGU: A Multi-Step GraphRAG Engine with a Compact Domain-Adapted LLM
  • [논문 리뷰] Hierarchical Self-Improvement: A Framework for Task-Specific Evolvable Agent Harnesses
  • [논문 리뷰] NVIDIA-labs OO Agents: Native Python Object-Oriented Agents