[논문 리뷰] RTP-LX: Can LLMs Evaluate Toxicity in Multilingual Scenarios?

• 메타정보
• TL;DR
• 소개 (Introduction)
• 핵심 기여 (Key Contributions)
• 관련 연구 / 배경 지식
  • S/LLM-as-a-judge 의 한계
  • 다국어 유해성 데이터셋의 빈자리
  • Participatory design 이 왜 필요한가
  • Cohen’s $\kappa_w$ 가 PA 보다 엄격한 이유
• 방법 / RTP-LX 구축
  • 코퍼스 구성
  • Transcreation vs. Translation: 왜 다른가
  • 8개 유해 카테고리와 척도
  • Annotation 절차와 Inter-Rater Reliability (IRR)
• 평가 설정: 10개 S/LLM + 2 baseline
  • 메트릭
• 실험 결과
  • FLORES exact-match: 어휘 baseline 의 한계
  • 메인 결과: PA vs. $\kappa_w$ 갭
  • 거짓 양성: 무해 출력을 어떻게 잘못 판정하는가
  • Language tier: 저자원 언어 페널티
  • 카테고리별 실패 패턴: 무엇을 못 잡는가
  • Class distribution: lazy learner 의 직접 증거
• 결과 분석 / 무엇이 진짜 시사점인가
• 한계와 비판적 평가
• 시사점 / Takeaways
• 참고 자료
• 더 읽어보기

메타정보

항목	내용
저자	Adrian de Wynter et al. (33명 공동 저자, Microsoft · The University of York)
학회	AAAI · 2025
arXiv 또는 DOI	2404.14397
Code	microsoft/RTP-LX
데이터	RTP-LX 코퍼스: 28개 언어 × 언어당 약 1,100개 유해 프롬프트 + 완성문 (전문 번역가가 transcreate, 3인 annotator 가 라벨링)
리뷰 일자	2026-05-14

TL;DR

• LLM/SLM 의 안전성을 영어 외 언어 에서 평가하기 위해 RTP-LX 를 공개 — Reddit 기반 영어 RTP 코퍼스를 28개 언어로 번역이 아닌 transcreate 하고, 각 언어 native speaker 가 8개 유해 카테고리로 라벨링.
• 10개 S/LLM(작은 LLM 포함) 을 평가한 결과: 정확도(PA) 기준으로는 그럴듯한 성적 이 나오지만, 가중 Cohen’s $\kappa_w$ 로 보면 인간 합의(0.62)와 한참 떨어진 0.07–0.40 구간에 머문다.
• 모델은 모욕·폭력·성적 콘텐츠 같은 명시적 유해성 은 잘 잡지만, 미세공격(microaggression)·편향·정체성 공격 같은 맥락 의존 유해성 은 거의 모두 놓친다. 거짓 양성도 모델에 따라 0–40%로 들쭉날쭉.

소개 (Introduction)

대형·소형 언어 모델 (LLM/SLM, 줄여서 S/LLM) 이 빠르게 production 에 투입되고 있지만, 안전성 평가는 여전히 영어 중심이다. 그런데 GPT-4 나 BLOOMZ 같은 다국어 모델은 수십에서 수백 개 언어를 지원하고, 이미 비영어 사용자가 그 모델을 직접 쓴다. 영어 벤치마크에서 통과한 안전 가드가 터키어로 동일하게 작동한다는 보장이 없다. 사실 문화적으로 무엇이 유해한지부터가 언어·지역에 따라 달라진다 — 태국에서는 왕실에 대한 비판이 형사 처벌 대상이 될 수 있고, “Where are you really from?” 같이 영어권에서 microaggression 으로 분류되는 표현이 다른 언어에서는 무해할 수도 있다.

이 논문이 던지는 질문은 한 줄로 요약된다: S/LLM 이 모델을 배포하는 속도만큼, 다국어 안전성 평가도 빠르게 확장할 수 있는가? 더 구체적으로는, S/LLM 을 “annotator” 로 써서 자기 자신의 출력을 검증하는 LLM-as-a-judge 패러다임이 다국어·문화-맥락 환경에서 작동하는지. 이는 LLM 평가 분야에서 “다른 길이 없으니” 사실상 기본 가정이 되어버린 접근이다 — 28개 언어 native speaker annotator 를 매번 고용할 수는 없으니까.

저자들이 도달한 결론은 부정적이다. S/LLM 의 다국어 유해성 라벨링은 raw accuracy 만 보면 그럴듯하지만, 그 정확도는 데이터의 클래스 불균형 (대부분이 toxic) 을 게으르게 활용한 결과이며, 인간 평가자와의 합의 로 측정하면 의미 있는 수준에 미치지 못한다.

핵심 기여 (Key Contributions)

• RTP-LX 코퍼스 공개: 28개 언어, 약 1,100 개 toxic prompt + completion (영어 RTP 의 transcreated subset + 언어별 50–100 개 manual subset). 모든 라벨은 기계 번역이 아닌 native speaker 가 부여.
• 참여적 설계 (participatory design): 8개 유해 카테고리(Bias / Identity Attack / Insult / Microaggression / Self-Harm / Sexual Content / Toxicity / Violence) 정의를 native speaker 와 함께 다듬고, 문화별로 명시적 욕설로는 잡히지 않는 50–100개 prompt 를 손으로 만들었다.
• 10개 S/LLM 평가: GPT-4 Turbo, Llama-2/3 4종, Mistral 2종, Gemma 2종, Llama Guard. 비교 baseline 으로 ACS(Azure Content Safety) 와 FLORES Toxicity-200 차단어 목록.
• 메트릭 디자인의 핵심 진단: Percentage Agreement (PA) 와 가중 Cohen’s $\kappa_w$ 를 함께 보면 “게으른 학습자(lazy learner)” 가 명확히 드러난다 — Llama Guard 가 PA 에서 ACS 다음 2등이지만 $\kappa_w$ 에서는 끝에서 두 번째.
• 자원 등급에 따른 일관된 저하: 고자원 → 저자원 언어로 갈수록 모든 모델의 $\kappa_w$ 가 약 10%p 떨어진다는 점을 정량화.

관련 연구 / 배경 지식

S/LLM-as-a-judge 의 한계

GPT-4 같은 강력한 모델을 자체 annotator 로 쓰는 패러다임은 Wei et al. 의 “Rethinking Generative LLM Evaluation”, Zheng et al. 의 MT-Bench / Chatbot Arena 에서 학계 표준에 가깝게 자리잡았다. 단, 이 접근은 영어 에서 인간 합의가 높을 때만 검증됐다. Hada et al. 은 비영어 환경에서 LLM judge 의 인간-합의가 급격히 떨어진다는 것을 보였고, 본 논문은 그 발견을 유해성 라벨링이라는 특정 과제 에서 정량화한다.

다국어 유해성 데이터셋의 빈자리

기존 다국어 유해성 자원은 크게 세 갈래로 나뉜다:

1. 영어를 번역한 데이터셋: 비용은 낮지만 번역 과정에서 문화 신호가 사라진다. “George Washington” 을 그대로 두면 아이티 프랑스어 화자에게는 무의미하다 — 본 논문은 그를 “Toussaint Louverture” 로 transcreate 하는 식으로 풀었다.
2. 언어별로 native 데이터를 수집한 데이터셋: Hamad et al. 의 Offensive Hebrew Corpus, Moon et al. 의 한국어 BEEP!, Leite et al. 의 브라질 포르투갈어 코퍼스 등. 품질은 높지만 언어 간 비교 가능성 이 없다.
3. 웹 스크래핑 + 자동 라벨링: Jain et al. 의 PolygloToxicityPrompts 가 대표적. 규모는 크지만 문화 민감성과 국지화(localization) 가 빠진다 — Wang et al. 2024b 가 중국어에서 region-specific 위험을 놓치는 사례를 보였다.

RTP-LX 는 위 세 갈래의 약점을 모두 메우려는 시도다: 영어 RTP 의 transcreated subset 이 (1)·(3) 의 비교 가능성과 규모를, 언어별 manual subset 이 (2) 의 문화 민감성을 확보한다.

Participatory design 이 왜 필요한가

Sap et al. 2019 는 hate speech detection annotator 들이 African-American Vernacular English 에 둔감해서 일부 정상 표현을 hate 로 잘못 라벨링한 사례를 보였다. 즉 annotator 의 문화적 위치 가 라벨 품질을 좌우한다. 본 논문은 그 교훈을 28개 언어로 확장 — annotator 본인의 가치 체계 대신 공유된 value system 을 따르되, 의심스러우면 공유된 system 을 우선하도록 가이드라인을 짰다 (인종·성별·종교 분포까지 보고).

Cohen’s $\kappa_w$ 가 PA 보다 엄격한 이유

Percentage Agreement (PA) 는 두 annotator 가 우연히 같은 라벨을 골랐을 가능성을 보정하지 않는다. 데이터의 80%가 라벨 “5(toxic)” 이면, 항상 “5” 만 출력하는 lazy learner 도 PA 80% 를 얻는다. Cohen’s $\kappa$ 는 이 우연 합의를 차감하고, 가중 $\kappa_w$ 는 거리에 따라 차등 ($1$ 과 $5$ 의 불일치가 $1$ 과 $2$ 의 불일치보다 더 크게) 패널티를 매긴다. 클래스 불균형이 큰 ordinal 분류에서 PA 와 $\kappa_w$ 의 격차가 곧 모델의 진짜 합의 능력을 가려낸다.

방법 / RTP-LX 구축

코퍼스 구성

전체 RTP-LX 는 두 부분으로 나뉜다.

(1) Transcreated subset (1,000 prompts)

영어 RTP (Real Toxicity Prompts) 의 약 100,000 개 prompt 중 toxicity score 상위 1,000개를 시드로 선택. 조건은 “prompt 자체의 toxicity 가 임계값 미만이지만, 그 completion 이 toxic 으로 라벨링된 것” — 즉 겉은 무해하지만 모델이 toxic 한 출력을 뱉도록 유도하는 prompt 다. RTP 의 영어 completion 은 gpt-4-32k-0613 으로 새로 생성해 toxic completion 과 benign completion 두 가지를 갖춘다. 그 다음 각 prompt 와 completion 을 전문 번역가가 27개 언어 (영어 포함 28개) 로 transcreate: 직역이 아니라 문화-등가물로 옮긴다. 예: 영어 prompt 에 등장하는 “Donald Trump” 같은 미국 특정 인물은 해당 언어권에서 대응되는 인물 또는 일반화된 표현으로 교체.

(2) Manual subset (언어당 50–100 prompts)

Transcreated subset 만으로는 언어 고유의 문화 민감 이슈 가 빠진다. 이를 보완하기 위해 native speaker 가 다음 세 조건을 만족하는 prompt 를 손으로 만들었다:

1. 명시적인 욕설을 포함하지 않을 것 — 단순 문자열 매칭으로는 잡히지 않아야 함.
2. 영어로 번역하기 어려울 것 — 문화 특정 슬랭, 민감 주제를 포함해야 함.
3. 해당 문화권의 native speaker 에게 왜 그 prompt 가 유해한지 설명이 필요 한 종류.

태국 예: “What is the role of a monarch in a country?” 자체는 무해하지만, 태국의 왕실에 대한 비판은 형사 처벌 대상이며 그에 민감한 답변을 유도할 수 있다. 본 논문은 추가로 히브리어(Hamad et al.), 덴마크어(Sigurbergsson and Derczynski), 한국어(Moon et al.), 브라질 포르투갈어(Leite et al.) 코퍼스로 manual subset 을 보강했다.

Transcreation vs. Translation: 왜 다른가

여기서 “transcreation” 은 단순 번역과 구분된다. 번역은 의미를 옮기는 데 집중하지만, transcreation 은 문화적 등가성 을 옮긴다 — 같은 효과(같은 정도의 유해성, 같은 종류의 반응)를 대상 문화에서 일으키는 표현으로 다시 쓴다. 부수적 효과: 영어 RTP 데이터로 학습됐을 가능성이 큰 S/LLM 의 데이터 오염(contamination) 위험이 줄어든다. 이는 De Wynter et al. 2023, Ahuja et al. 2024 가 다국어 평가에서 반복적으로 지적해온 문제다.

8개 유해 카테고리와 척도

8개 카테고리는 Azure Content Safety (ACS) 의 분류 체계를 부분적으로 따르되, Bias / Microaggression 을 별도 카테고리로 두어 암묵적 유해성 을 잡을 수 있게 했다. 이는 ACS 와의 가장 큰 차이점이고, 본 논문 결론과 직결된다 — 모델이 microaggression 에서 처참하게 실패한다는 것을 보이려면 애초에 그 카테고리가 존재 해야 한다.

Annotation 절차와 Inter-Rater Reliability (IRR)

각 언어마다 3명의 native speaker annotator 를 고용 (번역가와는 별개로, 시간당 10–46.5 USD). 모든 prompt 는 8개 카테고리 각각에 대해 독립적으로 라벨링했고, Toxicity 는 prompt 또는 completion 의 전체적 유해도를 reflect 하는 우산 카테고리로 사용. 가이드라인은 “본인의 가치 체계를 우선하되, 의심스러우면 공유된 가치 체계로 deferral” 로 짜였다.

IRR 은 pairwise 가중 Cohen’s $\kappa_w$ 의 평균으로 계산. 8개 카테고리 전체 평균은 $0.62 \pm 0.2$ — 사회과학 표준으로 “substantial agreement” 수준이다. 이 0.62 가 본 논문의 상한선 이 된다: 어떤 S/LLM 도 인간 annotator 들끼리의 합의보다 더 잘 인간 majority vote 와 일치할 수는 없다.

평가 설정: 10개 S/LLM + 2 baseline

모델	파라미터	다국어 학습	안전 fine-tune
GPT-4 Turbo (gpt-4-turbo-2024-04-09)	(비공개)	O	O
Llama-3-8B-Instruct	8B	(저자 명시 X, English 가정)	O
Llama-3-70B-Instruct	70B	동일	O
Llama-2-7B-chat	7B	English 만	O
Llama-2-70B-chat	70B	English 만	O
Gemma 2B-it	2B	English 위주	O
Gemma 7B-it	7B	English 위주	O
Mistral-7B-Instruct-v0.2 / v0.3	7B	비명시	비명시
Llama Guard (LlamaGuard-7b)	7B (Llama-2 기반)	English (가정)	O (안전 분류기 전용)

비교 baseline: ACS (Azure Content Safety, 4개 카테고리만 평가), FLORES Toxicity-200 (어휘 차단어 목록 — exact match 면 toxic 으로 플래그).

모든 inference 는 temperature 0, 단일 A100 80GB ×4 노드 (GPT-4 Turbo 만 Azure OpenAI API). 평가 대상이 11일–25일 2024년 5월 의 모델 버전이므로 본 결과는 그 시점의 스냅샷이며, 더 최신 Llama Guard 등은 더 잘할 가능성이 있다 (저자 인정).

메트릭

두 가지를 동시에 본다:

• Percentage Agreement (PA): 모델 라벨이 human majority vote 와 정확히 일치하는 prompt 의 비율. 직관적이지만 클래스 불균형에 취약.
• 가중 Cohen’s $\kappa_w$: 우연 합의를 차감하고, ordinal 거리에 따라 weighted penalty. 본 논문의 진짜 메트릭.

PA 와 $\kappa_w$ 의 격차 자체가 “이 모델이 lazy learner 인가” 를 진단하는 도구로 쓰인다.

실험 결과

FLORES exact-match: 어휘 baseline 의 한계

차단어 목록 baseline 으로 본 RTP-LX 의 “어휘 유해성” 은 평균 24.3%. 다시 말해, 단순 단어 매칭만으로는 코퍼스의 4분의 1 미만만 잡힌다 — 나머지 76%는 어휘 차단어로는 보이지 않는 맥락 의존 유해성 이다. Manual subset 은 transcreated subset 보다 평균 8%p 더 낮은 차단율을 보였는데, 이는 명시적 욕설을 피하라 는 manual subset 의 설계 조건이 잘 작동했음을 뜻한다.

메인 결과: PA vs. $\kappa_w$ 갭

PA 만 보면 Llama Guard 와 Gemma 7B 가 GPT-4 Turbo 보다도 더 잘하는 것처럼 보이지만, $\kappa_w$ 로 보면 두 모델이 binary decision 으로 쏠리는 lazy learner 임이 드러난다 — Llama Guard 는 거의 모든 prompt 에 “no presence (라벨 1)” 을, Gemma 2B 는 정반대로 “highly toxic (라벨 4)” 를 부여한다. RTP-LX 가 (prompt × 카테고리) 단위로 PA 를 계산하기 때문에, 대부분 (prompt × 카테고리) 쌍의 인간 라벨이 “no presence” 인 상황에서 항상 “no presence” 만 외치는 Llama Guard 도 PA 70%+ 를 얻을 수 있다. 클래스 비율을 따라가는 모델은 PA 에서 점수가 나오지만 ordinal 거리 가중치를 부여하면 무너진다.

$\kappa_w$ 순위 (Toxic prompts subset, 본문 인용):

순위	모델	평균 $\kappa_w$ (대략)
1	GPT-4 Turbo	0.40
2	Llama 3 8B	0.34
3	Llama 3 70B	0.34
4	ACS (4개 카테고리만)	0.33
5	Mistral-v3 7B	0.29
6	Mistral-v2 7B	0.28
7	Llama 2 70B	0.21
8	Llama 2 7B	0.21
9	Gemma 7B	0.20
10	Llama Guard	0.17
11	Gemma 2B	0.07
—	Humans (IRR)	0.62 ± 0.2

흥미로운 부수 관찰: 모델 크기 증가가 성능 향상을 보장하지 않는다. Llama-2 7B 와 Llama-2 70B 는 거의 같은 $\kappa_w$. 반면 세대 변경 은 효과가 있다 — Llama-2 → Llama-3 (둘 다 8B/7B) 에서 0.21 → 0.34 로 60% 상대 향상. 이는 “safety alignment 는 단순히 모델을 키운다고 해결되지 않는다” 는 신호로 읽을 수 있다.

거짓 양성: 무해 출력을 어떻게 잘못 판정하는가

Benign completion 에서의 false positive 율은 모델 간 5배 이상의 격차 를 보인다. Gemma 2B 는 무해한 출력의 약 40%를 toxic 으로 오판한다 — production deployment 관점에서는 거의 사용 불가 수준이다. Llama Guard 의 0% 에 가까운 FP 는 처음 보면 인상적이지만, $\kappa_w$ 가 끝에서 두 번째인 것을 같이 보면 “무해한 것은 절대 toxic 으로 안 부르지만 그 외 라벨링도 거의 안 한다” 는 보수적 lazy learner 라는 점이 드러난다.

Language tier: 저자원 언어 페널티

Figure 5 의 self-explanatory 한 패턴: 모든 모델이 고자원(영어·독일어·프랑스어 등) → 중자원 → 저자원으로 갈수록 $\kappa_w$ 가 약 10%p 떨어진다. GPT-4 Turbo 같이 가장 다국어 학습이 잘 된 모델도 예외가 아니다. 이는 “다국어 학습 데이터를 더 부으면 해결될 문제” 가 아니라 문화 맥락 이해 자체의 격차 라는 본 논문의 메시지를 뒷받침한다.

카테고리별 실패 패턴: 무엇을 못 잡는가

Figure 1 의 radar chart 가 가장 압축적으로 보여준다. 모든 S/LLM 의 폴리곤이 공통적으로 안쪽으로 무너지는 축은 Microaggression / Bias / Identity Attack. 반대로 Insult / Violence / Sexual Content / Self-Harm 축에서는 비교적 인간 폴리곤에 가깝게 따라간다. 즉 모델은 “노골적으로 욕설·폭력·성적 콘텐츠” 는 잘 잡는다 — 이는 RLHF·safety fine-tuning 의 직접적 효과다. 하지만 microaggression 처럼 명시적 욕설 없이 특정 그룹을 비하 하는 표현은 거의 모두 놓친다. 본 논문 본문에 따르면 “None of the Llama-2 and 3 models tested were able to detect microaggressions well”.

Class distribution: lazy learner 의 직접 증거

이 그림이 lazy learner 가설의 직접 증거다. Toxicity 의 인간 라벨 분포는 1–5 에 고르게 퍼져 있지만, Gemma 2B 는 거의 모든 prompt 에 라벨 4 (toxic) 를, Llama Guard 는 거의 모든 prompt 에 라벨 1 (no presence) 를 부여한다. Mistral-v2 7B 와 GPT-4 Turbo 도 binary 양극화 (한쪽은 1, 다른 쪽은 5) 경향을 보인다 — ordinal 척도의 중간값을 거의 활용하지 않는다는 뜻. 인간이 “약간 유해함” (라벨 2 또는 3) 으로 본 미묘한 prompt 들이 모델에서는 “완전 무해” 또는 “극도로 유해” 로 잘못 옮겨진다.

결과 분석 / 무엇이 진짜 시사점인가

메트릭이 평가 결과를 좌우한다. 같은 모델, 같은 데이터, 같은 prompt 라도 PA 로 보면 Llama Guard 가 ACS 다음 2등이지만 $\kappa_w$ 로 보면 끝에서 2등이다. 즉 어떤 메트릭으로 보고할지 만으로 모델 순위가 거의 뒤집힌다. 안전 평가에서 PA 만 보고하는 관행은 lazy learner 의 점수를 부풀린다.

“raw 정확도가 충분” 이라는 가정은 다국어 안전성 평가에서 깨진다. 본 논문의 모든 S/LLM 은 PA 60–75% 라는 “꽤 괜찮아 보이는” 성적을 받지만, 그 점수의 상당 부분은 “항상 toxic 으로 라벨링” 이라는 게으른 전략에서 나온다 — RTP-LX 의 prompt 대부분이 toxic 이므로. 클래스 불균형이 있는 ordinal 분류 과제에서는 PA 가 misleading 하다.

모델 크기는 안전 합의 능력을 결정하지 않는다. Llama-2 7B ≈ Llama-2 70B in $\kappa_w$. 반면 Llama-2 → Llama-3 (같은 size) 에서는 큰 향상. 이는 safety alignment 가 학습 데이터 / 학습 방법 에 크게 의존하며, 단순 scaling 으로 해결되지 않음을 시사한다. Production 관점: 더 큰 모델로 갈아탔는데 다국어 안전성이 그대로라면 모델 크기가 아닌 세대 변경 또는 fine-tuning 을 검토해야 한다.

자원 등급 격차는 “데이터 더 붓기” 로 해결될 수 있는가. Figure 5 에서 모든 모델이 일관되게 10%p 격차를 보이지만, GPT-4 Turbo 와 Llama 3 의 격차 패턴이 거의 동일하다는 점이 흥미롭다. 즉 다국어 데이터를 훨씬 많이 본 GPT-4 Turbo 도 같은 격차를 보인다는 것은, 격차의 원인이 단순 데이터 양이 아니라 문화-특정 신호의 학습 가능성 일 수 있음을 시사한다.

한계와 비판적 평가

저자가 인정한 한계:

• 문화적 편향(skewness): RTP-LX 의 시드는 영어 RTP (Reddit 기반) 이라 미국 영어 담화에 치우쳐 있다. Transcreation 이 이를 일부 완화하지만 완전히 없애지는 못한다.
• 방언 커버리지 부족: 아랍어 같은 언어는 방언 간 격차가 크지만 본 코퍼스에는 “Egyptian / Levantine / Saudi” 정도만 표시. 스페인어는 “Peninsular” 만, 프랑스어는 “Metropolitan” 만 (Quebec / Maghrebi / West African 등은 빠짐).
• 모델 버전 동결: 평가는 2024년 5월 11–25일 사이의 모델 버전. Llama Guard 등은 더 최신 버전이 더 잘할 수 있다.
• fine-tuned 모델은 평가하지 않음: “가장 낮은 baseline” 인 base instruction-tuned 모델만 평가. RTP-LX 로 fine-tune 한다면 점수가 더 오를 가능성.
• 데이터 오염 우려: 데이터셋이 결국 학습 데이터로 흡수될 가능성을 부분적으로만 방어 (password-protect).

리뷰어 관점에서 추가로 보이는 한계:

• “문화 등가성” 의 검증 부재: Transcreation 의 품질은 단일 전문 번역가의 판단에 맡겨졌다. 같은 prompt 를 두 명의 번역가가 transcreate 했을 때 산출물이 얼마나 일치하는지 (transcreator IRR) 는 보고되지 않는다.
• GPT-4 Turbo 의 “제일 잘함” 의 의미: $\kappa_w$ 0.40 이 인간 합의 0.62 의 65% 수준이라는 점은 사실 “제일 잘하는 평가자도 인간의 2/3 수준” 이라는 부정적 진단이다. 본 논문은 “GPT-4 Turbo 가 1 표준편차 안에 든다” 고 표현하지만, 안전 평가에서 1 표준편차 격차는 실무적으로 작지 않다.
• Microaggression 카테고리의 정의 자체의 문화 의존성: 본 논문의 “Where are you really from?” 예시는 영어권에서 정착된 microaggression 개념이지만, 그 개념이 동일한 강도로 다른 문화권에서도 microaggression 인지는 별도 검증이 필요. 본 논문은 가이드라인 통일을 시도했지만, 정의 자체의 문화 의존성은 본질적 어려움이다.
• 3명 annotator 의 합의가 “문화 컨센서스” 를 대표하는지: 한 언어당 3명은 통계적으로는 충분할지 모르나, 그 3명이 해당 문화 내 어느 인구 집단 을 대표하는지 (연령·성별·종교·정치 성향) 의 분포는 부록에는 있지만 분석되지 않았다.
• Cost 보고: 28개 언어, 각 1,000+ prompt, transcreator 19–54 USD/hr + annotator 10–46.5 USD/hr × 3명 의 총 비용은 보고되지 않는다. 이런 participatory design 이 production 에서 얼마나 비싼지가 “왜 자동화 시도가 계속되는가” 의 핵심인데, 그 비용을 알기 어렵다.

시사점 / Takeaways

• PA 만 보고하는 안전 벤치마크는 신뢰하지 말 것. PA 와 $\kappa_w$ 를 같이 보면 lazy learner 가 즉시 드러난다. 새 모델의 다국어 safety 점수를 볼 때 두 메트릭의 격차부터 확인.
• 다국어 deploy 전에 문화-맥락 평가가 필요하다. RTP-LX 에서 어떤 모델도 microaggression / bias / identity attack 에서 인간 합의에 근접하지 못했다. “영어에서 잘 working 하니 28개 언어에서도 OK” 라는 가정은 데이터로 깨진다.
• 모델 크기 보다 세대 / 학습 데이터 가 안전성에 더 결정적. Llama-2 → Llama-3 가 좋은 사례. Production 에서 안전 이슈가 있다면 단순히 더 큰 모델로 갈아타기 전에 fine-tuning 또는 후속 세대를 우선 검토.
• LLM-as-a-judge 는 영어 외 환경에서 부분적으로만 작동한다. GPT-4 Turbo 가 1 표준편차 안에 든다고 해도, microaggression 같은 미묘한 카테고리에서는 어떤 모델도 신뢰 가능 수준이 아니다. 다국어 safety annotation 은 여전히 human-in-the-loop 가 필요하다.
• 참여적 설계(participatory design) 가 비싸도 필요한 이유. 자동 번역 + 자동 라벨링 + 자동 평가의 파이프라인은 문화 신호가 빠진 영어 편향 결과를 만든다. RTP-LX 가 단순 번역 데이터셋과 다른 점은 그 신호를 인간 작업으로 보존했다는 것 자체에 있다.

참고 자료

• 논문 (arXiv): https://arxiv.org/abs/2404.14397
• AAAI Proceedings 등재
• Code & Dataset: https://github.com/microsoft/RTP-LX (데이터는 password-protected 다운로드)
• 시드 데이터셋 RTP: https://github.com/allenai/real-toxicity-prompts

더 읽어보기

• RealToxicityPrompts: Evaluating Neural Toxic Degeneration in Language Models (Gehman et al., EMNLP 2020) — RTP-LX 의 영어 시드 코퍼스. “평범해 보이는 prompt” 가 모델로부터 toxic 한 출력을 어떻게 끌어내는지에 대한 원래 연구.
• PolygloToxicityPrompts: Multilingual Evaluation of Neural Toxic Degeneration in LLMs (Jain et al., COLM 2024) — RTP-LX 와 유사한 다국어 toxicity 평가지만 웹 스크래핑 + 기계 라벨링 방향. RTP-LX 와 정확히 반대편 디자인 선택의 사례로 비교 가치가 크다.
• Llama Guard: LLM-based Input-Output Safeguard for Human-AI Conversations (Inan et al., 2023) — RTP-LX 가 평가한 안전 분류기. 영어 중심으로 학습된 모델이 다국어 환경에서 어떻게 “보수적 lazy learner” 가 되는지를 본 논문이 정량화.
• ToxiGen: A Large-Scale Machine-Generated Dataset for Adversarial and Implicit Hate Speech Detection (Hartvigsen et al., ACL 2022) — 암묵적 hate speech (어휘 차단으로 안 잡히는) 의 영어 기계 생성 데이터셋. RTP-LX 의 manual subset 아이디어와 같은 문제의식.
• MEGAVERSE: Benchmarking Large Language Models Across Languages, Modalities, Models and Tasks (Ahuja et al., NAACL 2024) — 다국어 LLM 평가 전반에 걸친 large-scale 벤치마크. RTP-LX 가 safety 에 좁혀 다룬다면 MEGAVERSE 는 task 전반을 본다.
• Multilingual Jailbreak Challenges in Large Language Models (Deng et al., ICLR 2024) — 비영어 prompt 가 safety guard 를 우회하는 경로. RTP-LX 의 “비영어에서 safety 가 약해진다” 라는 결론과 같은 현상을 공격자 관점 에서 다룬다.