[논문 리뷰] Why Bother Me Again? Benchmarking Personal Agent Memory for Interaction Preferences

• 메타정보
• TL;DR
• 소개 (Introduction)
• 핵심 기여 (Key Contributions)
• 관련 연구 / 배경 지식
  • 내용 선호와 상호작용 선호의 구분
  • On-policy 이력과 결정 시점의 증거
• 방법 / 아키텍처 상세
  • 1. 사용자·맥락·속성·시간별 선호 상태
  • 2. Persona 근거와 익명화된 개인 세계
  • 3. 일반 세션과 고정 선호 변경 이벤트
  • 4. 선택을 실행으로 연결하는 IX Wrapper
  • 5. Memory 쓰기·검색과 격리된 probe
• 평가 목표 / 지표 정의
  • PSA의 단일 셀 정답과 CS·PET의 동시 정답
  • BRS·PRS의 공개 행동 평가와 실패 처리
• 평가 데이터와 파이프라인
  • 네 backbone과 네 memory 조건
  • Simulator 검사와 통계적 비교 범위
• 실험 결과
  • PSA의 File memory 개선과 검색 조건의 정체
  • BRS·PRS의 일관된 File memory 우위
  • 선호 변경 추적과 맥락 구분의 상반된 양상
• 결과 분석 / Ablation
  • 사건 검색과 적용 가능한 선호의 검색
  • 저장된 거부 반응과 검색에서 빠진 행동 규칙
  • Oracle의 선택 성공과 공개 행동 실패
• 한계와 비판적 평가
  • 네 persona와 명시적인 반응 신호의 범위
  • Memory 구성과 접근 예산의 결합
  • 자동 judge와 장기 행동 완결성의 경계
• 시사점 / Takeaways
• 설치 및 사용법
• 참고 자료
• 더 읽어보기

메타정보

TL;DR

• 기억의 대상은 사실뿐 아니라 도움을 받는 방식. MemPABench는 질문·확인·설명·자율 행동에 대한 선호를 장기간의 상호작용에서 학습하고 적용하는지를 평가한다.
• 저장과 검색의 분리. Mem0, MemOS, Simple RAG의 선호 선택 정확도(PSA)는 약 50%로 No Memory의 49.6%와 비슷하다. File memory만 59.2%로 뚜렷한 개선을 보인다.
• 시간 갱신과 맥락 구분의 차이. File memory는 변경 전후를 모두 맞히는 PET를 11.2%에서 25.4%로 높이지만, 업무와 개인 선호를 모두 맞히는 CS는 개선하지 못한다.
• 올바른 선택 이후의 행동 실패. Oracle로 정답 선호를 알려 줘도 짧게 답하기, 근거 숨기기, 필요한 정보를 질문하기 같은 행동은 자주 어긋난다. 이 결과는 기억만 바꾸는 것으로 개인화가 완성되지 않음을 보여 준다.

소개 (Introduction)

개인 에이전트에게 같은 부탁을 여러 번 하다 보면, 사용자가 다시 설명하는 것은 일정이나 파일 위치만이 아니다. “이 정도 수정은 알아서 해도 된다”, “메시지를 보내기 전에는 확인해 달라”, “결론만 짧게 알려 달라” 같은 도움의 방식도 반복해서 설명하게 된다. 에이전트가 일정 등록을 정확하게 끝냈더라도 매번 불필요한 승인을 요구하거나 원하지 않는 알림을 보내면 사용자의 부담은 남는다. 일을 잘 끝내는 능력과 함께 일하기 편한 능력은 서로 연결되지만 같은 평가 대상은 아니다.

이 선호를 기억하는 일은 사용자 프로필에 문장 하나를 추가하는 것보다 어렵다. 같은 사람도 업무에서는 빠른 자율 처리를, 개인적인 연락에서는 사전 확인을 원할 수 있다. 한 번 문제가 생긴 뒤에는 이전에 허용했던 행동을 더 이상 허용하지 않을 수도 있다. 과거 사건을 정확하게 검색해도 그 사건에 대한 사용자의 불편한 반응을 놓치면 행동은 바뀌지 않는다. 반대로 반응을 강한 규칙으로 저장하면, 그 규칙이 적용되지 않는 다른 상황까지 제약할 수 있다.

Li et al.의 MemPABench는 이 문제를 실행 가능한 개인 에이전트 환경에서 측정한다. 논문의 중심은 새로운 memory 알고리즘의 제안보다, 선호를 획득하고 선택하고 실제 행동으로 옮기는 과정을 분리해 관찰하는 평가 설계다. 이 리뷰는 arXiv v1의 본문과 부록을 기준으로 지표의 의미, memory 비교 조건, 실패 사례를 설명한다. 특히 사용자 네 명의 모의 환경에서 나온 결과와 현실 사용자 전체에 대한 결론을 구분하고, 공개 코드 사용법은 별도로 확인한 버전에 고정한다.

핵심 기여 (Key Contributions)

• 사용자·맥락·속성·시간별 선호 상태. 전역적인 성격 설명 대신, 어느 맥락에서 어떤 행동을 언제 원했는지 평가 가능한 상태로 표현한다.
• 자신의 행동으로 생성한 장기 이력. 일반 세션에서는 평가 대상 에이전트의 행동이 세계와 사용자 반응을 바꾼다. 모든 memory 조건에 같은 대화 기록을 일괄 제공하는 방식과 구별된다.
• 선택과 실현의 분리. 구조화된 interaction tool로 선택을 관찰하고, 공개 응답과 실제 실행 행동에 대한 별도 평가로 말과 행동의 간극을 측정한다.
• 맥락 구분과 선호 변경의 독립 평가. CS와 PET가 평균 정확도에 가려지는 서로 다른 실패를 드러낸다.
• 검색 입력까지 내려간 진단. 사용자 반응이 저장소에 존재하는지와 결정 직전에 실제로 검색되는지를 분리해 비교한다.

관련 연구 / 배경 지식

내용 선호와 상호작용 선호의 구분

내용 선호(content preference)는 어떤 음식, 주제, 선택지를 좋아하는지에 가깝다. 상호작용 선호(interaction preference)는 그 선택을 돕는 과정에서 설명을 얼마나 듣고 싶은지, 모르는 정보를 한꺼번에 물어야 하는지, 에이전트가 어디까지 독립적으로 행동해도 되는지를 가리킨다. 두 종류는 함께 필요하다. 사용자가 좋아할 식당을 골라도, 예약 전에 반드시 확인해 달라는 요구를 무시하면 적절한 개인화라고 보기 어렵다. 여기서 식당 예시는 개념 설명을 위한 예이며 논문의 별도 실험 결과는 아니다.

LongMemEval은 긴 대화에서 정보를 추출하고 시간 관계와 갱신을 다루는 기억 능력을 평가한다. AMemGym은 에이전트가 자신의 상호작용으로 이력을 만드는 on-policy 평가를 다룬다. 이번 논문과 저자 네 명이 같은 PrefIx는 상호작용 행동을 도구 호출로 표현하는 접근과 속성 체계의 직접적인 배경이다. BenchPreS는 기억한 선호를 맥락에 맞게 적용하거나 억제하는 문제와 연결된다. MemPABench는 이 요소들을 장기적인 실행 세계와 통제된 선호 변경 안에 결합한다.

On-policy 이력과 결정 시점의 증거

On-policy라는 말은 평가 대상 에이전트가 실제로 한 행동과 그 행동에 대한 사용자 반응이 이후의 기억을 만든다는 뜻이다. 어떤 에이전트가 먼저 알림을 보냈다면 그에 대한 거부 반응을 경험하고, 알림을 보내지 않은 에이전트는 다른 대화를 경험한다. 따라서 사용자, 과제 일정, 도구가 같아도 memory 조건별 원시 대화는 동일하지 않다. 이 실험은 같은 문서에서 검색기만 바꾼 통제 실험보다 전체 에이전트 시스템의 장기 적응에 가깝다.

평가할 때 필요한 것은 저장량 자체보다 현재 결정에 적용할 수 있는 증거다. “지난주에 보충 수업이 있었다”는 기억과 “그 수업 알림을 갑자기 보내는 것을 사용자가 싫어했다”는 기억은 같은 사건에서 나온다. 현재 사용자 메시지가 수업 마감일을 언급하면 의미 유사도 검색은 사건을 잘 찾으면서도 행동 규칙은 놓칠 수 있다. 이 차이를 확인하려면 최종 정답률뿐 아니라 에이전트에게 주어진 입력까지 관찰해야 한다.

방법 / 아키텍처 상세

1. 사용자·맥락·속성·시간별 선호 상태

목표 선호는 사용자 $u$, 맥락 $c$, 속성 $a$, 시점 $t$에 대응하는 이산 설정이다. 표기하면 $p^{(t)}_{u,c,a}$다. 맥락은 work와 personal 두 가지이며, 속성은 14개다. 따라서 사용자 한 명은 28개의 맥락·속성 셀을 갖는다. 같은 속성이 두 맥락에서 같은 값을 가질 수도 있지만, 사용자 네 명의 56개 사용자·속성 쌍 중 18쌍은 두 값이 다르다. 각 셀을 따로 보지 않으면 이 차이를 측정할 수 없다.

속성은 다음 네 묶음으로 구성된다. 이 표는 평가의 대상 영역을 보여 주며, 모든 속성이 독립적인 심리적 성향으로 검증되었다는 뜻은 아니다. 부록은 선행 연구의 구성개념과 이번 benchmark에서 추가한 조작적 정의를 구분한다.

예를 들어 Autonomy Level의 Reactive는 실질적인 행동을 승인 전까지 보류하고, Self-directed는 초안과 일상적인 내부 변경을 진행하되 중요한 변경과 외부 행동은 확인한다. Autonomous는 위임받은 과제 안에서 행동하고 결과나 예외를 알린다. 이는 권한을 무제한으로 부여하는 정의가 아니라, 해당 모의 과제의 도구 행동을 구분하는 규칙이다. 또 Information Elicitation의 Infer, Structured, Iterative는 각각 추정으로 진행, 부족한 정보를 한 번에 질문, 한 번에 하나씩 질문하는 설정이다.

2. Persona 근거와 익명화된 개인 세계

사용자는 실제 참가자를 모집한 표본이 아니라, The Big Bang Theory와 미국판 The Office의 대본에서 출발한 네 persona다. 저자들은 인물의 행동 근거에서 선호를 추출하고 장면과 대조해 검토한다. 최종 112개 셀 중 53개는 높은 확신으로 확인한 값을 유지한다. 나머지에는 검토 후 유지하거나 수정한 값과 수동 지정이 포함되며, 사용 가능한 대본 근거가 없는 셀도 7개 있다. 따라서 근거 기반 persona라는 표현을 현실 사용자의 선호를 직접 측정했다는 뜻으로 읽으면 안 된다.

이름과 직장, 장소를 그대로 주면 에이전트가 유명 인물을 알아보고 선호를 추측할 수 있다. 이를 줄이기 위해 식별자는 가상의 이름으로 바꾸고 역할, 관계, 말투와 선호는 보존한다. 원래 인물·작품 이름과 프로필을 제공해 설정을 예측하는 검사에서는 정확도가 53.2%이며, 익명화한 프로필만 제공하면 46.4%로 내려간다. 이때 무작위 선택 수준은 45.2%다. 이는 정체성 지름길을 약화했다는 근거지만, 모든 사전학습 지식이나 persona 추정 효과를 제거했다는 보장은 아니다.

각 세계에는 문서, 일정, 메시지, 관계와 진행 중인 일이 있고 26개 domain의 83개 실행 도구가 연결된다. 에이전트의 쓰기 행동은 세계 상태를 바꾸므로 이전 결정이 다음 과제의 조건에 남는다. Simulator도 별도의 기억을 유지해 에이전트의 반복된 행동에 대한 인상을 축적한다. 이 사용자 측 기억은 평가 대상 memory와 분리된다. 에이전트는 simulator의 내부 상태나 정답 선호표를 읽을 수 없다.

3. 일반 세션과 고정 선호 변경 이벤트

사용자별 타임라인은 네 달에 걸친 99개 세션으로, 94개 accumulation session과 5개 변경 이벤트로 구성된다. 안정적인 23개 셀은 각각 세 번의 일반 세션에 등장한다. 바뀌는 5개 셀은 변경 전에 세 번, 변경 후에 두 번 등장한다. 따라서 일반 세션은 23×3 + 5×5 = 94개다. 세션 수를 전체 사용자 수나 probe 반복 수와 섞으면 장기 경험의 규모를 잘못 읽게 된다.

일반 세션의 과제에는 특정 속성을 선택해야 하는 decision point가 있다. 필요한 정보 일부를 사용자에게만 두고 지정된 단계에서 제공하게 하며, 일부 속성은 그 정보가 나오기 전까지 쓰기 도구를 잠근다. 선택 가능한 각 설정이 도구와 세계 안에서 실행 가능하고 서로 다른 공개 행동을 낳는지도 검사한다. 잘못된 설정을 고르면 사용자가 그 행동을 교정하고, 맞게 고르면 수용하는 반응을 준다. 학습 신호를 우연한 대화에서 기다리지 않고 해당 세션에서 드러나도록 설계한 환경이다.

변경 이벤트는 이 일반 세션과 다르다. 미리 작성한 고정 대화를 재생하며 평가 대상 에이전트는 새 응답을 생성하지 않고 simulator도 실행하지 않는다. 이전 방식의 행동, 그 결과, 사용자의 새 규칙이 같은 순서와 문구로 모든 memory 조건에 들어간다. 이후 해당 셀 하나만 새 값으로 바뀐다. 전체 20개 변경은 9개 속성에 걸치며 Proactive Outreach의 변경은 포함하지 않는다. 즉 모든 이력이 완전히 on-policy인 실험은 아니며, 선호 변경의 인과적 위치를 통제하기 위해 일부 이력을 고정한 혼합 설계다.

4. 선택을 실행으로 연결하는 IX Wrapper

결정 시점에서 에이전트는 IX_autonomy_level 같은 interaction tool로 설정을 명시한다. 해당 설정은 세션 안에서 유지되고, 이후 turn에는 근거, 질문, 승인 대기 행동 같은 payload를 전달한다. IX Wrapper는 선택한 설정에 따라 공개 응답과 실행을 처리한다. 중요한 점은 wrapper가 정답 선호를 보지 않는다는 것이다. 에이전트가 잘못 고른 값을 올바른 값으로 교정하는 장치는 아니다.

처리는 네 종류다. Pass-through는 말투, 길이, 감정 반응 등 에이전트가 쓴 문구를 유지한다. Selective rendering은 근거나 진행 안내처럼 별도 필드를 표시하거나 숨긴다. Delivery control은 주제 묶음, 질문, 선제 연락의 전달을 제어한다. Execution control은 승인을 받지 않은 행동이나 정보가 부족한 행동을 보류한다. 예컨대 Self-directed에서 내부 일정 변경은 실행하되 외부 이메일은 대기시키고, 사용자가 동의하면 같은 pending item을 해제한다.

하지만 별도 rationale 필드를 숨겨도 에이전트가 답변 본문에 근거를 다시 쓰면 사용자에게 노출된다. 문구를 그대로 통과시키는 속성도 생성 모델이 직접 지켜야 한다. 따라서 wrapper가 있다는 사실과 행동이 자동으로 준수된다는 주장은 다르다. 논문이 선택 점수 외에 공개 행동 점수를 둔 이유가 여기에 있다. provider의 비공개 추론을 사용자에게 공개하는 실험도 아니며, 평가 대상은 사용자를 위해 작성한 근거와 최종 문구다.

5. Memory 쓰기·검색과 격리된 probe

각 turn의 사용자 메시지, 도구 호출과 결과, interaction tool 호출, 공개 응답이 공통 adapter를 통해 memory에 들어간다. Wrapper가 숨긴 내용이나 정답표는 기록하지 않는다. 어떤 사실을 추출하고 어떻게 통합하는지는 각 시스템의 방식에 맡긴다. 이 공통 입력 경로를 유지하면서도 memory마다 형성과 검색 방식이 달라진다.

평가는 사용자별 33개 probe로 수행한다. 마지막 세션 뒤 28개 셀 전체를 검사하고, 바뀌는 5개 셀은 각각 변경 직전에도 검사한다. Probe는 당시 세계와 memory checkpoint를 복사한 별도 branch에서 시작하며 과거 세션의 원시 대화는 주지 않는다. 따라서 과거를 알아내려면 memory를 사용해야 한다. 실행 중 생긴 변화는 버려 다음 probe나 본 타임라인에 영향을 주지 않으며, 각 probe를 세 번 반복한다.

Probe에서는 simulator의 누적 기억을 제거하고 처음 만난 것처럼 행동하게 하며, 에이전트의 상호작용 방식에 대한 피드백을 주지 않도록 한다. 이는 probe 중 사용자가 선호를 알려 줘서 정답을 고르는 경로를 줄이기 위한 조치다. 일반 세션에서 반응을 통해 학습하는 단계와, 그 결과를 별도의 만남에서 검사하는 단계가 분리된다. 세 번의 반복은 주어진 checkpoint에서의 실행 변동을 보여 주며, 서로 독립적인 네 달짜리 사용자 경험을 세 번 새로 만든다는 뜻은 아니다.

평가 목표 / 지표 정의

PSA의 단일 셀 정답과 CS·PET의 동시 정답

이 논문은 새 모델을 학습하는 loss를 제안하지 않는다. 평가 목표는 선택된 설정이 당시 목표와 같은지, 그리고 공개 행동이 그 목표를 따르는지다. 선택이 맞으면 $z=1$, 틀리면 $z=0$이라고 두자. 최종 probe 셀의 집합을 $P$, 업무와 개인 값이 다른 사용자·속성 쌍을 $D$, 바뀐 셀을 $E$라고 하면 다음과 같다.

PSA는 마지막 시점의 112개 셀에 대한 정확도다. CS는 18개의 맥락 쌍에서 두 선택이 모두 맞아야 점수를 준다. PET는 20개 변경 셀에서 변경 직전과 최종 선택이 모두 맞아야 한다. 바뀐 뒤에만 새 설정을 선택하는 에이전트는 PET를 통과하지 못한다. 식의 $f$와 $b$는 최종·변경 직전, $w$와 $p$는 업무·개인 맥락을 뜻한다. CS와 PET는 사용자별 백분율을 단순 평균하기보다 각 반복 안에서 해당 쌍과 셀의 성공 수·대상 수를 모아 계산한 뒤 세 반복을 평균한다. 따라서 PSA 50%와 CS 20%를 동일한 난도의 문제에서 나온 정확도로 나란히 비교하면 안 된다.

BRS·PRS의 공개 행동 평가와 실패 처리

Behavioral Realization Score(BRS)는 정답 설정의 정의와 공개 응답, 실제 실행된 행동을 본 LLM judge의 1–5점 평가다. Judge는 에이전트가 어떤 설정을 선택했다고 선언했는지 보지 않는다. Perceived Realization Score(PRS)는 같은 공개 상호작용을 persona를 유지한 사용자 simulator가 자신의 입장에서 매기는 1–5점이다. PRS에도 누적 기억은 주지 않는다. 두 점수 모두 실제 인간의 만족도 조사 결과는 아니다. 선호 자체를 사용자에게 다시 묻는 경우는 이후 답변과 무관하게 BRS 1이며, 과제에 필요한 누락 사실을 묻는 Information Elicitation과 구분한다.

BRS는 설정 간 비교에 같은 rubric을 적용하고, PRS는 사용자 성향이 반영된 체감을 비교하는 역할을 한다. 상호작용의 적절성을 중심으로 보지만 이를 과제 성공률이나 정확성의 완전한 대체 지표로 읽으면 안 된다. 부록의 채점 규칙은 일부 설정에서 과제 결과나 사실 모순도 고려한다. 좋은 방식으로 말하는 능력과 일을 정확하게 끝내는 능력을 함께 분석하려면 별도 과제 성과 측정이 필요하다.

에이전트가 interaction tool 계약을 위반해 평가를 수행하지 못한 model-capability failure는 PSA 0, BRS 1로 두고 분모에 남긴다. 실패 끝점을 포함한 CS·PET도 통과하지 못한다. 반면 해결되지 않은 누락 artifact는 미완료로 표시하며 자동으로 0점 처리하지 않는다. 부록에는 이러한 floor가 최종 probe 67개, 변경 전 probe 3개임을 명시한다. 따라서 Oracle에서 0점이 나왔다는 이유만으로 항상 선호 자체를 잘못 선택했다고 해석할 수는 없다.

평가 데이터와 파이프라인

네 backbone과 네 memory 조건

File memory는 전체 통합 파일을 prompt에 넣고, 나머지 세 조건은 검색한 일부만 넣는다. 4,000-token 제한은 File memory 전체에 공통으로 적용되는 예산이 아니다. 검색 조건은 이미 저장된 원시 turn을 약 20k-token 한도에서 제거한다. 따라서 이 결과는 추출 형식 하나의 우열을 고립해 증명하기보다, 선택된 저장·접근·문맥 관리 구성을 비교한 결과다. 검색 query를 현재 사용자 메시지로 고정한 점도 해석에 중요하다.

No Memory와 Oracle은 accumulation 없이 probe만 실행한다. 두 reference는 해당 사용자의 DeepSeek-V4-Flash File memory run checkpoint에서 세계 상태를 가져오되 에이전트 기억과 과거 대화는 지운다. Oracle에는 검색 증거 대신 목표 설정과 정의를 준다. 이는 선호를 아는 상태에서의 선택·행동 능력을 보는 조건이며, 세계와 과거 이력까지 완전히 같게 맞춘 이상적 memory 제품은 아니다.

Simulator 검사와 통계적 비교 범위

Simulator는 정답 설정을 알고 역할을 수행하지만, 그 이름이나 benchmark 내부 정보를 노출하면 안 된다. 공개 메시지와 비공개 상태를 나누고 규칙·LLM 검사로 잘못된 메시지를 다시 생성한다. 저자들이 시행한 사후 감사에서는 선별·표집·추가 탐색으로 모은 1,839개 문장을 판정해 누출을 찾지 못했다. 이는 전체 문장을 사람이 전수 검토했다는 뜻은 아니다. File memory 실행의 일반 세션 112개, 사용자당 28개를 대상으로 반응에서 선호를 식별할 수 있는지 검사한 결과는 99.3%다.

차이의 신뢰구간은 5,000회 cluster bootstrap으로 계산한다. PSA에서는 사용자별 최종 probe를 재표집하고, 같은 단위의 backbone 네 종과 반복 세 번을 함께 보존한다. CS와 PET는 쌍 또는 변경 셀을 단위로 표집한다. 이 구간은 네 persona와 주어진 실험 구성 안의 불확실성을 보여 준다. 새 사용자를 모집했을 때 같은 개선이 나올지를 직접 추정하는 인구 수준의 구간으로 확대해서 읽기는 어렵다.

실험 결과

PSA의 File memory 개선과 검색 조건의 정체

네 backbone에 같은 가중치를 둔 평균 PSA는 No Memory 49.6%, File memory 59.2%, Mem0 50.0%, MemOS 50.0%, Simple RAG 49.9%다. 속성별 설정 수가 다르므로 무작위 기준은 50%가 아니라 45.2%다. 모델이 기본 상호작용 습관만으로 어느 정도 맞히는 상황에서, 검색 기반 세 조건은 평균적으로 추가적인 이점을 거의 주지 못했다.

File memory의 No Memory 대비 개선은 9.6 percentage points이며 95% 구간은 [+3.9, +15.6]이다. 16개 사용자·backbone 조합 중 14개에서 No Memory보다 높다. 반면 나머지 세 조건의 차이는 0 근처의 구간을 갖는다. 따라서 이 설정에서 File memory의 개선은 지지되지만, 모든 memory 구성이 무용하다거나 검색 기반 접근을 일반적으로 배제해야 한다는 결론까지 나오지는 않는다.

사용자별 표도 평균과 함께 볼 필요가 있다. 예를 들어 User A의 Qwen3.8-27B에서는 File memory 75.0%, No Memory 41.7%인 반면, User C에서는 42.9%와 44.0%다. 같은 backbone과 같은 memory라고 해도 persona·과제 구성에 따라 이점이 달라진다. 일반 능력이 높은 모델을 고르는 것만으로 어떤 사용자의 상호작용 선호도 더 잘 맞힐 것이라고 가정하기 어려운 이유다.

BRS·PRS의 일관된 File memory 우위

File memory의 PRS는 backbone별 3.59–3.62로, No Memory의 3.19–3.39와 검색 조건들의 3.20–3.34보다 높다. BRS에서도 File memory는 3.46–3.57로 각 backbone에서 가장 높고, No Memory는 3.01–3.29, 검색 조건들은 3.03–3.26이다. 선택 정확도 개선이 공개 행동 평가에서도 같은 방향으로 나타난다는 점은 의미가 있다. 다만 1–5점 평균의 차이를 몇 퍼센트의 실제 사용자 만족도 증가라고 바꿀 근거는 없다.

두 점수가 모두 있는 최종 probe 7,996개에서 정확히 같은 점수는 65.3%, 한 점 이내는 90.0%, Spearman 상관은 0.83이다. 같은 Gemini 모델이 두 역할을 맡기 때문에 이 일치만으로 평가 독립성이 확보되는 것은 아니다. 별도 Claude Sonnet 5가 418개 표본을 다시 평가했을 때 PRS와의 상관은 0.71이었다. 저자들은 이를 상호작용 자체의 신호가 존재한다는 근거로 보지만, 인간 평가를 완전히 대신하는 검증으로 읽을 수는 없다.

선호 변경 추적과 맥락 구분의 상반된 양상

핵심 평균을 모으면 다음과 같다. PSA는 단일 최종 셀, CS와 PET는 두 끝점의 동시 정답이라는 차이를 유지해서 읽어야 한다.

File memory의 PET는 25.4%로 No Memory 11.2%의 두 배 이상이고 모든 backbone에서 더 높다. 차이는 +14.2 points, 95% 구간은 [+4.2, +25.8]이다. 그러나 CS는 14.4%로 No Memory의 21.8%보다 점추정치가 낮다. CS 차이의 구간은 [−17.1, +1.4]이므로 통계적으로 확정된 악화라고 단정하면 안 된다. 확인된 결론은 시간 변화 추적의 개선이 맥락 구분 개선으로 이어지지 않았다는 것이다.

Context carry-over는 더 직접적인 진단이다. 같은 설정을 두 맥락에 적용했고 그 값이 한쪽 정답이면서 No Memory의 기본 선택과 다른 사례를 센다. File memory는 216개 쌍 인스턴스 중 58개, 26.9%에서 이런 전이를 보이며 No Memory는 13개, 6.0%다. 단순히 모든 같은 값 선택을 세거나 모든 CS 오류를 과잉 일반화로 분류한 수치가 아니다. 기억 때문에 강화된 특정 규칙이 반대 맥락까지 번지는 현상을 좁혀 측정한 것이다.

결과 분석 / Ablation

사건 검색과 적용 가능한 선호의 검색

저자들은 각 memory 조건에서 최종 probe 112개를 뽑아, 첫 설정 선택 직전의 입력에 적용 가능한 선호가 있는지 검사한다. 실제 판정된 검색 조건 세 종류의 334개 중 해당 선호가 있는 것은 7개뿐이다. File memory에서는 판정된 111개 중 60개, 약 54%다. 검색 조건은 55–73%의 probe에서 과거 과제의 내용 관련 사건만 제공한다. Figure 4의 표본 계획 수와 실제 판정 분모가 조금 다르므로, 7을 전체 probe 수나 전체 기억 수로 나누는 해석은 피해야 한다.

이것은 검색 결과가 완전히 무관하다는 이야기가 아니다. 오히려 누구와 무슨 일을 했는지에 대한 관련성은 높지만, 현재 상호작용 방식을 정하는 근거가 빠져 있다. 현재 메시지를 query로 삼으면 일정, 수업, 프로젝트 같은 주제는 반복해서 검색되고 그 사건에 대한 사용자의 승인 경계나 거부 반응은 뒤로 밀릴 수 있다. 이 설명은 관찰된 입력과 일치하지만, query 재작성이나 선호 전용 index를 실제로 적용해 효과를 측정한 ablation은 아니다.

저장된 거부 반응과 검색에서 빠진 행동 규칙

Figure 5는 User B의 업무 Proactive Outreach에서 목표가 Low인 사례다. 네 시스템 모두 사용자가 원치 않는 선제 연락에 반대한 기억을 갖고 있다. File memory는 이를 강한 금지 규칙으로 prompt에 제공하고 Low를 고르며 BRS 5를 얻는다. Simple RAG는 이전 알림 자체를 가져오면서 그 알림에 대한 거부 반응은 가져오지 않는다. Mem0와 MemOS도 사건 관련 기억을 제공하며, 세 조건 모두 High를 선택하고 BRS 1을 받는다.

저장소까지 확인한 진단은 같은 사용자의 두 probe를 대상으로 한다. 따라서 “검색된 증거가 드물다”는 표본 분석은 넓지만, “모든 실패는 저장이 아니라 검색 탓”이라는 전수 결론은 아니다. 확인한 사례에서는 저장보다 검색이 병목이었다고 표현하는 것이 정확하다. 검색기 개선을 논하려면 선호가 저장되지 않은 경우, 저장됐지만 검색되지 않은 경우, 검색됐지만 무시된 경우를 각각 세어야 한다.

File memory도 다른 방향으로 실패한다. User B가 개인 맥락에서 여러 일을 하나씩 진행해 달라고 말하자, 이를 일반 protocol로 기록한다. 이후 업무 맥락의 수정 요구는 좁은 예외처럼 남는다. 업무 Topic Management의 정답은 Organize인데, 네 backbone 중 세 backbone에서 세 반복 모두 One-at-a-time을 선택한다. 강한 선호를 잘 기억한 시스템이 적용 범위를 충분히 기억하지 못한 사례다.

Oracle의 선택 성공과 공개 행동 실패

Oracle은 정답과 정의를 제공해 검색 실패를 없앤다. 그럼에도 설정을 맞게 선택한 뒤 BRS가 낮은 사례가 남는다. 논문은 Oracle에서 올바르게 선택한 최종 probe 중 BRS가 4 이상인 비율을 설정별 통과율로 정의한다. 가장 약한 다섯 설정은 Reasoning Visibility의 Hide, Verbosity의 Terse, Information Elicitation의 Iterative와 Structured, Solution Breadth의 Low다. 이들의 조건부 통과율은 함께 60%이며, 관측된 나머지 25개 설정은 95%다.

여기서 관측된 설정은 전체 inventory 32개 중 네 사용자에게 실제 등장한 30개다. 또 조건부 60%를 전체 probe에서의 행동 성공률과 혼동하면 안 된다. 이 다섯 설정 전체에서 No Memory와 Oracle을 비교하면 선택 정확도는 33%에서 96%로 오르지만, BRS 4 이상 비율은 24%에서 59%로 오른다. 정답을 알고 고르는 것의 개선이 실제 출력 준수에 그대로 전달되지는 않는다.

Figure 9에서 HY4-Preview는 Hide를 올바르게 선택했고 wrapper도 rationale 필드를 숨긴다. 그러나 공개 본문에 날짜를 고른 이유를 다시 나열해 BRS 1을 받는다. 다른 약한 설정에서도 한 가지 선택만 제시해야 하는데 대안을 덧붙이거나, 질문해야 하는데 부족한 값을 추정해 진행하는 경향이 나타난다. “무엇을 해야 하는가”를 선언하는 통로와 최종 생성·실행을 지배하는 통로가 충분히 연결되지 않은 셈이다.

이 결과를 곧바로 모델 크기나 추론 능력의 일반 법칙으로 만들 수는 없다. 네 backbone과 이 환경에서 반복되는 행동 패턴에 대한 증거다. 다만 memory의 내용을 더 정확하게 만드는 것과 생성 모델의 기본 행동을 바꾸는 것이 별개의 개선 과제라는 점은 분명하다. 결과를 평가할 때도 선택 도구의 label만 확인하면 이 간극을 놓친다.

한계와 비판적 평가

네 persona와 명시적인 반응 신호의 범위

사용자 네 명은 풍부한 서사를 갖지만 현실 사용자의 다양성을 대표하는 표본은 아니다. 대본 근거가 약한 셀에는 저자의 판단이 들어가고, 14개 속성은 이산 선택지와 구체적인 행동 규칙으로 정의된다. 실제 사용자는 상황에 따라 중간 정도의 설명을 원하거나, 일정의 위험도에 따라 승인 기준을 달리할 수 있다. 업무·개인 두 맥락만으로 이런 세부 조건을 모두 표현하기는 어렵다.

일반 세션은 목표 속성의 반응이 나오도록 만들었고 변경 이벤트는 새 규칙을 명시하는 고정 대화다. 현실의 피드백은 침묵, 모호한 불만, 번복을 포함한다. 따라서 이 결과는 상대적으로 관찰 가능한 신호가 있는 환경에서도 현재 시스템이 어려움을 겪는다는 근거이지, 실제 사용 환경의 학습 속도나 만족도를 그대로 추정한 결과는 아니다. 다음 검증에는 표현이 불명확한 피드백과 더 많은 사용자·맥락이 필요하다.

Memory 구성과 접근 예산의 결합

File memory는 전체 통합 기억을 읽고, 검색 조건은 현재 메시지로 top 10을 찾는다. 통합 모델도 일부 조건에서 다르다. 그러므로 File이라는 저장 매체 자체가 vector search보다 우수하다고 결론 내릴 수 없다. 현재 결과는 선택한 접근 정책과 기억 표현의 결합을 평가한다. 같은 token 예산에서 선호 전용 검색, 맥락·시간 필터, 여러 단계 query를 비교하는 실험이 있어야 병목의 해결책까지 주장할 수 있다.

또 시스템마다 자신의 행동으로 만든 이력이 다르다. 이는 장기 에이전트 평가의 장점이면서, 어느 구성요소가 차이를 만들었는지 분해하기 어렵게 하는 조건이다. 동일한 반응 이력을 고정한 보조 실험과 on-policy 실험을 함께 두면 저장·검색의 효과와 경험 차이를 더 잘 분리할 수 있다. 이 제안은 리뷰어의 후속 실험 제안이며 논문이 이미 수행한 결과는 아니다.

자동 judge와 장기 행동 완결성의 경계

BRS와 PRS는 별도 역할이지만 기본 모델을 공유한다. 외부 judge와 일부 인간 검토가 타당성을 보완하더라도, 실제 사용자 집단이 느끼는 부담을 직접 검증한 것은 아니다. 특히 격식이나 정보량의 조작적 규칙에 잘 맞는 것이 항상 더 자연스러운 도움으로 이어지는지 별도 확인이 필요하다. 논문은 세션당 소요시간을 제시하지만, 조건별 총비용과 latency를 맞춘 효율 비교는 제시하지 않는다.

일부 지표는 행동의 시작이나 한 시점의 준수를 본다. Topic Management의 One-at-a-time은 한 turn만으로 높은 점수를 받을 수 있고, 미룬 주제를 결국 다시 처리했는지는 해당 rubric이 확인하지 않는다. 기억 때문에 나중에 할 일을 계속 미루거나 잊는 문제까지 평가했다고 확대하면 안 된다. 즉 MemPABench는 장기 이력을 사용하지만, 모든 장기적인 과제 완결성을 측정하는 benchmark는 아니다.

시사점 / Takeaways

• 개인화 memory에는 적용 조건과 유효 시점도 필요하다. 선호 문장만 강하게 저장하면 다른 맥락으로 번질 수 있다.
• 검색 품질은 사건 관련성과 행동 관련성을 나눠 봐야 한다. 주제가 맞는 기억이 현재 승인·질문 정책에 필요한 기억은 아닐 수 있다.
• 선택 label과 공개 행동을 함께 검사해야 한다. 정답 설정을 선택했다는 로그만으로 사용자에게 전달된 응답과 실행이 맞았다고 볼 수 없다.
• Oracle도 유용한 실패 진단이다. 정답 선호를 직접 제공한 뒤에도 실패한다면 저장이나 검색만 개선해서는 해결되지 않는다.
• 사용자의 부담은 과제 성공과 함께 측정할 대상이다. 일을 완료했는지 외에도 반복 질문, 불필요한 승인, 원치 않는 연락을 별도 평가해야 한다.

설치 및 사용법

공식 저장소의 확인한 커밋은 45dea874cc5cf9dad4bec5646cd2456eaab5bc3a다. 아래는 Python 3.12와 uv를 사용하는 공개 구현의 준비 및 계획 생성 예다. File memory를 선택하면 검색용 서비스 구성을 먼저 띄우지 않고 계획을 확인할 수 있다. Submodule을 포함해 clone하고, 고정 커밋으로 이동한 뒤 submodule도 그 버전에 맞춘다.

git clone --recursive https://github.com/mempabench/mempabench.git
cd mempabench
git checkout 45dea874cc5cf9dad4bec5646cd2456eaab5bc3a
git submodule update --init --recursive
uv sync --locked
uv run mempabench --help
uv run mempabench data pull --persona user_a
uv run mempabench plan --persona-id user_a --run-id plan_check_user_a \
  --acc-range 1-108 --memory-condition nanobot_file_memory \
  --pa-model deepseek/deepseek-v4-flash \
  --consolidation-model deepseek/deepseek-v4-flash \
  --out-dir /tmp/mempabench_plan_check

data pull은 User A의 공개 데이터를 내려받고, plan은 모델·judge·database를 호출하지 않고 실행 계획을 만든다. 1-108은 timeline slot 범위이며 실제 상호작용 세션 수 99개와 다르다. 실제 실행은 공식 실행 문서에 따라 API 키를 설정한 뒤 run과 score를 사용한다. PRS는 별도 self-report 단계가 필요하며 이 단계들은 유료 모델 호출을 포함한다.

현재 공개 코드에서 새 실행의 기본 출력 한도는 24,576 tokens로, 논문의 8,192 tokens와 다르다. 따라서 위 예제를 논문 설정의 완전한 재현으로 해석해서는 안 된다. 이 리뷰에서는 CLI 도움말, 소스 문법, 명령 구성을 확인했으며 전체 의존성 설치·데이터 다운로드·유료 benchmark 실행은 수행하지 않았다.

참고 자료

• 원문 논문: Why Bother Me Again?: 본문·부록 및 연구 결과의 기준 버전.
• 공식 프로젝트: 평가 개요와 사례.
• 공식 코드: MIT 라이선스의 benchmark 구현. 포함된 외부 구성요소의 라이선스는 저장소 NOTICE 참조.
• Persona 데이터: 익명화된 persona와 세계·세션 자료, CC BY 4.0.
• 그림·표 출처: Jialin Li, Zhenhao Chen, Hanjun Luo, Hanan Salam, 본 논문의 Figures 1–7, 9와 Tables 2–3. 논문 CC BY 4.0에 따라 출처 표기.

더 읽어보기

• PrefIx: Understand and Adapt to User Preference in Human-Agent Interaction (Li et al., 2026): 상호작용 선호를 구조화된 도구와 행동 평가로 연결한 선행 연구.
• AMemGym: Interactive Memory Benchmarking for Assistants in Long-Horizon Conversations (Cheng et al., ICLR 2026): 자신의 상호작용으로 이력을 만드는 memory 평가 환경.
• BenchPreS: A Benchmark for Context-Aware Personalized Preference Selectivity of Persistent-Memory LLMs (Yoon et al., 2026): 맥락에 따른 선호 적용과 억제의 평가.
• LongMemEval: Benchmarking Chat Assistants on Long-Term Interactive Memory (Wu et al., ICLR 2025): 정보 추출·시간 추론·지식 갱신을 포함한 장기 대화 memory 평가.