[논문 리뷰] E-Commerce Bench: Evaluating LLM Agents on Long-Horizon Autonomous Business Operation

메타정보
TL;DR
소개 (Introduction)
핵심 기여 (Key Contributions)
관련 연구 / 배경 지식
- 장기 agent 평가와 지연된 피드백
- 문맥 유지와 경험 활용의 구분
방법 / 아키텍처 상세
평가 목표 / 지표
평가 데이터와 파이프라인
실험 결과
- 최종 자산과 일곱 축의 순위 분리
- 도구 호출당 수익과 일상 운영의 비중
결과 분석 / Ablation
한계와 비판적 평가
시사점 / Takeaways
설치 및 사용법
참고 자료
더 읽어보기

메타정보

항목	내용
저자	Wei Fan et al. (저자 11명, Qwen · Taobao & Tmall · HKUST)
학회	arXiv · 2026
arXiv 또는 DOI	2608.30730
Code	QwenLM/E-CommerceBench
데이터	12개 상점 유형 · 60개 상품군 · 6,886개 SKU · 576개 공급업체의 시뮬레이션
리뷰 일자	2026-09-18

TL;DR

E-Commerce Bench는 초기 자금 10만 위안으로 상점을 365일 운영하는 LLM agent 평가 환경이다. 구매, 협상, 가격 설정, 배송, 반품, 정산이 연결되어 있어 한 번의 좋은 거래만으로 높은 점수를 얻기 어렵다.
경제적 상태 변화와 협상 가격은 규칙 기반 simulator가 결정하고, 공급업체 LLM은 주로 대화 표현을 담당한다. 수익과 함께 협상, 사기 회피, 지급 능력, 도구 효율, 운영 실행, 경험 활용을 측정한다.
논문의 18개 모델·90회 실험에서 GPT-5.6 Sol의 평균 최종 자산은 약 143만 위안으로 가장 높다. 하지만 사기 공급업체 지출 비율은 18.48%이며, 일곱 평가 축에서 모두 상위 5위에 든 모델은 없다.
Qwen3.8-Max-Preview는 반복 거래 가격의 순서를 평가하는 AnchorRatio가 0.834로 가장 좋고 유의한 양의 anchoring 신호를 보인다. 이는 과거 가격 활용에 관한 제한된 증거이며, 일반적인 지속 학습 능력의 입증은 아니다.
핵심 메시지는 돈을 벌고, 현금을 제때 확보하고, 지난 거래의 교훈을 다음 행동에 적용하는 능력이 서로 다르다는 것이다. 고정된 시장과 지표의 범위, 공급업체 식별자의 정보 누출 가능성도 함께 읽어야 한다.

소개 (Introduction)

상품을 싸게 사서 비싸게 팔면 장사를 잘하는 것일까? 당장 판매 수익이 좋아도 정산이 끝나기 전에 재고를 지나치게 늘리면 다음 날 운영비를 내지 못할 수 있다. 첫 주문을 정상적으로 받은 공급업체가 다음 주문에서 수량을 줄여 보낼 수도 있고, 이번 달 잘 팔린 상품이 계절이 바뀌면 창고 비용만 발생시킬 수도 있다. 이런 환경에서는 각 행동의 정답을 따로 평가하기 어렵다. 몇 주 전의 구매 결정과 오늘의 배송, 다음 주의 반품이 하나의 결과로 합쳐진다.

LLM agent 평가도 같은 문제를 만난다. 짧은 과제에서는 올바른 도구를 호출하고 목표 상태에 도착했는지가 중요하다. 반면 장기간의 사업 운영에서는 목표가 계속 유지되고 새로운 사건이 들어온다. 목표를 한 번 달성하고 종료하는 대신, 제한된 시간과 자금을 배분하면서 오래 살아남아야 한다. 문맥에 거래 기록이 남아 있다는 사실만으로는 충분하지 않다. 그 기록이 다음 주문의 가격과 수량을 실제로 바꾸어야 한다.

E-Commerce Bench는 이 차이를 온라인 상점이라는 구체적인 환경으로 만든다. 이 논문의 가치는 최종 수익 순위뿐 아니라, 동일한 경제 환경에서 모델별 실패 양상이 어떻게 갈리는지 보여 주는 데 있다. 아래에서는 환경이 어떤 행동을 보상하는지 먼저 살펴본 뒤, 점수의 계산 방식과 실험 결과를 연결한다. 수치는 arXiv v1의 18개 모델 실험을 기준으로 한다. 리뷰 시점의 공식 저장소에는 추가 모델이 있으므로 최신 웹 leaderboard와 논문 표를 섞어 읽지 않는다.

핵심 기여 (Key Contributions)

장기 의사결정의 경제적 연결. 협상, 재고, 수요, 배송, 반품, 정산을 하나의 365일 환경에 넣어 행동의 지연된 영향을 평가한다.
경제 규칙과 자연어 표현의 분리. 협상 수락과 가격을 kernel이 처리하고, 공급업체 LLM이 대화로 표현하도록 구성해 상대방의 자유로운 생성이 경제 규칙을 바꾸는 범위를 줄인다.
일곱 축의 진단 지표. 최종 자산 외에도 협상 가격, 사기 거래 지출, 자산 하락, 호출 효율, 가격 유발 반품, 반복 거래의 가격 활용을 구분한다.
전체 실행 기록에 기반한 실패 분석. 90개 episode의 현금 부족, 반복 구매, 기억 사용과 도구 호출을 분석한다. 높은 수익을 내는 모델에도 남아 있는 취약점을 구체적인 거래 사례로 확인할 수 있다.

방법 / 아키텍처 상세

1. 상점 운영과 18개 도구의 연결

Agent는 2026년 1월 1일, 은행 잔액 10만 위안으로 시작한다. 최대 네 개의 상점을 동시에 운영할 수 있으며 같은 유형의 상점을 중복해서 열 수 없다. 환경에는 12개 상점 유형, 60개 상품군, 6,886개 SKU가 있다. SKU는 구체적인 상품을 식별하는 단위다. 공급업체 576곳 중 424곳은 정직한 업체, 152곳은 다섯 유형 중 하나의 사기 행동을 하는 업체로 설정되어 있다.

Figure 3: Agent, 상점 도구, 공급업체 협상, simulator의 연결과 일별 상태 갱신 구조.

도구는 시장 조사, 상점 개설, 상품 조회, 공급업체 검색, 협상, 상품 등록과 가격 조정, 배송, 출금, 상태 조회, 기억 관리 등을 담당한다. Agent가 대화로 계획을 잘 설명해도 도구로 실행하지 않으면 환경의 상태는 바뀌지 않는다. 하루 업무 시간은 08시부터 18시까지 600분이며, 도구마다 시뮬레이션 시간이 든다. 상점 개설은 60분, 시장 조사는 30분, 배송은 20분, 잔액 조회나 출금은 10분이다.

여러 도구 호출을 한 응답에 넣어도 환경에서는 순서대로 처리한다. 시간이 업무 종료를 넘으면 다음 날로 넘어가고 일별 정산이 실행된다. 공급업체 대화는 한 번에 여러 업체를 대상으로 하더라도 호출당 30분이므로, 요청을 어떻게 묶는지도 행동 예산에 영향을 준다. wait_for_next_day는 남은 업무 시간을 포기하고 다음 날로 이동한다. 조회가 공짜가 아니기 때문에 상태를 자주 확인하는 정책과 제때 필요한 정보만 확인하는 정책의 차이가 생긴다.

2. Bank, escrow, wallet의 현금 순환

상품 구매가 확정되면 대금은 은행 계좌에서 먼저 빠져나간다. 판매는 즉시 사용 가능한 현금을 만들지 않는다. 고객 주문을 이틀 안에 배송해야 하며, 배송된 주문의 판매액에서 2% 수수료를 뺀 금액이 escrow에 들어간다. 배송 후 3~7일 사이에 반품이 발생할 수 있고, 반품액은 소매 판매가 기준으로 차감된다. 수수료와 배송비는 되돌아오지 않는다. 배송 후 9일이 지나 정산된 돈은 wallet으로 이동하고, 다시 출금 도구를 호출해야 은행에서 쓸 수 있다.

Figure 6: 위: bank·escrow·wallet 사이의 현금 이동. 아래: 40개 상품 주문의 구매 후 경과 일수와 현금 흐름(위안).

이 구분은 파산 조건과 직접 연결된다. 매일 아침 확인하는 은행 잔액이 10일 연속 음수이면 episode가 종료된다. Wallet에 돈이 있더라도 자동으로 은행 부족분을 메우지 않는다. 총자산이 양수라는 사실과 오늘 운영비를 낼 수 있다는 사실이 다르다. 반대로 wallet을 출금해도 부족분을 채울 수 없는 경우에는 재고 구조나 지출 속도 자체를 바꾸어야 한다.

고정비와 재고 비용도 행동을 압박한다. 상점 개설에는 500위안이 들고, 상점 등급별 일일 운영비는 60·100·130위안이다. 창고 비용은 재고가 오래될수록 커지며 180일 시점에는 기본 비용의 9배까지 올라간다. 판매 목록에 올렸다는 이유로 보관 비용이 사라지지 않는다. 재고를 청산하면 구매 가격의 10%만 회수한다. 많이 사 두면 언젠가 팔릴 것이라는 전략이 장기적으로 버틸 수 없는 구조다.

하루 안의 처리 순서도 중요하다. 비용, 전날 판매, 미배송 취소, 반품, 정산, 새 상품 도착 등이 정해진 순서로 실행된다. 도착한 상품이 이미 지나간 판매 단계의 수요를 소급해서 채워 주지는 않는다. Agent는 도구 출력의 현재 잔액뿐 아니라 언제 재고와 돈이 이용 가능해지는지 예측해야 한다.

3. 가격·계절·평판의 수요 결합

수요는 단일한 가격 함수가 아니다. 상품군과 상점 유형에 따른 기본 수요에 가격 반응, 주말 효과, 행사, 계절, 외부 사건, 상점 평판이 곱해진다. 그 뒤 상품군 포화, 상점의 처리 용량, 실제 재고가 최종 판매량을 제한한다. 주말 효과의 배율은 1.3이며, 평판은 배송과 취소, 반품 기록에 따라 달라진다.

Figure 7: 왼쪽: 기준가 대비 가격 비율과 네 가격 반응 함수. 오른쪽: 수요 배율과 포화 제약을 거친 하루 판매 수량.

Figure 7의 예시에서 여러 요인을 적용한 수요는 128.2까지 커지지만 실제 판매는 9개로 줄어든다. 따라서 행사 배율이 높다고 그만큼 매출이 늘지는 않는다. 재고가 충분해도 상점 용량이 막을 수 있고, 같은 상품군의 상품을 늘리면 서로 수요를 잠식할 수 있다. 좋은 전략은 높은 배율을 찾는 것과 병목을 확인하는 것을 함께 요구한다.

가격 반응에는 선형, 지수, 일정 탄력성, 이차형의 네 함수군이 사용된다. 이차형은 기준 가격에서 위아래로 멀어지는 것을 모두 불리하게 만들 수 있다. 가격을 내리면 수요가 반드시 늘어난다는 직관이 모든 상품에 적용되는 환경은 아니다. 행사 수요 보너스는 할인율 30%에서 포화되지만, 더 큰 할인은 실효 가격과 마진에는 계속 영향을 준다. 이는 현실 시장의 보편 법칙이 아니라 benchmark가 채택한 규칙이다.

연중에는 10개의 사건과 8개의 판촉 행사가 배치된다. 미래 정보가 처음부터 전부 주어지지는 않으며, 사건은 발생 시점에, 판촉은 사전 공지를 통해 드러난다. 공급업체도 정해진 성공 주문 횟수 이후 은퇴할 수 있다. 처음 찾은 좋은 공급업체와 상품 조합을 그대로 반복하는 것만으로는 연말까지 같은 사업 조건을 유지하기 어렵다.

4. 협상 kernel과 공급업체 대화

협상의 경제적 결정은 supplier LLM의 자유로운 판단에 맡기지 않는다. 각 공급업체·SKU·협상 cycle에 연결된 seed와 규칙이 수락, 협상 중단, counteroffer를 결정한다. 공급업체에는 비공개 원가 하한이 있고, 협상 유형마다 인내심과 양보 방식이 다르다. Counteroffer는 원가 하한 아래로 내려가지 않으며 같은 cycle에서 가격을 다시 높이지 않는다. 구매자가 빨리 양보하면 상대방이 더 강경해질 수 있다.

Figure 8: 왼쪽: 협상 회차별 제안 가격(위안). 오른쪽: 날짜별 반복 구매 가격과 이전 최저가, anchor 유지·상실 사례.

Agent의 제안은 negotiate JSON으로 전달되고, 공급업체 LLM은 kernel이 정한 결정을 자연어로 표현한다. 수락하려면 현재 제시된 가격과 맞아야 하고, 실제 주문 정산까지 끝난 거래만 agreement로 기록된다. 새로운 cycle은 새 seed를 사용하므로 직전의 시작 가격과 완전히 같지는 않지만, 같은 공급업체·SKU의 원가 하한은 유지된다. 이전에 얻은 좋은 가격을 기억할 가치가 여기서 생긴다.

다만 경제적 결정과 LLM을 완전히 분리했다는 표현은 과하다. VIP 수수료 지급 의도는 별도의 언어적 intent 판별 경로를 거친다. 공급업체의 표현과 일부 배송 안내에도 완전한 episode seed 통제가 적용되지 않는다. 재현 가능한 핵심 규칙이 있다는 주장과 실행 전체에 환경 잡음이 없다는 주장은 구분해야 한다.

5. 계약 전 설득과 계약 후 사기

사기 유형은 다섯 가지다. VIP 가입비를 요구하거나, 지키지 않을 미래 할인을 약속하거나, 가짜 긴급성을 만드는 방식은 계약 전에 작동한다. 적게 배송하는 qty_bait와 불량률을 높이는 quality_downgrade는 계약 후에 드러난다. 전자는 주문 수량의 60~70%만 배송하고, 후자는 기본 불량률에 비해 훨씬 높은 결함 비율을 적용한다.

두 묶음은 관찰 가능한 신호가 다르다. 계약 전 사기 업체는 평균적인 가격 양보가 적지만, 계약 후 사기 업체의 양보 폭은 정직한 업체 범위와 겹친다. 따라서 말을 강하게 하거나 가격을 잘 깎아 주지 않는 업체만 피하는 방법으로는 충분하지 않다. 주문량과 입고량을 비교하고, 반품이 나타날 때까지 기다리고, 피해를 공급업체 기록과 연결하는 후속 절차가 필요하다.

여러 공급업체의 같은 SKU가 섞이면 품질 문제의 귀속은 더 어려워진다. 재고의 결함 특성이 누적 입고 구성에 영향을 받기 때문이다. 이번 판매에서 반품이 발생했다는 관찰만으로 직전에 접촉한 업체가 원인이라고 단정할 수 없다. 사기 회피는 한 번의 대화 분류보다 장기적인 증거 관리에 가깝다.

6. 128K 문맥과 20개 기억 항목

공통 harness는 로컬 tokenizer 기준 128K context budget을 사용한다. 약 120K에 도달하면 오래된 assistant·tool 묶음을 통째로 제거하며, 약 60K 토큰의 제거를 목표로 한다. System 메시지, 첫 사용자 메시지, 최근 두 묶음은 보호한다. 이를 긴 요약으로 대체하지는 않는다. 실제 90개 episode에서는 context eviction이 1,495회 발생한다.

Agent는 별도의 memory 도구로 최대 20개의 제목·내용 항목을 추가하고 읽고 수정하거나 지울 수 있다. 이 저장소는 대화 문맥이 잘려도 유지되지만, 항목을 다시 읽으면 그 내용은 context에 들어온다. 기억 도구 호출에도 시뮬레이션 시간이 든다. 무엇을 저장할지와 언제 다시 확인할지가 정책의 일부가 되는 셈이다.

이 설정은 비교를 일정하게 만드는 동시에 결과의 해석 범위를 정한다. 관찰된 성능은 모델만의 능력이 아니라 모델과 이 harness의 조합이다. 다른 요약 정책, 거래 장부, 검색형 memory를 붙이면 결과가 달라질 수 있다. 논문에는 이런 구성 요소를 하나씩 바꾼 인과적 ablation이 없으므로, 특정 모델의 낮은 점수를 memory 용량 하나로 설명할 수는 없다.

평가 목표 / 지표

최종 자산과 협상 잉여

대표 점수는 은행 잔액, wallet, escrow의 합이다. 각각을 b, w, e로 쓰면 다음과 같다.

\[A=b+w+e.\]

연말에는 미배송 주문을 취소하고 남은 반품과 escrow 정산을 처리한다. 실험의 최종 escrow는 모두 0이다. 팔리지 않은 재고의 구매 원가는 자산에 포함되지 않는다. 따라서 이 값은 통상적인 회계상의 총자산과 같지 않으며, 시뮬레이션 종료 후 현금성 잔액을 비교하는 기준으로 이해하는 편이 정확하다. 초기 10만 위안 대비 배율도 함께 보고한다.

협상 품질 CSE+는 정직한 공급업체와 실제로 성사된 거래의 평균 잉여 포착 비율이다. 기준 소매가를 v, 원가 하한을 c, 합의 가격을 p라고 하면 거래별 값은 다음과 같다.

\[\text{captured surplus}=\frac{v-p}{v-c}.\]

가격이 원가 하한에 가까울수록 1에 가까워진다. 결렬된 협상까지 0점으로 포함하는 SE+도 제공하며, 이는 합의율 AGR+와 CSE+의 곱이다. 단, 끝나지 않고 방치된 협상은 이 계산에서 제외된다. 또한 거래 수량으로 가중하지 않는다. 적은 수량의 쉬운 거래를 잘 협상한 점수와 실제로 많은 돈을 절약한 결과가 같지는 않다.

사기 지출·자산 하락·호출 효율

BadSpend%는 전체 구매 지출 중 사기 공급업체에 지급한 비율이다. 상품을 일부 정상적으로 받았더라도 해당 업체에 지급한 구매 대금 전체가 분자에 들어간다. 따라서 이를 사기로 잃은 순손실률로 표현하면 안 된다. VIP 수수료도 구매 관련 지출에 포함된다. 모델별 점수는 각 episode 비율의 평균이므로, 모든 실행의 금액을 합쳐 나눈 값과도 다를 수 있다.

지급 능력의 대리 지표는 자산의 최대 peak-to-trough 하락액을 해당 episode 전체의 최대 자산으로 나눈 값이다. 각 시점의 직전 고점으로 나누는 일반적인 상대 drawdown과 분모가 다르다. 은행 잔액에 기반한 파산 여부도 별도로 기록한다. 운영 효율은 다음과 같이 다섯 실행의 평균끼리 나눈다.

\[\text{profit per call}=\frac{\overline{A}-100{,}000}{\overline{N}_{\mathrm{calls}}}.\]

이 값은 API 요금이나 토큰 사용량을 차감한 수익이 아니다. Episode별 수익/호출 비율을 먼저 계산해 평균한 값도 아니다. 짧게 끝난 파산 실행이 있는 모델에서는 집계 방식이 순위를 크게 바꿀 수 있다. 논문은 GPT-5.5가 다른 평균 방식을 사용하면 효율 순위 4위에서 17위로 내려간다는 민감도도 보여 준다.

가격 유발 반품과 AnchorRatio

Controllable return rate는 자연 반품과 불량 반품을 제외하고, 가격 정책 때문에 추가된 기대 반품을 배송 수량 기준으로 계산한다. 할인에 의해 기준보다 낮아지면 음수가 나올 수 있다. 배송 관련 항은 실제와 반사실적 계산 양쪽에 같은 방식으로 들어가 대부분 상쇄되며, 90개 중 89개 실행에서 해당 기여가 0이다. 이름은 운영 실행을 가리키지만 실제 비교에서는 주로 가격 결정의 영향을 읽게 된다.

경험 활용의 대표 지표는 동일한 정직한 공급업체·SKU를 반복 구매할 때의 가격 순서를 본다. 가격을 원가 하한과 기준가 사이의 위치로 정규화하고, 직전까지의 최저 위치보다 얼마나 더 지불했는지 평균한 것이 AnchorRegret다. 같은 가격들의 순서를 400회 섞어 얻은 regret의 평균과 비교한다.

\[\begin{aligned} \pi_t &= \operatorname{clip}\!\left(\frac{p_t-c}{v-c},0,1\right), \\ m_t &= \min_{u<t}\pi_u, \\ \mathrm{AnchorRegret} &= \operatorname{mean}_{t}\max(0,\pi_t-m_t), \\ \mathrm{AnchorRatio} &= \frac{\mathrm{AnchorRegret}}{\mathbb{E}_{\mathrm{shuffle}}[\mathrm{AnchorRegret}]}. \end{aligned}\]

식에서는 pair 인덱스를 생략했으며, regret 평균은 한 episode의 모든 대상 pair에 속한 재주문을 모아 계산한다. 모델 점수는 episode별 ratio의 평균이다. Ratio가 1보다 작으면 관찰된 가격 순서가 무작위 순서보다 유리하다. 이 정규화가 필요한 이유는 가격이 거의 변하지 않는 거래에서는 기억을 활용하지 않아도 raw regret가 작기 때문이다. 반복 구매 기회가 없는 episode는 이 지표에서 제외되며, 각 재주문의 가중치는 수량과 무관하다. 이 점수만으로 memory 도구가 개선을 일으켰다거나 새로운 시장에도 학습 결과가 일반화된다고 말할 수는 없다.

평가 데이터와 파이프라인

항목	논문 설정
평가 대상	18개 모델, 논문 분류상 proprietary 8개·open-weight 10개
반복	모델당 5회, 총 90개 episode
시장	동일한 world seed 20260122와 2026년 달력
자원	초기 100,000위안, 하루 600분, 최대 4개 상점
종료	365일, 파산, 4,000 turn 상한, 또는 3 turn 연속 도구 미호출
문맥	공통 128K budget, 오래된 대화 묶음 제거, 기억 항목 최대 20개
추론 설정	지원 모델의 thinking 활성화, 모델별 effort 설정, temperature·top-p는 provider 기본값
집계	파산 실행을 포함한 5회 평균과 분산 정보

가장 긴 실행은 3,599 turn이었으며, 90개 모두 연말 또는 파산으로 끝났다. 따라서 보고된 결과가 4,000 turn 제한 때문에 잘렸다고 해석할 이유는 없다. 다만 다섯 번의 반복은 서로 다른 시장 다섯 개를 뜻하지 않는다. 시장 구조와 사건 일정은 고정되어 있고 모델의 생성과 공급업체 표현 등에서 실행 차이가 생긴다.

추론 effort와 모델 내부의 계산량까지 같게 맞춘 실험도 아니다. 이 benchmark는 공통 도구와 환경에서 각 설정의 운영 성능을 비교한다. 같은 토큰 비용, 같은 실제 시간, 같은 API 지출로 얻는 수익을 비교하려면 별도의 비용 통제가 필요하다.

실험 결과

최종 자산과 일곱 축의 순위 분리

Table 2: 18개 모델의 5회 평균 성능과 파산 횟수. 최종 자산·표준편차 단위: 천 위안. 열별 화살표: 성능 개선 방향.

GPT-5.6 Sol (max)의 평균 최종 자산은 1,431,425위안으로 초기 자금의 약 14.3배다. Fable5 (max)는 표의 반올림 값으로 805,000위안, GPT-5.5는 702,000위안이다. 그러나 GPT-5.5는 5회 중 2회 파산하며 결과의 편차가 매우 크다. 평균 수익만으로 안정적인 운영 능력을 판단하기 어려운 대표적인 사례다.

Qwen3.8-Max-Preview의 평균 자산은 416,252위안이다. 논문이 open-weight로 묶은 모델 중 가장 높고, 다음인 GLM 5.2 (high)의 약 301,000위안보다 약 38% 높다. 이 분류는 논문의 평가 구분을 따른 것이며 리뷰 시점의 배포 형태를 새로 판정한 것은 아니다. GLM 5.2의 high 설정은 max의 약 115,000위안보다 높지만, 이 비교 하나로 추론을 적게 하는 것이 더 좋다는 일반 법칙을 만들 수는 없다.

Figure 9: 6개 모델의 일곱 평가 축. 축별 18개 모델 평균을 0~1로 정규화하며 바깥쪽이 우수. 점선: 모델 중앙값.

Claude Opus 4.7 (max)는 CSE+ 0.811과 BadSpend 0.12%로 협상과 사기 회피에서 가장 좋지만 최종 자산은 전체 8위다. 반대로 Sol은 수익 1위인 동시에 사기 지출 비율 18.48%로 16위, 가격 유발 반품 지표로는 17위다. 수익을 크게 내는 과정에서 취약점이 사라지는 것이 아니라 다른 장점이 손해를 상쇄할 수 있다는 뜻이다. 일곱 축 모두에서 상위 5위인 모델은 없다. Qwen3.8-Max-Preview는 가장 낮은 축의 순위도 7위로 비교적 고른 편이다.

도구 호출당 수익과 일상 운영의 비중

Figure 10: 위: 18개 모델의 도구 호출당 수익(위안/회). 아래: 6개 모델의 호출 유형별 비중(%), 오른쪽의 episode당 평균 호출 수.

호출 효율은 Fable5가 약 479위안/회로 가장 높고 Sol은 363위안/회다. Fable5의 평균 호출은 약 1,469회로 Sol의 약 3,668회보다 59.9% 적다. 수익 극대화와 호출 절약은 다른 목표라는 점이 드러난다. 다만 호출 하나의 추론 토큰 수와 요금이 같지 않으므로 이 결과를 실제 비용 효율 순위로 바꾸어 말하지는 않는다.

전체 호출의 71.8%는 배송, 다음 날 대기, 상품 게시, 출금이라는 일상 업무에 쓰였다. 상태 조회는 14.7%, 협상은 6.0%다. 가격 조정은 0.66%에 그치고 절반인 9개 모델은 1년 동안 평균 세 번 미만의 repricing을 수행한다. Memory 호출 비중은 2.1%다. 시장이 변하는 환경에서도 정책의 많은 부분이 반복적인 운영 루프에 머물러 있음을 보여 주지만, 호출 수만으로 특정 행동이 충분했는지까지 판정할 수는 없다.

결과 분석 / Ablation

현금 부족과 재고 노후화의 결합

Figure 11: Qwen3.5-Plus의 파산 episode. 가로축: 2026년 1~5월. 왼쪽: 총자산·은행 잔액(천 위안). 오른쪽: 창고 재고 수량. 음영: 은행 잔액 음수 구간.

전체 90회 중 10회가 파산했다. 은행 잔액이 음수였던 아침은 17개 episode에서 총 177번이며, 그중 66번은 wallet의 돈으로 당일 부족분을 메울 수 있었다. 이는 출금 누락의 중요성을 보여 주는 반사실적 계산이다. 그러나 한 번의 잔액을 회복할 수 있었다는 사실이 이후 사업도 살아남았을 것이라는 보장은 아니다.

Figure 11의 Qwen3.5-Plus 사례는 더 구조적인 문제다. 초기에 상점을 빠르게 늘리고 재고를 많이 확보했지만, 판매되지 않은 재고가 오래 쌓이면서 보관 비용이 커진다. 5월에는 하루 보관 비용이 약 428위안에 이르고, 5월 2일부터 은행이 음수가 된다. 5월 11일의 은행 잔액은 약 -3,968위안, wallet은 약 2,622위안이라 전액 출금해도 부족하다. 이 사례의 교훈은 단순히 출금 버튼을 더 자주 누르라는 것이 아니라, 재고 규모와 현금 회수 속도를 함께 관리해야 한다는 것이다.

지연된 피해 확인과 반복 주문

모든 모델이 적어도 일부 사기 지출을 기록했다. 사기 공급업체에 지급된 전체 금액의 53.4%는 품질 저하 유형에 집중되었다. 이 비율 역시 순손실의 구성비가 아니라 구매 지출의 구성비다. 사기 업체를 알아보는 능력을 초기 협상만으로 측정하면 배송 뒤에 드러나는 문제를 놓치게 된다.

부록의 GPT-5.5 사례에서는 150개를 주문했는데 103개만 입고되어도 warehouse와 주문을 대조하지 않고 거래를 이어 간다. 다른 품질 사례에서는 판매 4개·반품 0개라는 초기 관찰 뒤에 재주문하지만, 반품 지연 때문에 이 시점의 0은 품질이 좋다는 강한 증거가 아니다. 원인 확인 없이 공급업체를 계속 신뢰하는 과정이 문제다. 반면 반복된 사기 거래라는 기록만으로 매번 이미 피해를 알고도 주문했다고 단정해서도 안 된다.

반복 가격의 순서와 제한적인 학습 신호

Table 16: 반복 거래의 AnchorRatio·regret·shuffle 기준과 연중 협상·사기 지표 변화. AnchorRatio 1 미만: 무작위 가격 순서보다 유리한 순차적 가격 활용.

Qwen3.8-Max-Preview의 AnchorRatio는 0.834, anchoring z-score는 +4.24다. 18개 중 유의한 양의 신호를 보이는 유일한 모델이다. Gemini 3.5 Flash도 ratio 0.918로 1보다 작지만 z-score +1.25는 같은 유의성 기준을 넘지 않는다. 전체 16개 모델의 ratio가 1보다 크고, 중앙값은 1.369다. 반복 구매가 경험 활용으로 자동 연결되지는 않는다.

Raw regret만 읽으면 해석이 달라진다. Fable5의 regret는 0.036으로 Qwen의 0.066보다 작지만, 각자의 가격 분포에 맞춘 AnchorRatio는 1.573과 0.834다. 가격이 좁은 범위에 몰린 모델은 기억을 잘 사용하지 않아도 절대 regret가 작게 나타날 수 있다. Shuffle 비교는 이 차이를 줄이려는 장치다.

그렇다고 Qwen이 연중 협상 능력을 뚜렷하게 계속 높였다고 해석하기도 어렵다. 완료된 협상들을 날짜순으로 정렬해 앞뒤 절반으로 나눈 잉여 개선은 +0.001로 작고 편차가 크다. AnchorRatio가 제공하는 증거는 이미 관찰한 가격을 이후 거래에서 지키는 순서상의 규율에 더 가깝다. Sol의 사례에서는 이전 가격 103.11을 기억하고 제안에도 사용하지만, 결국 116.74를 받아들인다. 기록의 존재와 최종 결정의 일관성을 분리해 평가해야 하는 이유다.

이 절의 분석은 통제된 구성 요소 제거 실험이 아니라 실행 기록의 진단이다. Memory를 없앴을 때 점수가 얼마나 변하는지, world seed를 바꿨을 때 순위가 유지되는지는 이 표로 알 수 없다. 논문이 보여 준 연관성과 추가 실험으로 확인해야 할 원인을 구분하는 것이 중요하다.

한계와 비판적 평가

고정 시장과 입력 정보의 비대칭

동일한 달력과 공급업체 구성을 반복하는 설계는 비교의 일관성을 높이지만, 새로운 시장에 대한 일반화 범위는 좁다. 부록은 공급업체 이메일의 숫자 식별자가 모든 60개 상품군에서 정직한 업체와 사기 업체를 구분하는 단서가 될 수 있음을 지적한다. 실제 모델이 이를 이용했다는 증거는 제시하지 않지만, 사기 탐지의 타당성을 판단할 때 중요한 잠재적 누출이다.

또한 60개 상품군 중 20개는 설명에 반품 위험이 낮다고 적혀 있으면서 실제 규칙은 20~35% 수준이다. 해당 상품은 전체 SKU의 25.5%를 차지한다. 이는 단순한 모델의 판단 오류와 관측 정보의 불일치를 분리해야 한다는 뜻이다. 리뷰어 관점에서는 식별자를 섞고, 설명과 수치가 일치하는 조건을 별도로 만들고, 보지 않은 달력과 공급업체에서 평가하는 실험이 유용하다. 이들은 이번 논문에서 이미 입증한 결과가 아니라 후속 검증 제안이다.

지표의 범위와 종료 시점의 유인

최종 자산에서 미판매 재고를 제외하고, 청산 가격을 원가의 10%로 두면 연말의 행동 유인이 실제 계속기업과 달라진다. 상품을 오래 보유하지 않는 전략이 강하게 선호되며, 종료일을 아는 agent는 재고 투자를 줄일 수 있다. 이는 일관된 평가 규칙이지만 현실 기업의 가치 평가와 동일하지는 않다.

협상 점수에는 선택한 상대와 상품의 난이도, 끝내지 않은 협상의 제외가 영향을 준다. BadSpend는 실제 피해가 아니고, controllable return은 운영 전반보다 가격의 영향을 강하게 반영한다. AnchorRatio 역시 가격 순서의 지표이며 원인이 기억 활용인지, 현금 압박인지, 다른 상품 선택인지 직접 식별하지 않는다. 일곱 숫자를 함께 제공하는 장점은 유지하되 각 열에 붙인 넓은 능력 이름을 그대로 받아들이지는 않아야 한다.

다섯 실행의 불확실성과 재현 비용

모델당 다섯 번이라는 표본은 큰 변동성을 세밀하게 추정하기에 제한적이다. 18개 중 15개 모델은 BadSpend의 표준편차가 평균보다 크다. 평균의 작은 차이를 안정된 우열로 읽기 어렵고, 파산한 실행을 포함하는 방식과 지표별 결측 처리도 확인해야 한다. GPT-5.5의 AnchorRatio는 반복 거래가 없었던 파산 실행 두 개를 제외한 세 episode로 계산된다.

규칙 기반 simulator는 재현성을 개선하지만 supplier LLM의 문구, 일부 안내 값, provider별 추론 설정까지 완전히 고정하지는 않는다. 공식 코드는 논문의 내부 gateway 대신 공개 provider 연결을 제공하므로 실행 가능한 benchmark를 얻는 것과 논문의 점수를 정확히 재현하는 것은 별도 문제다. 실용적인 agent 비교에서는 모델 호출 비용과 실제 실행 시간도 함께 기록할 필요가 있다.

시사점 / Takeaways

수익과 생존을 따로 관찰해야 한다. 높은 평균 자산은 출금 누락, 재고 노후화, 드문 파산을 숨길 수 있다.
기억은 다음 행동의 제약으로 연결되어야 한다. 이전 가격을 저장하는 것에 더해 재주문 가격 상한과 거래 검증에 반영하는 절차가 필요하다.
사기 대응에는 주문 이후의 대조가 포함되어야 한다. 주문량과 입고량, 판매와 지연 반품을 연결해야 대화에서 드러나지 않는 피해를 찾을 수 있다.
지표 정의가 능력 해석을 결정한다. 사기 업체 지출, 실제 피해, 가격 순서, 일반적 학습은 서로 다른 관측 대상이다.
다음 평가 과제는 환경 변화와 원인 분리다. 새로운 시장 조건, 식별자 무작위화, memory·회계 보조 장치의 통제 실험으로 현재 진단의 범위를 넓힐 수 있다.

설치 및 사용법

공식 저장소는 Python 3.10 이상을 안내하며 Apache-2.0 라이선스를 사용한다. 리뷰에서는 확인한 commit의 README와 run.py 인자를 대조했다. 아래는 10일·50 turn으로 제한하는 짧은 실행 예시다.

git clone https://github.com/QwenLM/E-CommerceBench.git
cd E-CommerceBench
python -m pip install -r requirements.txt
# GEMINI_API_KEY와 기본 supplier renderer용 OPENAI_API_KEY 설정
python run.py --model gemini-3.5-flash --max-days 10 --max-turns 50

기본 supplier renderer는 gpt-4o-mini를 사용한다. 모델과 provider 연결은 models_config.json을 확인한다. 전체 기간을 여러 번 실행하는 README 예시는 다음과 같다.

python run.py --model gemini-3.5-flash --runs 5

기본 상한은 365일·4,000 turn이며 여러 run은 병렬 실행된다. 따라서 API 사용량은 짧은 예시와 크게 다르다. 이 리뷰에서는 명령과 설정을 확인했으며 유료 모델 평가를 재실행하지 않았다. 논문과 비교하려면 model ID, reasoning 설정, renderer, world seed, 실행 종료 사유를 함께 기록해야 한다.

참고 자료

논문과 arXiv 기록: arXiv v1 본문·부록 64쪽, 18개 모델·90개 episode의 수치 기준.
공식 코드: 환경, 모델 설정, 실행 도구와 결과. 리뷰 시점의 추가 모델은 본문의 원 논문 비교에서 제외.
프로젝트 페이지: 환경 소개와 공개 결과의 입구.

더 읽어보기

Vending-Bench: A Benchmark for Long-Term Coherence of Autonomous Agents (Backlund et al., 2025): 자판기 사업 운영을 통해 장기적인 일관성과 의사결정을 평가하는 선행 연구.
TERMS-Bench: Diagnosing LLM Negotiation Agents Beyond Deal Rate (Zhang et al., 2026): 거래 성사율을 넘어 협상 agent의 성능을 나누어 진단하는 연구.
Reflexion: Language Agents with Verbal Reinforcement Learning (Shinn et al., 2023): 언어적 피드백과 기억으로 이후 행동을 개선하는 agent의 접근법.