[논문 리뷰] Ferret-UI Lite: Lessons from Building Small On-Device GUI Agents

• 메타정보
• TL;DR
• 소개 (Introduction)
• 핵심 기여 (Key Contributions)
• 관련 연구 / 배경 지식
• 방법 / 아키텍처 상세
  • 모델 백본과 입출력
  • 통합 행동 공간 (Unified Action Space)
  • SFT 데이터: 실데이터 + 합성 데이터
  • 합성 데이터 생성 파이프라인
  • 강화학습: zoom-in 시각 도구 사용
• 학습 목표 / 손실 함수
• 학습 데이터와 파이프라인
• 실험 결과
  • GUI 그라운딩
  • GUI 내비게이션
• 결과 분석 / Ablation
• 한계와 비판적 평가
• 시사점 / Takeaways
• 참고 자료
• 더 읽어보기

메타정보

항목	내용
저자	Zhen Yang et al. (저자 16명, Apple)
학회	arXiv preprint · 2025
arXiv	2509.26539
데이터	GUI 그라운딩·내비게이션 공개 데이터셋 (OS-Atlas, UGround, Aria-UI, Aguvis, Jedi, ShowUI 등) + 모바일·데스크톱 합성 데이터
리뷰 일자	2026-05-29

TL;DR

• Apple이 모바일·웹·데스크톱을 하나로 다루는 3B 크기의 end-to-end 온디바이스 GUI 에이전트 Ferret-UI Lite를 공개했다. 그라운딩에서 ScreenSpot-V2 91.6, ScreenSpot-Pro 53.3, OSWorld-G 55.3을 기록해 비슷한 3B 모델을 큰 폭으로 앞서고 7B급과의 격차를 좁혔다. 내비게이션은 AndroidWorld 28.0%, OSWorld 19.8%로 같은 크기에선 강하지만 큰 모델엔 여전히 못 미친다.
• 레시피는 세 갈래다. (1) 실데이터와 합성 데이터를 통합 행동 공간 (unified action space) 아래 대규모로 큐레이션하고, (2) 추론 시점에 zoom-in 시각 도구 사용 (visual tool-use)으로 고해상도 화면을 정밀하게 보고, (3) SFT → RLVR 2단계 학습에 검증 가능한 보상 (verifiable reward)을 설계해 붙인다.
• 제목 그대로 “교훈 보고서”다. 작은 모델은 RL 보상 설계에 매우 민감하고, 그라운딩·내비게이션 데이터는 서로를 보완하며, 고해상도 합성 데이터가 정밀 그라운딩에 특히 효과적이라는 점을 ablation으로 보여준다. 코드·모델 가중치는 공개되지 않았다.

소개 (Introduction)

GUI 에이전트 (graphical user interface agent)는 사람이 마우스와 키보드로 하던 화면 조작을 모델이 대신하는 기술이다. 화면을 보고 “이 버튼을 누르고, 저 칸에 텍스트를 입력하고, 다음 화면으로 넘어가라”를 스스로 판단해 실행한다. 운전 중에 손을 쓰지 않고 리마인더를 적거나, 요리하다 젖은 손으로 레시피를 띄우는 상황을 떠올리면, 이런 보조 기능은 낮은 지연 시간, 강한 프라이버시 보장, 연결이 끊긴 환경에서의 견고함을 요구한다. 세 조건 모두 “서버로 화면을 보내 큰 모델이 처리”하는 방식과 충돌한다. 그래서 기기 위에서 직접 도는 작은 (on-device) GUI 에이전트가 필요하다.

문제는 기존 연구의 무게중심이 정반대에 있다는 점이다. 대다수 방법은 거대 파운데이션 모델에 기댄다. 지각·계획·행동을 분리한 멀티 에이전트 시스템을 GPT나 Gemini 같은 대형 LLM 위에 올려 인상적인 내비게이션 성능을 내지만, 모델링 복잡도·컴퓨팅 예산·추론 시간이 모두 커진다. end-to-end GUI 에이전트는 원시 스크린샷을 행동으로 곧장 매핑해 이 워크플로우를 단순화하는 매력적인 대안이지만, 여기서도 큰 모델이 선호된다. 하나의 모델 안에 저수준 그라운딩, 화면 이해, 멀티스텝 계획, 자기 반성 (self-reflection)이라는 이질적 능력을 모두 욱여넣어야 하기 때문이다.

Ferret-UI Lite는 이 불균형을 정면으로 겨냥한다. “작은 모델로도 강한 GUI 에이전트를 만들 수 있는가, 만들 수 있다면 어떤 기법이 효과적이고 어디서 한계에 부딪히는가”를 3B 규모에서 체계적으로 실험하고, 그 과정에서 얻은 교훈을 정직하게 보고하는 것이 이 논문의 본질이다. Apple의 Ferret-UI 계보 (Ferret-UI, Ferret-UI 2)를 잇는 작업으로, 이번엔 “이해”보다 “에이전트로서의 행동”과 “온디바이스 효율”에 초점을 맞췄다.

핵심 기여 (Key Contributions)

• 3B 온디바이스 end-to-end GUI 에이전트: 모바일·웹·데스크톱을 단일 모델로 다루며, 그라운딩과 내비게이션을 한 번에 학습한다. 같은 3B급에서 그라운딩 SOTA를 큰 폭으로 갱신한다.
• 실+합성 데이터의 대규모 큐레이션 + 통합 행동 공간: 공개 데이터셋들을 점 기반 (point-based) 좌표와 함수 호출 (function-call) 형식으로 통일하고, 부족한 부분을 합성 데이터로 메운다. 특히 멀티 에이전트 시스템으로 온라인 롤아웃을 생성하는 파이프라인이 핵심이다.
• 추론 시점 zoom-in 시각 도구 사용: 한 번 예측한 위치 주변을 잘라 다시 보는 “이미지로 생각하기” 메커니즘으로, 작은 모델이 큰 해상도의 복잡한 화면에서도 좁은 영역만 정밀하게 판단하도록 만든다.
• 검증 가능한 보상 기반 2단계 학습 (SFT → RLVR): 그라운딩에는 박스 포함 (containment) 보상, 내비게이션에는 행동 타입 + 파라미터 보상을 설계한다. 작은 모델에서 이 보상 설계가 성능을 좌우한다는 점을 ablation으로 입증한다.
• 스케일다운의 교훈 정리: 데이터 혼합 비율, 고해상도 데이터, CoT 길이, RL 보상 구성에 대한 풍부한 ablation으로 “무엇이 작은 모델에 통하고 무엇이 안 통하는가”를 기록한다. 이 점이 단일 SOTA 수치보다 더 오래 남을 기여다.

관련 연구 / 배경 지식

그라운딩과 내비게이션. GUI 태스크는 크게 두 가지로 나뉜다. 그라운딩 (grounding)은 “Refresh 버튼을 눌러” 같은 자연어 지시에서 클릭할 화면 좌표를 찍는 단일 스텝 문제다. 내비게이션 (navigation)은 “이 포스터를 엄마에게 메일로 보내”처럼 여러 스텝에 걸쳐 화면을 바꿔가며 목표를 달성하는 문제로, 누적된 화면·행동 히스토리 위에서 계획을 세워야 한다. 그라운딩은 정밀한 위치, 내비게이션은 장기 계획이 생명이라 보통 따로 다뤄진다. Ferret-UI Lite는 둘을 한 모델에서 함께 학습한다.

end-to-end vs 멀티 에이전트. 멀티 에이전트 방식은 계획 모듈과 그라운딩 모듈을 분리하고, GPT·Gemini 같은 대형 모델을 계획자로 쓴 뒤 전용 모듈로 좌표를 찍는다. 강력하지만 무겁다. end-to-end 방식은 OS-Atlas, UI-TARS, ShowUI처럼 멀티모달 입력에서 행동 시퀀스를 곧장 예측하는 단일 vision-language-action 모델로, Ferret-UI Lite도 여기에 속한다. 흥미롭게도 Ferret-UI Lite는 학습 데이터 생성에는 멀티 에이전트 시스템을 쓰되, 배포 모델은 단일 end-to-end로 만든다 — 멀티 에이전트의 풍부함을 작은 단일 모델로 증류하는 셈이다.

RLVR과 GRPO. 검증 가능한 보상 기반 강화학습 (Reinforcement Learning with Verifiable Rewards, RLVR)은 사람 라벨 대신 규칙으로 자동 계산되는 보상을 쓴다. GUI 그라운딩은 “예측 좌표가 정답 박스 안에 들어갔는가”처럼 보상을 자동 검증할 수 있어 RLVR과 궁합이 좋다. 최적화에는 DeepSeekMath가 제안한 Group Relative Policy Optimization (GRPO)을 쓴다. 한 입력에 대해 여러 후보를 샘플링하고, 그룹 내 보상의 평균·표준편차로 정규화한 어드밴티지로 정책을 업데이트하는 방식이라 가치 함수 (value network) 없이도 안정적이다.

이미지로 생각하기 (thinking with images). 최근 비전 추론 흐름은 모델이 이미지를 한 번만 보고 끝내는 대신, 관심 영역을 잘라 확대해 다시 보는 능동적 시각 행동을 학습시킨다. Ferret-UI Lite의 zoom-in은 이 아이디어를 그라운딩에 적용한 것이다.

방법 / 아키텍처 상세

모델 백본과 입출력

Ferret-UI Lite는 텍스트 전용 데이터와 비전-언어 이해 데이터를 섞어 사전학습한 내부 3B dense 모델을 출발점으로 한다. 이미지 인코더는 객체 탐지용 plain ViT 백본인 VitDet 구조를 쓰고, 입력 스크린샷을 셀 격자로 동적으로 쪼개는 AnyRes 전략을 채택한다. 고해상도 UI 스크린샷을 토큰 폭발 없이 처리하기 위한 선택이다. 인코더가 뽑은 시각 토큰은 decoder-only LLM으로 들어가고, 모델은 GUI 화면과 사용자 지시를 입력받아 chain-of-thought 추론 트레이스 (<think>...)와 저수준 행동 정책 (<function>...)을 순차적으로 출력한다.

통합 행동 공간 (Unified Action Space)

이질적인 공개 데이터셋을 한 모델로 학습하려면 행동 표기부터 통일해야 한다. Ferret-UI Lite는 두 축에서 형식을 통일한다.

• 그라운딩 좌표: 어떤 데이터셋은 bounding box를, 어떤 데이터셋은 단일 점을 준다. 모든 박스를 기하 중심점으로 변환해 점 기반 표현으로 정규화한다.

\[(x_{\text{center}}, y_{\text{center}}) = \left( \frac{x_{\min}+x_{\max}}{2},\; \frac{y_{\min}+y_{\max}}{2} \right)\]

여기서 $(x_{\min}, y_{\min})$과 $(x_{\max}, y_{\max})$는 박스의 모서리다. 이미 점으로 주어진 주석은 그대로 둔다.

• 행동 표기: UI-TARS (Qin et al., 2025)의 분류를 따라 행동을 함수 호출 형식으로 표준화한다. 본문은 이를 “11개 대표 행동”으로 기술하지만, 실제 Table 5에는 플랫폼별 변형을 포함해 15개 행동이 정리돼 있다. 모든 플랫폼 공통 행동 (tap, swipe, textentry, terminate 등)에 더해, 데스크톱·웹 전용 (right_click, double_click, press_hotkey)과 모바일 전용 (long_press, navigate_home, open_app, navigate_back)이 분리돼 있다. 함수 호출 표기는 출력이 구조적이라 파싱이 쉽고, 최신 LLM의 코딩·도구 사용 능력과 자연스럽게 정렬된다.

SFT 데이터: 실데이터 + 합성 데이터

SFT 단계의 데이터는 두 축으로 모은다. 공개 데이터셋은 GroundUI, OS-Atlas, UGround, Aria-UI, Aguvis, WaveUI, ShowUI, Jedi, AgentNet 등 그라운딩·내비게이션 양쪽을 폭넓게 끌어온다. 그 위에 모바일·OS 플랫폼용 합성 데이터를 그라운딩·내비게이션 모두에 대해 직접 생성한다. 작은 모델일수록 많은 학습 토큰이 필요하다는 관찰 (Kaplan et al., 2020) 때문에, 규모·범위·다양성 확보가 특히 중요하다고 본다.

합성 데이터 생성 파이프라인

합성 데이터는 네 종류로 나뉜다.

• 고해상도 그라운딩 데이터: 여러 GUI 스크린샷을 이어붙여 더 큰 합성 이미지를 만든다 (예: OS-Atlas 기반). 더 빽빽한 레이아웃과 풍부한 공간 맥락에 모델을 노출시켜, 현실의 다중 요소 화면에서 정밀 위치 잡기를 학습시킨다.
• CoT 내비게이션 데이터: 세 종류의 추론 트레이스를 만든다 — (i) plan (다음 행동의 간결한 서술), (ii) action think (GUI 요소·히스토리·후보 행동에 대한 추론), (iii) reflect (목표 대비 자기 평가). 각 컴포넌트는 GPT-4o가 set-of-marks (SoM) 시각 프롬프팅으로, 현재 화면의 사람-주석 행동과 에피소드 히스토리를 조건으로 생성한다. 이를 조합해 컴퓨팅 프로파일이 다른 두 에이전트를 만든다: short-CoT는 행동 출력 앞에 plan만 붙이고, long-CoT는 action think와 reflection까지 확장한다.
• 합성 QA 데이터: “장바구니에 뭐가 남았지?” 같은 보조 질의에 답하도록, 기존 에피소드의 목표를 자연어 질문으로 바꾸고 마지막 화면에 근거한 답을 단다. 또한 깨끗한 궤적에 일부러 오류 프레임을 섞어 (정상 terminate를 잘못된 swipe로 교체 등) 막힌 상태를 만들고, 그에 대한 교정 시퀀스를 생성해 재계획 (replanning) 능력을 학습시킨다.
• 온라인 내비게이션 데이터: 멀티 에이전트 시스템 (Figure 4)으로 실제 GUI 플랫폼과 상호작용해 대규모 롤아웃을 만든다. 네 컴포넌트로 구성된다 — 난이도를 점증시키는 커리큘럼 task generator, 목표를 스텝 단위 지시로 분해하는 planning agent, 행동을 실행하는 grounding agent, 궤적을 평가해 텍스트 보상을 주는 critic model. 이렇게 모은 온라인 궤적은 사람 주석 데이터엔 없는 행동 오류·환경 확률성·재계획 전략을 담으며, CoT 트레이스로 보강한 뒤 VLM-as-a-judge로 저품질 샘플을 걸러낸다.

강화학습: zoom-in 시각 도구 사용

SFT는 주석 출력을 그대로 모방하도록 강제하기 때문에, GUI 상호작용의 유연성을 충분히 살리지 못한다. 같은 목표를 여러 형태의 행동으로 달성할 수 있는데도 표면적 라벨 일치만 학습하는 것이다. RLVR은 task 성공 자체를 보상으로 삼아 이 한계를 푼다.

그라운딩 RL은 OS-Atlas 위에서 수행한다. SFT가 주석 중심점을 정확히 재현하도록 강제하는 것과 달리, RL에서는 예측 위치가 정답 박스 안에 들어가기만 하면 양의 보상을 주는 포함 기반 (containment) 보상을 쓴다. “정답의 진짜 목표 = 박스 안 어디든”이라는 그라운딩의 본질에 더 맞는 설계다.

여기에 zoom-in 메커니즘을 더한다. 모델이 초기 예측을 내면, 그 위치 주변을 잘라낸 뒤 그 크롭 영역에서 다시 정밀 예측을 한다. 사람이 작은 글씨를 볼 때 확대하는 행동을 모사한 것으로, 복잡하고 고해상도인 UI에서 특히 유리하다. 작은 모델이 화면 전체에 걸친 미묘한 이해를 동원할 필요 없이 좁은 영역만 보고 최종 판단하게 만들어주기 때문이다. 초기 예측과 정밀 예측을 모두 학습 풀에 남겨 다중 스케일 그라운딩 감독을 제공한다.

내비게이션 RL은 모바일·데스크톱 합성 데이터와 AgentNet을 쓴다. 현재 스크린샷, 고수준 지시, 과거 행동 히스토리를 입력으로 모델이 $M$개의 후보 출력 $z = [z_1, \ldots, z_M]$를 샘플링한다. 각 $z_i = [c_i; a_i]$는 chain-of-thought 텍스트 $c_i$와 그 뒤의 예측 행동 $a_i = [\tau_i; \theta_i]$로 이뤄지고, $\tau_i$는 행동 타입, $\theta_i$는 파라미터 (예: 탭 위치)다. 보상은 생성 행동을 정답 $a^{\text{gt}} = [\tau^{\text{gt}}; \theta^{\text{gt}}]$과 비교해 계산한다.

학습 목표 / 손실 함수

내비게이션 보상은 두 성분의 합이다. 하나는 행동 타입이 맞는지, 다른 하나는 파라미터가 정확한지를 본다.

\[r_i = f_{\text{type}}(\tau_i, \tau^{\text{gt}}, \theta^{\text{gt}}) + f_{\text{param}}(\theta_i, \theta^{\text{gt}})\]

행동 타입 보상 $f_{\text{type}}$는 타입 일치를 검사하되, 파라미터가 필요 없는 행동 (예: navigate_home처럼 $\theta^{\text{gt}} = \emptyset$)은 더 강하게 보상한다. 파라미터가 필요한 행동은 타입만 맞으면 부분 점수를 준다.

\[f_{\text{type}}(\tau_i, \tau^{\text{gt}}, \theta^{\text{gt}}) = \begin{cases} 2, & \text{if } \tau_i = \tau^{\text{gt}} \text{ and } \theta^{\text{gt}} = \emptyset, \\ 1, & \text{if } \tau_i = \tau^{\text{gt}} \text{ and } \theta^{\text{gt}} \neq \emptyset, \\ 0, & \text{otherwise.} \end{cases}\]

파라미터 보상 $f_{\text{param}}$은 예측 파라미터의 충실도를 본다. 텍스트 입력·방향 같은 문자열 파라미터는 정확히 일치할 때 1, 아니면 0인 exact-match를 쓴다. tap처럼 위치 기반 행동은 두 가지 보상을 실험한다. 하나는 그라운딩 보상과 똑같이 예측 좌표가 정답 박스 안에 들면 1, 아니면 0인 희소 보상 (sparse reward)이고, 다른 하나는 정답 중심과의 정규화 거리로 점진적 점수를 주는 밀집 보상 (dense reward)이다.

\[f_{\text{param}}^{\text{dense}}(\theta_i, \theta^{\text{gt}}) = \max\!\left( 1 - \lambda \left( \frac{|x_i - x^{\text{gt}}|}{w} + \frac{|y_i - y^{\text{gt}}|}{h} \right),\; 0 \right)\]

여기서 $(x_i, y_i)$와 $(x^{\text{gt}}, y^{\text{gt}})$는 예측·정답 중심, $w$와 $h$는 정답 요소의 너비·높이, 감쇠 인자 $\lambda$는 민감도 조절용으로 0.5로 둔다. 즉 정답에 가까울수록 1에 가까운 연속 보상을 받고, 박스 폭만큼 벗어나면 0으로 떨어진다.

최적화 (GRPO). 그라운딩·내비게이션 RL 모두 GRPO로 최적화한다. 학습 예제마다 여러 예측을 샘플링하는데, 그라운딩은 원본 이미지 8개 + zoom-in 크롭 4개, 내비게이션은 32개 후보를 뽑는다. 각 샘플이 보상 $r_i$를 받고, 그룹 안에서 정규화한 어드밴티지로 정책을 업데이트한다.

\[\begin{aligned} A_i &= \frac{r_i - \text{mean}(r)}{\text{std}(r)}, \\ r &= [r_1, r_2, \ldots, r_M] \end{aligned}\]

학습 효율을 위해 온라인 필터링 (online filtering)을 적용한다. 샘플된 보상이 모두 같은 (전부 0 또는 전부 1) 프롬프트는 학습 신호가 없으므로 버린다. 가장 유익한, 즉 결정 경계를 다듬는 예제에 집중하기 위함이다.

학습 데이터와 파이프라인

항목	내용
백본	내부 3B dense 멀티모달 LLM (텍스트 + 비전-언어 이해 데이터로 사전학습)
이미지 인코더	VitDet + AnyRes (스크린샷을 셀 격자로 동적 분할)
SFT 데이터	공개 그라운딩·내비게이션 데이터셋 + 모바일·데스크톱 합성 데이터 (고해상도 그라운딩, short/long-CoT, QA, 온라인 멀티 에이전트 롤아웃)
RL 데이터	그라운딩: OS-Atlas / 내비게이션: 모바일·데스크톱 합성 + AgentNet
학습 스텝	SFT 10K 스텝, RL 1,500 스텝
RL 알고리즘	GRPO + 온라인 필터링 (그라운딩 8+4 샘플, 내비게이션 32 샘플)
보상	그라운딩: 박스 포함 / 내비게이션: 행동 타입($f_{\text{type}}$) + 파라미터($f_{\text{param}}$, sparse 또는 dense, $\lambda=0.5$)

실험 결과

내부 3B dense 모델을 백본으로, SFT 10K 스텝 + RL 1,500 스텝으로 학습한다. 그라운딩과 내비게이션을 차례로 평가한다.

GUI 그라운딩

ScreenSpot-V2, ScreenSpot-Pro, OSWorld-G 세 벤치마크로 평가한다. 모바일·데스크톱·웹과 다양한 해상도를 아우르며, 특히 ScreenSpot-Pro는 고해상도 데스크톱 화면이라 어렵다.

• ScreenSpot-V2 91.6: 다른 3B 베이스라인 (UI-R1-3B 89.2, Jedi-3B 88.8)을 앞서고, 90.3~92.8인 7B급에 바짝 붙는다.
• ScreenSpot-Pro 53.3: 다른 3B 모델이 대개 30대 중반인데 비해 압도적으로 높고 (Jedi-3B 37.1, GUI-G1-3B 38.1), GUI-Owl-7B (54.9) 바로 아래다.
• OSWorld-G 55.3: 3B 중 최고이며 (Jedi-3B 50.9), GUI-Owl-7B (55.9)·GUI-Owl-32B (58.0)과 경쟁한다. 7B 중 최강인 GTA1-7B (67.7)와는 격차가 있지만 파라미터 규모를 감안하면 작은 차이다.

여기서 한 가지 짚을 점. 논문 초록은 OSWorld-G를 61.2로 적지만, Table 1·Figure 6a·Table 8은 모두 일관되게 55.3을 가리킨다. 세 표가 일치하므로 본 리뷰는 검증된 값인 55.3을 따른다 (초록의 61.2는 오기로 보인다). 작은 차이가 아니라 6점 차이라, 초록만 보고 인용하면 오류가 전파되기 쉬운 지점이다.

GUI 내비게이션

오프라인 (Android Control). 저수준 (단일 스텝 지시)과 고수준 (전역 목표) 태스크로 나뉜다. Ferret-UI Lite-3B는 저수준 86.6%, 고수준 68.9%로, 비슷한 규모 모델 (OS-Atlas-4B 80.6/67.5, InternVL-2-4B 80.1/66.7)은 물론 7B·72B 일부 (Qwen2-VL-7B 82.6/69.7, Aguvis-72B 84.4/66.4)와도 견줄 만하다.

• AndroidWorld 28.0%: 116개 태스크·20개 앱으로 구성된 동적 환경에서 5회 평균. 3B 중 최고 (ScaleCUA-3B 23.7)이고, UI-TARS-1.5-7B 같은 7B급과도 경쟁한다.
• OSWorld-Verified 17.3% (최대 15스텝): 모든 3B 모델 (ScaleCUA-3B 9.6, OpenCUA-A3B 16.9)을 앞서고 7B와도 경쟁한다. 최대 스텝을 50으로 늘리면 19.8%로 올라 test-time scaling 여지를 보인다.

다만 논문도 분명히 인정한다. 내비게이션 성능은 모델 규모에 제약돼, OSWorld 리더보드의 SOTA (예: Claude-4-Sonnet 43.9%)에는 못 미친다. 참고로 같은 15스텝 자체 평가에서 Claude-4-Sonnet은 31.2%, Doubao-1.5-Thinking은 31.9%를 기록했다.

결과 분석 / Ablation

이 논문의 진짜 가치는 단일 수치가 아니라 ablation에서 나온다.

• RL과 zoom-in의 효과 (Figure 6a): SFT만 했을 때 대비 RL이 일관되게 올린다. ScreenSpot-Pro 52.3 → 52.7 (RL, zoom-in 없음) → 53.3 (RL + zoom-in), OSWorld-G 54.1 → 54.1 → 55.3. zoom-in이 마지막 한 끗을 더해주는데, 이는 모델이 RL 최적화뿐 아니라 작고 빽빽한 요소를 다룰 때 능동적으로 확대를 활용하도록 학습했음을 뜻한다.
• 데이터 혼합 비율 (Figure 6b): 그라운딩:내비게이션 비율을 0:100, 30:70, 50:50, 70:30으로 바꿔본다. 두 데이터는 서로를 보완한다. 그라운딩 데이터가 전혀 없는 0:100에서도 ScreenSpot-Pro가 41.2를 찍는 건 내비게이션 데이터에 그라운딩 신호가 섞여 있다는 뜻이고, 반대로 그라운딩 데이터를 더해도 내비게이션은 나빠지지 않는다. 특히 OSWorld-Chrome은 그라운딩이 0%인 0:100에서 0.0으로 무너졌다가 50:50에서 22.7로 회복하는데, 이는 내비게이션조차 그라운딩 능력을 전제로 함을 보여준다. 50:50 균형이 전반적으로 최선이다 (ScreenSpot-Pro 50.1, 그라운딩-편중 70:30의 49.5보다 높다).
• 고해상도 합성 데이터 (Figure 6c): 고해상도 합성 데이터를 넣으면 ScreenSpot-V2는 소폭 (89.5 → 90.0), 어려운 ScreenSpot-Pro에서 더 뚜렷이 (48.3 → 48.9) 오른다. 정밀 위치 잡기에 고해상도 데이터가 특히 유효하다는 신호다.

내비게이션 쪽 ablation은 작은 모델 학습의 핵심 교훈을 담는다.

• CoT·합성 데이터의 효과 (Table 4): AndroidWorld에서 baseline 13.7 → short-CoT 15.8 → long-CoT 19.6으로, 추론 트레이스가 길수록 멀티스텝 성능이 오른다. long-CoT 위에 온라인·오프라인 합성 데이터를 5K → 13K → 17K로 늘리면 20.3 → 22.4 → 25.2로 추가 상승한다 (약 +6점). 다양성을 갖춘 합성 데이터 스케일업이 통한다는 증거다.

Model Variants	AndroidWorld 성공률 (%)
Baseline (CoT·합성 데이터 없음)	13.7
+ Short CoT	15.8
+ Long CoT	19.6
+ Syn. data (5K)	20.3
+ Syn. data (13K)	22.4
+ Syn. data (17K)	25.2

• RL은 SFT가 적을 때 더 빛난다 (Figure 7a): SFT 2K·6K·10K 스텝 각각에 RLVR을 붙이면 모든 설정에서 향상되는데, SFT 스텝이 적을수록 이득이 크다. RLVR이 부족한 SFT를 보완하는 역할을 한다는 뜻이다.
• 보상 설계가 전부 (Figure 7b): 네 가지 보상 구성을 비교한다 — 행동 타입만 (AT), 희소 그라운딩만 (SG), AT + SG, AT + 밀집 그라운딩 (DG). 행동 타입 보상만 쓰면 SFT-only보다도 떨어진다 (정답 위치가 강화되지 않으므로). 그라운딩 보상만으로는 탭 정확도는 오르지만 SFT 베이스라인을 못 넘는다. 둘을 합쳐야 일관된 향상이 나오고, 밀집 그라운딩이 희소 그라운딩보다 낫다. 작은 GUI 에이전트에서 RLVR 보상 구조를 세심히 설계하는 일이 얼마나 중요한지를 정면으로 보여주는 결과다.

추가로, 그라운딩 데이터셋 ablation (Table 6)에서는 OS-Atlas를 빼면 ScreenSpot-Pro가 가장 크게 떨어져 (−6.80), 이 데이터셋이 고해상도 데스크톱 그라운딩에 가장 결정적임을 확인한다.

한계와 비판적 평가

• 내비게이션의 본질적 천장. 저자도 인정하듯, 멀티스텝 내비게이션은 모델 규모에 강하게 묶인다. OSWorld 19.8%는 3B 중에선 좋지만 상용 SOTA (40%대)와는 격차가 크다. 작은 모델로 장기 계획·자기 반성을 충분히 담기 어렵다는 점은 이 방향의 근본 난제로 남는다.
• RL 보상 민감성 = 재현성 부담. “보상 설계가 성능을 좌우한다”는 발견은 양날의 검이다. 밀집 보상의 $\lambda$, 샘플 수 (8+4 / 32), 온라인 필터링 임계 등 하이퍼파라미터에 민감하다는 뜻이고, 코드·가중치가 공개되지 않아 외부 재현이 어렵다.
• OSWorld-G 수치의 내부 불일치. 초록 (61.2)과 본문 표 (55.3)가 6점이나 어긋난다. 검증 가능한 정량 보고를 강조하는 논문에서 핵심 수치가 어긋난 것은 신뢰도에 흠집을 낸다.
• 지연 시간·메모리의 부재. “온디바이스”를 표방하지만 실제 기기에서의 추론 지연, 메모리 사용량, 배터리 영향 같은 배포 지표가 보고되지 않는다. zoom-in은 한 입력을 두 번 보는 셈이라 추론 비용을 늘리는데, 그 비용-정확도 트레이드오프가 정량화되지 않았다.
• 합성 데이터의 GPT-4o 의존. CoT·QA 데이터가 GPT-4o의 SoM 프롬프팅으로 생성된다. 큰 모델의 추론을 작은 모델로 증류하는 구조라, 교사 모델 품질에 상한이 묶이고 라이선스·재현 측면의 제약도 따른다.

시사점 / Takeaways

• 작은 GUI 에이전트는 “데이터 + 추론 시점 도구 + 보상 설계”의 합으로 만들어진다. 단일 묘책이 아니라, 통합 행동 공간·합성 데이터·zoom-in·RLVR이 각자 몇 점씩 더해 3B를 7B급 그라운딩까지 끌어올린다.
• 그라운딩과 내비게이션은 한 모델에서 서로를 돕는다. 50:50 혼합이 최선이고, 그라운딩 능력은 내비게이션의 전제 조건이다 (그라운딩 0% → OSWorld-Chrome 0%). 두 능력을 분리해 학습할 이유가 없다.
• RL 보상은 “무엇을 강화하는가”가 전부다. 작은 모델에서 행동 타입만 보상하면 오히려 퇴보하고, 밀집 그라운딩 보상을 더해야 안정적으로 오른다. 보상의 형태가 모델 크기보다 결과를 좌우하는 구간이 분명히 존재한다.
• 그라운딩은 거의 풀렸고, 내비게이션은 열려 있다. 3B가 ScreenSpot-V2 91.6을 찍는 시대에 단일 화면 그라운딩의 한계 효용은 작아졌다. 다음 전선은 멀티스텝 계획·오류 복구·장기 안정성이며, 여기서 작은 모델은 아직 갈 길이 멀다.
• “교훈”을 공유하는 논문의 가치. SOTA 한 줄보다, 무엇이 통하고 안 통했는지를 ablation으로 남긴 점이 오래 간다. 온디바이스 에이전트를 만들려는 후속 연구에 그대로 출발점이 된다.

참고 자료

• 논문: Ferret-UI Lite: Lessons from Building Small On-Device GUI Agents (arXiv:2509.26539)
• 코드/가중치: 공개되지 않음
• 계보: Ferret-UI (arXiv:2404.05719), Ferret-UI 2 등 Apple GUI 이해 연구

더 읽어보기

• Ferret-UI: Grounded Mobile UI Understanding with Multimodal LLMs (You et al., 2024) — Ferret-UI Lite의 직계 조상. 모바일 UI 화면을 referring·grounding·reasoning으로 이해하는 첫 MLLM이다.
• UI-TARS: Pioneering Automated GUI Interaction with Native Agents (Qin et al., 2025) — Ferret-UI Lite가 행동 분류 (action taxonomy)를 차용하고 여러 벤치마크에서 비교 대상으로 삼는 핵심 baseline.
• OS-ATLAS: A Foundation Action Model for Generalist GUI Agents (Wu et al., ICLR 2025) — RL 그라운딩의 학습 데이터이자 Android Control 평가 세팅의 출처. 그라운딩 데이터셋 ablation에서 가장 중요한 것으로 꼽힌다.
• OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments (Xie et al., NeurIPS 2024) — 실제 OS 환경에서 컴퓨터 사용 에이전트를 평가하는 벤치마크. Ferret-UI Lite의 내비게이션 한계가 가장 선명히 드러나는 무대다.
• DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models (Shao et al., 2024) — Ferret-UI Lite의 RLVR이 쓰는 최적화 알고리즘 GRPO를 제안한 논문.