[논문 리뷰] Skaling: Chinchilla's Exponents Meet Kaplan's Coupling

메타정보
TL;DR
소개 (Introduction)
핵심 기여 (Key Contributions)
관련 연구 / 배경 지식
방법 / 아키텍처 상세
학습 목표 / 손실 함수
학습 데이터와 파이프라인
실험 결과
결과 분석 / Ablation
- dominated-pair 적합 — 논문에서 가장 중요한 자기비판
- 배분 방향은 보편적이지 않다
한계와 비판적 평가
시사점 / Takeaways
참고 자료
더 읽어보기

메타정보

항목	내용
저자	Mathurin Videau, Badr Youbi-Idrissi, David Lopez-Paz, Kartik Ahuja (FAIR at Meta)
학회	arXiv preprint · 2026
arXiv 또는 DOI	2608.07222
데이터	사전학습 loss 측정 그리드 4종 — Farseer 404 run, 자체 SK-Grid 134 run, Farseer-code 117 run, 원 Chinchilla 245 run
리뷰 일자	2026-08-11

TL;DR

Chinchilla 의 가법형 $L = A/N^\alpha + B/D^\beta + E$ 는 혼합 편미분 $\partial^2 L/\partial N \partial D$ 가 항등적으로 0 이 되도록 강제한다. 즉 “모델 크기와 데이터는 손실에 독립적으로 기여한다” 는 가정이 함수형 안에 박혀 있다.
저자들은 함수형을 고르기 전에 데이터를 먼저 물어본다. Moving least squares 로 loss surface 의 미분을 직접 추정한 결과, 혼합 편미분은 그리드 전역에서 0 이 아니고 부호는 음수다. $N$ 과 $D$ 를 함께 키우면 각각 키운 것의 합보다 손실이 더 떨어지는 시너지가 실재한다.
Skaling 은 파라미터 딱 하나 (외부 지수 $k$) 를 더해 $L = (A/N^\alpha + B/D^\beta)^k + E$ 로 두 항을 곱셈적으로 묶는다. $k=1$ 이면 Chinchilla 로 정확히 환원된다.
MAPE 가 보간·외삽 양쪽에서 1.5–3× 줄고, 가장 극단적인 구석에서는 훨씬 크게 줄어든다 (SK-Grid far extrapolation 5.17% → 0.70%, L-shape 에서 14.63% → 1.15%).
저비용 가장자리만 훑는 L-shape 그리드로 Farseer 기준 약 10× 적은 compute 를 쓰고도 full-grid Chinchilla 수준의 정확도를 유지한다.

소개 (Introduction)

Scaling law 는 지금 LLM 개발에서 가장 비싼 의사결정을 떠받치는 도구다. 수십억 달러짜리 학습을 시작하기 전에, 작고 싼 run 몇십 개만으로 “이 예산에서 파라미터를 얼마나 쓰고 토큰을 얼마나 먹여야 손실이 가장 낮은가” 를 결정해야 한다. 이 예측이 몇 퍼센트만 틀려도 예산 배분이 통째로 어긋난다.

현재 사실상의 표준은 Hoffmann et al. (2022) 의 Chinchilla 형태다.

\[L(N, D) = \frac{A}{N^{\alpha}} + \frac{B}{D^{\beta}} + E\]

$N$ 은 파라미터 수, $D$ 는 학습 토큰 수, $E$ 는 데이터 엔트로피에서 오는 축소 불가 손실 (irreducible loss) 이다. 해석이 깔끔하고 적합이 쉬우며, “파라미터당 토큰 약 20 개” 라는 널리 인용되는 규칙이 여기서 나왔다.

그런데 이 형태는 수학적으로 하나의 강한 주장을 조용히 밀어 넣는다. 손실이 $f(N) + g(D) + E$ 꼴이면 혼합 편미분은 어떤 $f, g$ 를 골라도 정확히 0 이다. 다시 말해 “파라미터를 하나 더 늘렸을 때의 한계 이득” 이 데이터를 얼마나 봤는지와 전혀 무관하다고 가정한다. 흥미롭게도 그 이전 세대인 Kaplan et al. (2020) 의 형태는 두 축을 결합하고 있었고, Chinchilla 는 편의를 위해 그 결합을 버린 셈이다.

이 논문의 출발점은 단순하다. 그 가정이 실제 loss surface 에서 성립하는지 데이터에 직접 물어보자는 것이다. 답은 성립하지 않는다는 쪽이고, 위반은 그리드 한가운데가 아니라 가장자리에서 커진다. 하필 우리가 예측하고 싶은 영역, 즉 아직 학습해 보지 않은 큰 모델과 긴 학습 horizon 이 있는 구석이다.

Figure 1: 가법형 Chinchilla 법칙은 그리드 경계에 집중된 계통적 편향을 남기고, Skaling 은 이를 제거한다. 좌·중은 부호 있는 백분율 오차 (빨강 = 과대추정, 파랑 = 과소추정), 우는 두 법칙의 run 별 오차 비율.

Figure 1 의 왼쪽 패널을 보면 Chinchilla 의 잔차가 안장 (saddle) 모양이다. 그리드 내부는 정확하지만 네 구석으로 갈수록 부호가 반대인 오차가 커진다. 이건 무작위 잡음이 아니라 함수형이 데이터와 다른 방향으로 휘어 있다는 구조적 신호다. Skaling 을 적합한 가운데 패널에서는 이 패턴이 사라진다. 오른쪽 패널 기준으로 전체 구성의 76% 에서 Skaling 이 더 정확하고, 중앙값 2.2×, 그중 3분의 1 에서는 4× 이상이다.

핵심 기여 (Key Contributions)

결합형 scaling law. 모델 크기와 데이터 사이에 상호작용 지수 $k$ 하나를 도입해 가법형 법칙의 경계 편향을 교정한다. 파라미터는 5개에서 6개로 한 개만 늘어난다.
희소 프로파일링 그리드. Skaling 의 예측 정확도가 더 효율적인 샘플링에서도 보존된다는 것을 보이고, 프로파일링 compute 를 약 10× 줄이는 “L-shape” 그리드를 제안한다.
함수형을 데이터로 먼저 검증하는 방법론. 리뷰어 입장에서 가장 값진 부분이다. 여러 함수형을 적합해 놓고 사후에 MAPE 를 비교하는 대신, 모델에 의존하지 않는 미분 추정으로 “결합이 있는가, 부호는 무엇인가” 를 먼저 확인하고 그 제약을 만족하는 형태를 설계한다. 그리고 이 미분 추정은 나중에 compute-optimal 비율을 파라메트릭 적합 없이 독립 검증하는 데 재사용된다.
결합이 최적 배분의 닫힌 형태를 바꾸지 않는다는 해석적 결과. 외부 지수 $k$ 는 단조 사상이므로 최적화 문제의 최솟값 위치를 바꾸지 않는다. Skaling 은 Chinchilla 의 닫힌 형태 compute-optimal 배분 공식을 그대로 물려받는다. 다만 적합된 계수가 달라지므로 실제 숫자는 크게 갈린다.

방법 / 아키텍처 상세

손실 표면이 실제로 결합되어 있는가

이 논문에서 가장 마음에 드는 부분은 함수형을 제안하기 전에 나온다. 어떤 형태도 가정하지 않고 측정된 run 들로부터 loss surface 의 미분을 직접 추정한다.

추정기는 moving least squares (MLS, Lancaster and Salkauskas, 1981) 다. 각 질의점 주변에서 $k$ 최근접 이웃에 거리 가중 능형 회귀로 다변수 다항식을 맞추면, 그 계수가 곧 테일러 전개의 미분항이 된다. 1차 블록이 gradient 이고, $\Delta x_{i,1}\Delta x_{i,2}$ 기저항의 계수가 우리가 원하는 혼합 편미분이다. 그리드가 로그 등간격이므로 MLS 가 주는 로그 기울기를 실공간 미분으로 변환한다.

\[\frac{\partial L}{\partial N} = \frac{L}{N} \frac{\partial \ln L}{\partial \ln N}, \qquad \frac{\partial L}{\partial D} = \frac{L}{D} \frac{\partial \ln L}{\partial \ln D}\]

이 변환은 축소 불가 오차 $E$ 를 소거하고 축소 가능 손실의 구조만 남긴다는 실용적 장점이 있다. $E$ 는 이 문헌에서 가장 식별이 어려운 파라미터라 미리 빼 두는 게 이득이다.

먼저 1차 구조를 로그-선형 진단으로 요약한다.

\[\begin{aligned} \ln\left|\frac{\partial L}{\partial N}\right| &= \alpha_N \ln N + \gamma_N \ln D + c_N, \\ \ln\left|\frac{\partial L}{\partial D}\right| &= \gamma_D \ln N + \alpha_D \ln D + c_D \end{aligned}\]

$\alpha_N, \alpha_D$ 가 같은 변수에 대한 지배적 감쇠를, $\gamma_N, \gamma_D$ 가 다른 축에 대한 잔여 의존성을 잡는다.

Figure 2: Farseer 그리드에서의 1차 미분 구조 (MLS 추정, log–log 축, 색은 교차 변수). 위 두 패널은 같은 변수 투영으로 뚜렷한 멱법칙 감쇠를 보이고, 아래 두 패널의 교차 변수 투영에서는 수평 띠가 지배적이며 cross-slope 는 작게 남는다.

결과는 $\alpha_N \approx \alpha_D \approx -1.3$ 으로 같은 변수 방향의 감쇠가 깨끗한 멱법칙이고, 교차 기울기는 $\gamma_N \approx 0.13$, $\gamma_D \approx 0.07$ 로 작다. 즉 1차만 보면 표면은 거의 분리 가능해 보인다. 저자들도 이 점을 인정한다. 1차 투영만으로는 상호작용을 기각할 수도 확인할 수도 없다.

결정적 검정은 혼합 편미분이다. 가법형 법칙 $L = f(N) + g(D) + E$ 는 $f, g$ 가 무엇이든 $\partial^2 L / \partial N \partial D = 0$ 을 항등적으로 만족한다. 반증 가능한 예측이고, 데이터가 이를 기각한다.

\[\ln\left|\frac{\partial^2 L}{\partial N \partial D}\right| = a \ln N + b \ln D + c\]

Figure 3: 혼합 편미분의 크기 (국소 이차 적합의 2차항에서, 로그 스케일). 가법형 법칙은 이 값이 0 이라고 예측하지만, 추정값은 그리드 전역에서 0 이 아니다.

추정된 혼합 편미분은 그리드 어디에서도 0 이 아니고, $a \approx b \approx -1.1$ 의 자체 멱법칙 감쇠를 따르며, 부호는 지배적으로 음수다. 음수라는 게 핵심이다. $N$ 과 $D$ 를 함께 키우면 각각을 따로 키운 효과의 합보다 손실이 더 많이 떨어진다는 뜻이고, 이 시너지는 가법형 법칙이 원리적으로 표현할 수 없다.

Skaling 형태

관측된 제약 — 음의 혼합 편미분, 작고 비대칭인 1차 교차 기울기 — 을 만족하는 최소 확장이 Skaling 이다.

\[L(N, D) = \left( \frac{A}{N^{\alpha}} + \frac{B}{D^{\beta}} \right)^{k} + E\]

파라미터 하나가 늘었을 뿐인데 성질이 꽤 좋다.

$k = 1$ 이면 순수 가법형 Chinchilla 로 정확히 환원된다. 즉 Chinchilla 는 Skaling 의 특수 사례이고, 두 법칙의 비교는 중첩 모형 (nested model) 비교다. $k \neq 1$ 이면 Kaplan 식 결합과 0 이 아닌 혼합 편미분이 되살아난다. 다만 Kaplan 과 달리 결합을 바깥 지수로 처리하므로 안쪽 지수 $\alpha, \beta$ 의 독립성은 유지된다.

$k > 0$ 인 한 함수는 $N$ 과 $D$ 양쪽에 대해 여전히 순감소다. 모델을 키우거나 데이터를 늘렸는데 예측 손실이 올라가는 병리가 구조적으로 배제된다. 그리고 $k$ 는 두 원천 항이 최종 손실로 합쳐지는 방식만 지배하므로, 각 항의 개별 해석은 그대로 살아 있다.

왜 곱셈 결합이어야 하는가

여기가 논문에서 가장 설득력 있는 논증이다. 가법형을 유지하면서 상호작용 항 하나를 덧붙이는 자연스러운 대안이 있다.

\[L = A N^{-\alpha} + B D^{-\beta} + G N^{-\mu} D^{-\nu} + E\]

이 항도 0 이 아닌 혼합 편미분을 만들 수 있다. 문제는 부호다. 이 모형에서

\[\frac{\partial^2 L}{\partial N \partial D} = \mu \nu\, G\, N^{-\mu-1} D^{-\nu-1}, \qquad \frac{\partial}{\partial N}\left( G N^{-\mu} D^{-\nu} \right) = -\mu\, G\, N^{-\mu-1} D^{-\nu}\]

관측된 음의 혼합 편미분을 맞추려면 $G < 0$ 이어야 한다. 그런데 $G < 0$ 이면 상호작용 항이 $\partial L/\partial N$ 에 양의 기여를 해서 모델 크기에 대한 단조 감소를 거스른다. 단순한 국소적 불편함이 아니다. 적합된 혼합 편미분 감쇠는 $\mu \approx 0.1$ 을 함의하는데 이는 주 크기 지수 $\alpha$ 보다 작으므로, 이 양의 기여가 주도항인 음의 항보다 더 느리게 감쇠한다. 큰 $N$ 과 작은 $D$ 에서는 결국 지배해 버려서 $\partial L/\partial N > 0$, 즉 “모델을 키우면 손실이 올라간다” 는 예측이 나온다. 반대로 $G > 0$ 을 고르면 단조성은 지키지만 혼합 편미분의 부호가 뒤집혀 원하던 시너지가 사라진다. 가법적 상호작용 항 하나로는 단조성과 시너지를 동시에 만족시킬 수 없다.

Skaling 은 상호작용을 부호 있는 별도 항이 아니라 양의 곱셈 인자로 도입하기 때문에 이 충돌을 피한다. $u = A N^{-\alpha} + B D^{-\beta}$ 라 두면 미분은 이렇게 된다.

\[\begin{aligned} \frac{\partial L}{\partial N} &= -k\, \alpha A\, N^{-\alpha-1} u^{k-1}, \\ \frac{\partial L}{\partial D} &= -k\, \beta B\, D^{-\beta-1} u^{k-1}, \\ \frac{\partial^2 L}{\partial N \partial D} &= k(k-1)\, u^{k-2}\, \alpha A N^{-\alpha-1}\, \beta B D^{-\beta-1} \end{aligned}\]

1차 미분은 $k > 0$ 인 모든 경우에 음수다. 데이터 의존성은 양의 인자 $u^{k-1}$ 을 통해서만 들어온다. 그리고 경험적으로 관련 있는 $0 < k < 1$ 구간에서는 $D$ 를 늘리면 $u$ 가 줄고 따라서 $u^{k-1}$ 이 커지므로, 이미 음수인 크기 gradient 의 크기가 더 커진다. $\partial L/\partial N$ 의 부호를 한 번도 뒤집지 않으면서 $\partial^2 L/\partial N \partial D < 0$ 을 얻는다. 이 파라미터화에서 단조성과 시너지는 구조적으로 양립한다.

같은 인자가 Figure 2 의 비대칭한 1차 기울기도 설명한다. $w_D = B D^{-\beta}/u$, $w_N = A N^{-\alpha}/u$ 를 안쪽 합에서 데이터·크기가 차지하는 몫이라 하면,

\[\begin{aligned} \gamma_N &= (1-k)\, \beta\, w_D, \qquad \gamma_D = (1-k)\, \alpha\, w_N, \\ \frac{\gamma_N}{\gamma_D} &= \frac{\beta}{\alpha} \cdot \frac{w_D}{w_N} \end{aligned}\]

이 비율은 $\beta > \alpha$ 이고 안쪽 합이 데이터 쪽으로 기울어 있을 때 1 을 넘는다. 즉 실측된 $\gamma_N \approx 0.13 > \gamma_D \approx 0.07$ 이라는 비대칭이, 별도의 왜곡된 상호작용 항 없이 결합 지수 하나에서 자연스럽게 재현된다. 형태를 데이터에 맞춘 게 아니라, 데이터가 형태를 지목한 셈이다.

L-shape 샘플링

표준 full-grid 설계는 $N$ 과 $D$ 를 로그 등간격 정사각으로 훑는다. 문제는 총 compute 가 그리드 오른쪽 위 구석에 압도적으로 몰린다는 것이다. 가장 큰 모델을 가장 오래 학습시킨 몇 개의 run 이 예산 대부분을 먹는다. 기하학적으로 이런 편중이 있으면 조밀 샘플링은 낭비다.

Skaling 형태의 수학적 구조가 대안을 지목한다. 점근적으로 보면,

\[\begin{aligned} \lim_{D \to \infty} L(N, D) &= \left( \frac{A}{N^{\alpha}} \right)^{k} + E, \\ \lim_{N \to \infty} L(N, D) &= \left( \frac{B}{D^{\beta}} \right)^{k} + E \end{aligned}\]

한 축을 키우면 다른 축의 계수가 깨끗하게 분리된다. 실제로 그 극한까지 갈 필요는 없다. 한 축만 변화시키고 다른 축을 고정하는 것만으로 해당 감쇠율을 추적할 충분한 신호가 나온다.

L-shape 전략은 이 원리를 가장 싼 스케일에서 적용한다. 가장 작은 모델들에 대해서만 데이터 양 $D$ 를 훑어 데이터 파라미터 $(B, \beta)$ 를 맞추고 (D-band), 가장 짧은 학습 horizon 에서만 모델 크기 $N$ 을 훑어 크기 파라미터 $(A, \alpha)$ 를 맞춘다 (N-band). 그리드 경계를 따라 독립적인 감쇠율을 고정하는 방식이다.

Figure 4: (N, D) 그리드의 분할. (a) 샘플링 전략 — Random 은 hold-out 을 그리드 전역에 흩뿌리고, L-shape 은 학습을 저비용 가장자리로 제한한다. (b) 교차 검증에 쓰는 평가 영역 — 보간, N 방향 외삽, D 방향 외삽, 그리고 양쪽을 모두 벗어난 far extrapolation.

평가 프로토콜

단일 train/test 분할 대신 교차 검증을 쓴다. 학습 데이터를 반복 재표본하고 대응하는 hold-out 을 구성해, 적합된 파라미터의 분산과 외삽 안정성을 함께 본다. 각 fold 에서 평가 집합은 넷으로 나뉜다.

Validation (보간): 학습 그리드 경계 안에서 무작위로 뺀 점들
Extrapolation N: 학습 집합보다 큰 모델 크기의 점들 — 더 큰 아키텍처 예측 상황
Extrapolation D: 더 큰 데이터 양의 점들 — 학습 horizon 연장 상황
Far Extrapolation: 가장 어려운 영역. 가장 큰 모델을 가장 많은 데이터로 학습시킨, $N$ 과 $D$ 경계를 모두 벗어난 점들

지표는 MAPE 다.

\[\mathrm{MAPE}(\mathcal{S}) = \frac{100}{|\mathcal{S}|} \sum_{i \in \mathcal{S}} \left| \frac{\hat{L}_i - L_i}{L_i} \right| \quad [\%]\]

$R^2$ 는 보간 집합에서만 보고한다. 외삽 집합은 점이 적고 좁은 구간을 덮어서, 분산으로 정규화하는 $R^2$ 가 불안정하고 정보가 없어지기 때문이다 (자주 매우 작거나 강하게 음수가 된다). MAPE 는 모든 영역에서 직접 비교 가능하다. 사소해 보이지만 중요한 방법론적 선택이다.

등비율 compute 외삽

교차 검증이 그리드 구석을 뺐다면, 이 실험은 실제 운영 시나리오를 흉내 낸다. Frontier lab 들은 대개 토큰 대 파라미터 비율을 고정해 놓고 1차원 compute 멱법칙으로 거대 run 을 투사한다 (DeepSeek 방식, Bi et al., 2024). 그렇다면 전역으로 한 번 적합한 법칙이 싼 저compute 데이터만으로 가장 비싼 run 을 맞힐 수 있는가?

run 을 토큰 대 파라미터 비율 $D/N$ 이 일정한 등비율 slice 로 묶고, 각 slice 에서 compute 가 가장 큰 $K = 8$ 개를 뺀다. 모든 scaling law 는 남은 저compute 점 전체 (모든 slice 의 합집합) 에 대해 단 한 번 적합하고, hold-out 된 고compute run 에서 평가한다. 강한 베이스라인으로 각 slice 안에서만 독립적으로 맞춘 단일 멱법칙 $L = A C^a + E$ (per-ratio) 도 함께 적합한다. 이 베이스라인은 특정 레시피 하나에 완전히 맞춰져 있어 $N$–$D$ 결합 배분에 대해서는 아무 말도 못 하지만, 1차원 compute 법칙이 고정 ray 를 따라 얼마나 잘 외삽할 수 있는지의 경험적 상한이 된다.

학습 목표 / 손실 함수

이 논문에서 “학습” 되는 것은 신경망이 아니라 scaling law 의 계수다. 그 적합 목적 함수와, 거기서 따라 나오는 최적 배분 유도가 이 절의 내용이다.

적합 목적 함수

파라미터가 적은데도 scaling law 적합은 놀라울 만큼 취약한 비볼록 최적화다. 저자들이 세 가지 구조적 원인을 짚는다. 첫째, 파라미터들이 서로 완전히 다른 수치 스케일에 산다. $A, B$ 는 매우 큰 값인데 $\alpha, \beta$ 는 분수라 L-BFGS 류에게 극심한 ill-conditioning 이다. 둘째, 손실이 로그적으로 줄어 최적화 지형이 매우 평평해서 조기 정지에 취약하다. 셋째, 파라미터들이 서로를 강하게 보상한다. 특히 $E$ 는 다른 계수가 쉽게 이동해 상쇄할 수 있어서 정확한 추정이 어렵고, 표면 적합값은 거의 같은데 파라미터는 전혀 다른 국소 최소해들이 넓은 골짜기를 이룬다.

대응은 로그 공간 Huber 손실 ($\delta = 0.05$) 최소화다. 로그 공간이 스케일 격차를 상당 부분 흡수한다. 최적화는 해석적 gradient (autograd) 를 쓰는 L-BFGS-B 에 basin-hopping 2000 회 재시작을 붙이고, 시작점은 유계 파라미터 공간의 Sobol quasi-random 수열에서 뽑는다. $A, B$ 는 큰 동적 범위를 흡수하도록 로그 스케일에서 최적화한다.

교차 검증으로 gradient-free 진화 전략인 BIPOP-CMA-ES (Hansen, 2016) 도 돌려 봤는데, 최종 품질은 동등하게 좋다. 차이는 실용적이다. L-BFGS 는 초기화·재시작·로그 공간 목적 함수를 조심스럽게 튜닝해야 안정적으로 그 해에 도달하는 반면, CMA-ES 는 그런 손질 없이도 같은 해에 닿는다. 논문의 모든 결과는 문헌 관행을 따라 L-BFGS-B 쪽을 쓴다.

핵심은 모든 법칙이 같은 옵티마이저와 같은 목적 함수로 적합된다는 점이다. 그래야 예측 정확도의 차이가 적합 절차가 아니라 함수형에서 온다고 말할 수 있다.

compute-optimal 배분

scaling law 의 실용적 존재 이유는 주어진 예산 $C$ 를 $N$ 과 $D$ 로 어떻게 쪼갤지 정하는 것이다. 학습 compute 를 $C = 6ND$ 로 정의하고 Skaling 손실을 이 제약 아래 최소화한다.

$D = C/(6N)$ 을 대입해 안쪽 가법항을 $N$ 만의 함수 $Z(N) = A/N^\alpha + B (C/6N)^{-\beta}$ 로 두면 목적 함수가 단순해진다.

\[L(N) = Z(N)^{k} + E, \qquad \frac{dL}{dN} = k \cdot Z(N)^{k-1} \cdot Z'(N)\]

여기가 예쁜 지점이다. $Z(N)$ 은 순양수 항들의 합이고 적합에서 일관되게 $k > 0$ 이 나오므로, 스케일 인자 $k \cdot Z(N)^{k-1}$ 은 결코 0 이 아니다. 따라서 손실 최소화는 정확히 $Z’(N) = 0$ 을 요구하는데, 이건 가법형 Chinchilla 법칙의 정상성 조건 그 자체다. 단조 사상 $x \mapsto x^k + E$ 는 손실을 재조정할 뿐 최소점의 위치를 바꾸지 않는다. Skaling 은 표현력을 얻으면서 다루기 쉬움을 잃지 않는다.

$Z’(N) = -\alpha A N^{-\alpha-1} + \beta B (6/C)^\beta N^{\beta-1} = 0$ 을 풀면 $N^{\alpha+\beta} = \frac{\alpha A}{\beta B}(C/6)^\beta$ 이고, $D^\star = C/(6N^\star)$ 을 대입하면 최적 토큰 대 파라미터 비율이 나온다.

\[R_{\text{opt}} = 6^{\frac{\beta-\alpha}{\alpha+\beta}} \left( \frac{\beta B}{\alpha A} \right)^{\frac{2}{\alpha+\beta}} C^{\frac{\alpha-\beta}{\alpha+\beta}}\]

$\alpha \approx \beta$ 이면 $C$ 의 지수가 0 이 되어 최적 비율이 스케일에 무관하게 일정해진다. Chinchilla 에서 관측되는 게 바로 이 상황이고, “파라미터당 토큰 20개” 라는 규칙이 스케일 전체에서 유지된다는 믿음의 근거다.

여기에 이 논문의 실질적 함의가 있다. 대수적 공식은 Chinchilla 와 동일한데, 적합된 $A, B, \alpha, \beta$ 가 두 함수형 사이에서 전이되지 않는다. 그래서 같은 공식이 전혀 다른 숫자를 뱉는다. Farseer 데이터에서 Skaling 은 $\alpha = 0.32 < \beta = 0.39$ 를 얻어 compute 가 커질수록 감소하는 $D^\star/N^\star$ 를 예측하고, Chinchilla 는 $\alpha = 0.27 > \beta = 0.24$ 로 거의 평평한 비율을 예측한다. 부호가 반대다.

미분 추정으로 배분을 독립 검증하기

§2 에서 만든 미분 추정이 여기서 다시 쓰인다. 고정 예산 $C = 6ND$ 에서 라그랑주 정상성 조건을 정리하면 승수가 소거되고 gradient 만의 조건이 남는다.

\[N \frac{\partial L}{\partial N} = D \frac{\partial L}{\partial D} \iff \frac{\partial \ln L}{\partial \ln N} = \frac{\partial \ln L}{\partial \ln D}\]

즉 compute-optimal 점에서는 모델 크기 1% 증가와 데이터 1% 증가가 손실에 같은 효과를 준다. 이건 제약된 정상성이라 전체 gradient 가 0 일 필요는 없다. compute 를 더 쓰면 손실은 여전히 줄어든다.

실측 데이터는 이산점이라 이 평형을 그리드에서 직접 찾을 수 없으므로, GP 사후 평균 (전역) 과 MLS (국소) 라는 두 개의 독립적인 연속 surrogate 를 만들어 두 로그 기울기의 차이가 0 이 되는 경계를 추적한다. 어떤 파라메트릭 scaling law 도 가정하지 않은 경로다.

Figure 6: 파라메트릭 적합 없이 복원한 Farseer 의 compute-optimal 토큰 대 파라미터 비율. 좌: 두 실측 최적선이 거의 평평한 Chinchilla 예측보다 Skaling 을 훨씬 가깝게 따라간다. 우: 각 실측 frontier 의 멱법칙 적합을 2×10^25 FLOPs 까지 외삽 — 실측 지수 (-0.14, -0.15) 는 Skaling (-0.11) 에 가깝고 Chinchilla (+0.03) 와는 부호가 반대다.

두 추정은 정성적으로 일치한다. 둘 다 compute 에 따라 감소하는 비율을 복원하고 Skaling 의 닫힌 형태 $R_{\text{opt}}$ 를 가깝게 따라가는 반면, Chinchilla 는 거의 평평한 비율을 예측한다. 각 실측 frontier 를 $D^\star/N^\star \propto C^m$ 로 맞추면 GP 는 $m \approx -0.14$, MLS 는 $m \approx -0.15$ 로 Skaling 의 $-0.11$ 에 가깝고 Chinchilla 의 $+0.03$ 과는 부호가 반대다. 데이터 범위를 한참 벗어난 $2 \times 10^{25}$ FLOPs 로 외삽하면 배분이 10× 넘게 갈린다. Chinchilla 는 파라미터당 토큰 약 380 개로 향하고, 실측 적합과 Skaling 은 20–40 으로 떨어진다.

학습 데이터와 파이프라인

법칙은 네 개의 사전학습 loss 측정 그리드에서 적합·평가된다.

데이터셋	규모	모델 크기	데이터 예산	compute 범위
Farseer (Li et al., 2025)	404 구성	25 크기, 100M–6.4B	55 예산, 1B–512B 토큰	1.6×10^18 – 4.1×10^21 FLOPs
SK-Grid (자체)	134 구성	15 크기, 134M–4.9B	16 예산, 316M–316B 토큰	9.0×10^16 – 9.9×10^20 FLOPs
Farseer-code	117 run	9 크기, 201M–3.18B	20 예산, 2B–128B 토큰	2.4×10^18 – 2.4×10^21 FLOPs
Chinchilla (Besiroglu et al., 2024)	245 산점	57M–16.2B	245M–318B 토큰	1.4×10^18 – 1.3×10^22 FLOPs

Farseer 에서는 세 개의 hold-out 집합을 뺀다. Extrapolation N 은 가장 큰 세 모델 크기 (4.5B–6.4B, 36점), Extrapolation D 는 남은 각 모델 크기별 상위 3개 데이터 예산 (66점), far extrapolation 은 학습 그리드 양축을 훨씬 넘어서는 추가 7개 run (2.3B–25B 파라미터, 126B–453B 토큰) 이다. 적합에 쓰이는 나머지 302개 구성이 약 $5.0 \times 10^{22}$ FLOPs 에 해당한다.

SK-Grid 는 같은 hold-out 방식으로 Extrapolation N 7점 (2.8B–4.9B), Extrapolation D 33점, 그리고 약 $10^{22}$ FLOPs 급 far extrapolation run 3개 (5.8B–10.8B 파라미터) 를 얻는다. 적합 그리드는 약 $3.1 \times 10^{21}$ FLOPs 다. Chinchilla 측정값은 정규 그리드 위에 있지 않아 full-grid 분할만 적용되고 L-shape 은 없다.

SK-Grid 의 학습 설정은 다음과 같다.

항목	값
모델 크기	14종, 134M – 4.93B (Appendix Table 7 기준)
$d_{\text{model}}$	672 → 3264
깊이	7 → 34 layers
토크나이저	Llama 3, vocab 128,256
시퀀스 길이	2048
위치 인코딩	RoPE ($\theta = 10^4$)
옵티마이저	AdamW, $(\beta_1, \beta_2) = (0.9, 0.95)$, weight decay 0.1, grad clip 0.1
LR 스케줄	cosine, warmup 10%, final LR $1 \times 10^{-6}$
데이터 혼합	DCLM-Edu 60% · code 30% · math 10%
프레임워크	Meta Lingua (Videau et al., 2024)

토큰 예산은 316M 부터 316B 까지 기하 사다리로, 십진 자릿수당 5개씩 배치한다. run 당 compute 에 상한이 있어서 큰 모델일수록 적은 예산만 학습한다. 가장 작은 모델은 16개 horizon 을 모두 덮고 가장 큰 모델은 하나의 예산만 학습해, 계단 모양 그리드가 만들어진다.

run 별 학습률과 배치 크기는 StepLaw (Li et al., 2025) 처방을 따른다. 토큰당 FLOPs $F$ 와 토큰 예산 $D$ 의 함수다.

\[\begin{aligned} B &= 896.07\, F^{0.231}, \\ \eta &= 0.0709\, F^{-0.4303} D^{0.2785} \end{aligned}\]

모든 $(N, D)$ 에서 근사 최적 하이퍼파라미터를 쓰는 게 중요하다. 그래야 측정된 손실이 하이퍼파라미터 오조정이 아니라 아키텍처의 scaling 거동을 반영한다. 저자들도 이 점을 명시적으로 경고한다. 손실 표면의 모양은 튜닝 선택에 매우 민감해서, 광범위하게 잘못 조정된 그리드는 측정되는 상호작용을 인위적으로 약화시키거나 최적 비율을 왜곡할 수 있다. 데이터셋마다 $N$–$D$ 결합 정도가 다르게 나오는 이유 중 일부는 여기에 있다.

실험 결과

Table 1: Farseer 와 SK-Grid 에서의 적합 품질과 예측 오차. full grid 와 sparse L-shape grid 각각에 대해 보간 R^2 와 네 영역의 MAPE (%, 5-fold CV 평균±표준편차) 를 보고한다.

그리드 경계에서의 오차

가장 뚜렷한 이득은 경계에서 나온다. 내부 보간은 가법형 Chinchilla 로도 이미 정확하다. 오차는 단일축 외삽과 far extrapolation 에서, 즉 Figure 1 의 안장 모양 잔차가 가장 두드러지는 곳에서 커진다.

full grid 기준으로 단일축 MAPE 가 일관되게 줄어든다. Farseer 에서 Ext. N 은 1.48 → 0.47, Ext. D 는 1.98 → 0.88 이고, SK-Grid 에서는 0.83 → 0.39, 1.44 → 0.58 이다. 가장 큰 이득은 가장 불균형한 구석에서 나온다. SK-Grid far extrapolation 은 full grid 에서 5.17 → 0.70 (약 7.4× 감소), L-shape 에서는 14.63 → 1.15 (약 12.7× 감소) 다. L-shape 의 최대-$N$ 외삽 오차도 6.09 → 0.77 로 떨어진다.

희소 프로파일링

L-shape 그리드는 full grid 대비 Farseer 에서 약 10× (5.0×10^22 → 5.1×10^21 FLOPs), SK-Grid 에서 약 4.8× (3.1×10^21 → 6.5×10^20 FLOPs) 적은 적합 compute 를 쓴다.

이 제약 아래에서 두 법칙의 거동이 갈린다. Skaling 은 보간과 단일축 외삽에서 full-grid Chinchilla 베이스라인에 근접하거나 그보다 낫다. Chinchilla 는 같은 제약에서 크게 무너진다. Farseer 보간 MAPE 가 0.77 → 2.51 로, SK-Grid far extrapolation 이 5.17 → 14.63 으로 뛴다.

방향이 중요하다. 결합형은 학습 그리드가 저compute 가장자리에 집중되어도 예측 정확도를 유지하는데, 이건 희소 프로파일링 전략이 성립하기 위한 바로 그 조건이다. 가법형은 그 조건에서 쓸 수 없다.

보간 품질은 충분조건이 아니다

이 논문에서 가장 널리 적용될 만한 교훈이다. Chinchilla 는 full grid 에서 강한 보간 $R^2$ 를 얻는다 (Farseer 0.995, SK-Grid 0.992). 그런데 같은 적합의 경계 외삽 오차는 Skaling 의 몇 배다.

즉 실패 모드는 “내부를 잘못 맞췄다” 가 아니라 “손실 표면이 관측 영역 바깥으로 휘는 방식을 계통적으로 잘못 예측한다” 이다. $R^2$ 는 이 결함에 대해 아무것도 말해 주지 않는다. scaling law 를 고를 때 보고되는 적합 품질만 보는 건 위험하다.

적합된 계수

Table 2: Table 1 뒤의 적합 계수 (5-fold CV 평균±표준편차). Chinchilla 는 Skaling 의 k=1 특수 사례이고, 9-파라미터 Farseer 법칙은 생략되었다.

왜 경계 예측이 좋아지는지는 계수가 설명한다. 네 그리드 전부에서 Skaling 은 가법형 $k = 1$ 로 붕괴하지 않고 1 미만의 결합 지수 $k \approx 0.31$–$0.45$ 를 복원한다. 데이터가 실제로 결합되어 있다는 §2 의 진단과 독립적으로 일치하는 증거다.

적합된 축소 불가 손실 $E$ 는 Chinchilla 보다 계통적으로 낮다. Farseer 에서는 거의 사라진다 (full grid 0.45 → 0.03, L-shape 0.59 → 0.05). SK-Grid 에서는 여전히 상당하다 (1.75 → 1.14).

여기서 저자들이 스스로 브레이크를 거는데, 나는 이 절제가 논문의 신뢰도를 크게 높인다고 본다. $E \approx 0$ 을 “손실 바닥이 없다” 로 읽어서는 안 된다. 손실이 평평해지는 방식을 결정하는 두 양, 결합 $k$ 와 바닥 $E$ 는 서로 상쇄 관계다. $k < 1$ 이면 오목한 바깥 사상 때문에 결합된 축소 가능 항이 큰 스케일에서 더 천천히 감쇠하므로, 가법형이라면 상수 $E$ 로만 표현할 수 있었던 곡률을 흡수할 수 있다. 어느 run 도 손실이 포화하는 스케일에 도달하지 않았기 때문에, 데이터는 총 손실은 고정하지만 “감쇠항 대 상수” 의 분해는 고정하지 못한다. Skaling 은 그 모호성을 $E$ 를 0 쪽으로 밀어서 해소한 것이고, 그게 물리적 진실이라는 보장은 없다.

$E$ 를 제외하면 나머지 파라미터는 각 적합 안에서 정밀하게 결정된다. fold 간 표준편차가 지수와 결합은 수 퍼센트, 진폭은 최대 약 40% 수준이다.

파라미터를 더 넣는 것으로는 해결되지 않는다

Farseer 법칙은 9개 파라미터로 자유도가 훨씬 많은데도 경계 실패를 없애지 못한다. Table 1 대부분의 영역에서 Skaling 보다 부정확하고, 최대 오차가 데이터 외삽에 집중된다 (Farseer full grid 4.13, SK-Grid full grid 4.45). 이득이 파라미터 수의 부산물이 아니라 관측된 $N$–$D$ 상호작용에 맞는 귀납 편향을 가진 함수형에서 온다는 증거다.

물론 차이의 일부는 표현력이 큰 형태가 적합하기 더 어렵다는 데서 올 수 있다. 저자들은 Farseer 자체 파이프라인을 포함해 여러 옵티마이저를 시도했지만 실질적으로 더 나은 적합을 얻지 못했고, 얻은 것 중 최선을 보고한다고 밝힌다. 이 정직한 각주는 뒤에서 다시 다룬다.

결합이 약하면 이득도 약하다

관측된 결합이 가법형에 가까울수록 이득은 줄어든다. Farseer-code 와 원 Chinchilla 측정값에서는 적합된 결합이 훨씬 가법형에 가깝고 ($k \approx 0.77$–$0.90$), Skaling 도 그에 맞춰 대략 Chinchilla 수준의 정확도를 보인다.

이건 결함이 아니라 중첩 형태의 예상된 거동이다. $k = 1$ 에서 Chinchilla 가 복원되므로, 데이터가 결합된 표면을 지지할 때만 Skaling 이 가법형에서 멀어지고 그렇지 않으면 가까이 머문다. 모형이 스스로 “여기서는 내가 필요 없다” 고 말할 수 있다는 뜻이라 오히려 좋은 성질이다.

compute 외삽

이 실험은 앞선 교차 검증과 성격이 다르다. 그리드 구석을 빼는 대신, 각 레시피에서 가장 비싼 run 을 싼 run 으로부터 예측한다.

Skaling 은 모든 영역과 전체에서 최고의 전역 법칙이다 (pooled MAPE 0.60±0.27%, 가법형 Chinchilla 의 2.34 대비 3.9× 감소이며 훨씬 파라미터가 많은 Farseer 의 0.80 보다도 낮다). 그리고 가장 안정적이다. 어떤 영역에서도 오차가 0.9% 를 넘지 않는다.

Chinchilla 는 반대로 영역 의존성이 심하다. optimal 대역에서 모든 법칙 중 가장 약해 3.47% 인데 ($R^2$ 는 0.47 까지 떨어진다), pooled 수치 2.34% 가 이 실패를 부분적으로 가린다. 영역별로 쪼개 보지 않으면 안 보이는 결함이다.

Skaling 을 앞서는 유일한 참조는 per-ratio 멱법칙이고, 그것도 최적점 근처에서만이다 (0.77 대 0.88%). 이 베이스라인은 slice 마다 따로 적합되므로 결합 $N$–$D$ 배분에 대해서는 아무 정보를 주지 못한다. 1차원 법칙이 고정 ray 위에서 잘 동작하는 건 자연스러운 일이다.

추가 데이터셋

Farseer-code (117 run) 와 원 Chinchilla 측정값 (245점) 에서도 같은 프로토콜을 반복한다. 패턴은 유지된다. Skaling 은 $k < 1$ 과 Chinchilla 보다 작은 $E$ 를 적합하지만, 여기서 결합은 더 약하고 ($k \approx 0.77$–$0.90$) 정확도 이득도 그만큼 섞인다.

정직하게 짚을 부분이 있다. 원 Chinchilla 측정값에서 Ext. N 은 Chinchilla 법칙이 더 낫다 (1.16 대 Skaling 1.28). 같은 데이터셋의 Ext. D 는 Skaling 이 낫고 (0.51 대 0.63) 보간은 사실상 동률이다 (0.61 대 0.63). Skaling 이 모든 데이터셋의 모든 영역에서 이기는 건 아니다.

결과 분석 / Ablation

dominated-pair 적합 — 논문에서 가장 중요한 자기비판

Appendix F 가 가장 흥미로운 ablation 이고, 본문이 이 결과를 다소 과소평가한다고 본다.

앞서 반복된 어려움은 $E$ 가 약하게만 식별된다는 것이었다. 내부 점들은 $E$ 를 잘 제약하지 못하고 다른 계수들이 이동해 흡수한다. dominated-pair 적합은 $E$ 를 목적 함수에서 통째로 제거한다. 구성 $i$ 가 $j$ 를 지배하는 (모델도 크고 데이터도 많고 손실은 더 낮은) 순서쌍마다 손실 차를 취하면 상수 바닥이 소거된다.

\[L_j - L_i = \left( A N_j^{-\alpha} + B D_j^{-\beta} \right)^{k} - \left( A N_i^{-\alpha} + B D_i^{-\beta} \right)^{k}\]

모든 쌍별 차이에 대해 형태 파라미터 $(A, B, \alpha, \beta, k)$ 를 적합한 뒤, 바닥은 잔차의 중앙값으로 따로 복원한다. 축소 가능한 모양과 상수 오프셋을 분리하는 방식이다.

결과가 흥미롭다. 이 교정은 주로 가법형 Chinchilla 를 위한 것으로 작동한다. Chinchilla 의 far extrapolation 오차가 full grid 에서 Farseer 2.46% → 0.79%, SK-Grid 5.17% → 3.67% 로 떨어진다. 반면 Skaling 에는 일관된 개선을 주지 못한다.

여기서 주목할 지점. Farseer full grid 의 far extrapolation 에서 Chinchilla + dominated-pair (0.79) 가 Skaling (2.32) 을 앞선다. 즉 그 영역에 한해서는 함수형을 바꾸지 않고 적합 절차만 고쳐도 결합형보다 나은 결과가 나온다. 이는 “형태 대 절차” 라는 논문의 프레이밍을 다소 흐린다. 물론 SK-Grid full grid 에서는 Chinchilla + dominated-pair 3.67 대 Skaling 0.70 으로 Skaling 이 여전히 압도적이고, Farseer L-shape 에서도 7.84 대 1.57 로 Skaling 이 크게 앞선다. 그래서 결론이 뒤집히지는 않지만, “Chinchilla 외삽 오차의 상당 부분은 $E$ 의 약한 식별에서 온다” 는 저자들 자신의 진단은 진지하게 받아들일 가치가 있다.

배분 방향은 보편적이지 않다

결합이 큰 스케일에서 배분을 바꾼다는 것은 여러 증거로 뒷받침되지만, 어느 방향으로 바꾸는지는 데이터셋 의존이다.

Farseer 에서 Skaling 은 $\alpha < \beta$ 를 적합해 compute 증가에 따라 감소하는 $D^\star/N^\star$ 를 예측하고, 이는 GP·MLS 실측 추정 (-0.14, -0.15) 과 부호가 맞는다. 그런데 SK-Grid 에서는 full grid 와 L-shape 모두 $\alpha > \beta$ 라서 같은 닫힌 공식이 compute 에 따라 증가하는 비율을 예측한다.

따라서 견고한 결론은 “결합이 큰 스케일의 배분을 바꾼다” 까지이고, “토큰 대 파라미터 비율은 compute 와 함께 줄어들어야 한다” 는 그보다 약하다. 후자는 Farseer 데이터와 그 학습 레시피에 대한 진술이다. 논문도 이 점을 명확히 밝힌다.

한계와 비판적 평가

저자가 인정한 한계

결합이 약한 데이터셋 (Farseer-code, 원 Chinchilla 측정값) 에서는 $k$ 가 0.77–0.90 으로 1 에 가깝고, Skaling 의 이득도 대부분 사라진다.
최적 배분의 변화 방향이 데이터셋·아키텍처에 따라 갈린다 (Farseer 는 감소, SK-Grid 는 증가).
하이퍼파라미터 정책이 관측되는 $N$–$D$ 결합 자체를 바꿀 수 있다. 잘못 조정된 그리드는 상호작용을 인위적으로 약화시키거나 최적 비율을 왜곡한다. 따라서 데이터셋 간 비교는 본질적으로 각 그리드의 레시피 차이를 반영한다.
$E \approx 0$ 은 손실 바닥의 소멸로 읽으면 안 된다. $k$ 와 $E$ 가 상쇄하고, 어떤 run 도 포화 스케일에 도달하지 않았다.

리뷰어 관점의 추가 한계

형태와 절차의 기여 분리가 완전하지 않다. 위에서 짚었듯 Farseer full grid 의 far extrapolation 에서는 dominated-pair 적합만으로 Chinchilla 가 Skaling 을 앞선다. “결합형이 필요하다” 와 “$E$ 를 제대로 식별하면 된다” 를 완전히 갈라내려면, 두 교정을 요인 설계로 교차한 표가 본문에 있어야 한다. 현재는 부록에만 있고 본문 논의에서 이 비교가 빠져 있다.
통계적 유의성 검정이 없다. 5-fold CV 의 표준편차는 보고하지만 검정은 없다. Farseer 베이스라인은 fold 간 분산이 매우 커서 (Ext. D 4.13±1.36, Far 2.43±1.93, L-shape Ext. N 2.07±1.72) 평균만으로 순위를 매기기 어려운 구간이 있다. Skaling 대 Chinchilla 의 경계 격차는 그 자체로 충분히 크지만, Skaling 대 Farseer 비교는 훨씬 약하다.
Farseer 베이스라인이 자기 조건에서 평가되지 않았다. 저자들 스스로 Farseer 원 파이프라인은 연속 $D$ 차분에 의존하는데 L-shape 과 CV hold-out 이 그 차분 구조를 깨서 직접 최적화로 통일했다고 밝힌다. 방법론적으로 옳은 선택이지만, 여기서 보고된 Farseer 성능이 원 논문 조건에서의 Farseer 성능은 아니다.
재현이 불가능하다. SK-Grid 는 내부 run 이고 코드도 공개되어 있지 않다. Farseer 와 Chinchilla 그리드는 공개 데이터라 그 부분은 검증 가능하지만, 논문 결론의 상당 부분 (가장 강한 far-extrapolation 이득) 이 SK-Grid 에서 나온다.
SK-Grid 구성 수가 본문과 부록에서 어긋난다. §4.1 은 “15개 모델 크기에 걸친 134 구성” 이라 하고 §E.1 과 Table 7 은 “14개 모델 크기, 125 run” 이라 한다 (Table 7 의 예산 열 합계도 125 다). 어느 집합이 적합에 쓰였는지 불명확하다.
외삽 주장의 사정거리가 데이터보다 훨씬 멀다. 검증된 far extrapolation 의 최대 규모는 Farseer 의 25B 파라미터 run 이고, Farseer 적합 그리드의 compute 상한은 $4.1 \times 10^{21}$ FLOPs 다. Figure 6 은 $2 \times 10^{25}$ FLOPs 까지 외삽해 “Chinchilla 는 파라미터당 380 토큰, Skaling 은 20–40” 이라는 10× 격차를 제시하는데, 그 지점은 적합 데이터 상한보다 세 자릿수 이상 바깥이다. 부록 본문이 이를 “데이터보다 한 자릿수 바깥” 이라고 적은 것은 Figure 6 자체의 가로축과도 맞지 않는다. 그 구간에서는 두 법칙 모두 틀릴 수 있고, 논문의 어떤 실험도 그 영역을 검증하지 않는다.
보간 이득의 실용적 의미가 논증되지 않았다. full grid 보간 MAPE 0.77% → 0.41% 는 상대적으로 크지만 둘 다 1% 미만이다. 이 차이가 실제 예산 배분 결정을 바꾸는지는 별도 논증이 필요하다. 경계 외삽 (5.17% → 0.70%) 은 이야기가 다르고, 논문의 실질적 가치는 거기 있다.
결합이 다른 축으로 일반화되는지는 미검증이다. 결론에서 이 결합 동역학이 다른 scaling 축에도 적용될 것이라 기대한다고 밝히지만, 데이터 혼합·반복 데이터·distillation 등에서의 검증은 없다.

시사점 / Takeaways

scaling law 를 고를 때 보간 $R^2$ 는 사실상 쓸모없는 지표다. Chinchilla 는 SK-Grid 에서 보간 $R^2 = 0.992$ 를 얻으면서 같은 적합의 far extrapolation 은 5.17% 틀린다. 법칙의 목적이 관측 영역 밖 예측이라면 평가도 거기서 해야 한다. 논문이 보고하는 적합 품질만 보고 신뢰도를 판단하지 말 것.
함수형을 고르기 전에 데이터에서 미분을 직접 추정해 보는 건 싸고 강력하다. MLS/GP 로 혼합 편미분을 추정하는 데 새 run 이 한 개도 필요 없다. 이미 가진 loss 측정값이면 된다. 그리고 “가법형은 이 값이 0 이라고 예측한다” 는 명확히 반증 가능한 진술이라, 함수형 선택이 취향 문제에서 검정 가능한 가설로 바뀐다.
scaling 실험 예산의 대부분은 그리드 오른쪽 위 구석이 먹는다. L-shape 이 통한다면 예산 배분이 근본적으로 달라진다. Farseer 기준 10× 절감은 “scaling law 를 하나 얻는 데 드는 비용” 을 다른 등급으로 옮긴다. 단 이건 결합형 법칙과 짝지어야 성립한다. 같은 그리드에서 Chinchilla 는 크게 무너진다.
$k < 1$ 은 “모델과 데이터를 같이 키우면 따로 키운 합보다 손실이 더 떨어진다” 는 시너지의 최소 표현이다. 직관적으로 당연해 보이는 이 사실이 표준 함수형에는 표현조차 되어 있지 않았다는 게 이 논문의 핵심 관찰이다.
적합된 $E$ 를 물리량으로 읽지 말 것. 저자들이 자기 결과에 대해 직접 경고한 부분이다. $k$ 와 $E$ 는 서로 상쇄하고, 손실이 포화하는 스케일까지 학습해 보지 않은 이상 데이터는 그 분해를 결정하지 못한다. 논문에서 “축소 불가 손실이 X” 라는 수치를 볼 때마다 어떤 함수형에서 나온 값인지 확인해야 한다.
파라미터를 더 넣는 건 답이 아니다. 9-파라미터 Farseer 법칙이 6-파라미터 Skaling 보다 대부분의 영역에서 부정확하고, 오차가 데이터 외삽에 집중된다. 중요한 건 자유도가 아니라 데이터의 실제 구조와 맞는 귀납 편향이다.

참고 자료

논문: https://arxiv.org/abs/2608.07222
Meta Lingua — SK-Grid 학습에 쓰인 최소 PyTorch LLM 학습 라이브러리: https://github.com/facebookresearch/lingua
Farseer 그리드 (공개 run): https://arxiv.org/abs/2506.10972

더 읽어보기

Scaling Laws for Neural Language Models (Kaplan et al., 2020) — Skaling 이 되살리려는 결합형의 원조. 바깥 지수로 두 축을 묶지만 안쪽 지수를 비율로 고정해 축별 감쇠율의 독립성을 잃는다.
Training Compute-Optimal Large Language Models (Hoffmann et al., 2022) — 이 논문이 일반화하는 가법형 Chinchilla 법칙과 “파라미터당 토큰 20개” 규칙의 출처.
Predictable Scale: Part II, Farseer: A Refined Scaling Law in Large Language Models (Li et al., 2025) — 9개 파라미터로 $N$–$D$ 상호작용을 표현하는 경쟁 형태이자, 이 논문의 주 실험 그리드 제공자.
Distillation Scaling Laws (Busbridge et al., 2025) — 가장 가까운 선행 연구. 동일한 untied outer-exponent 형태를 distillation scaling law 안의 supervised 항으로 쓰지만, 그로 인한 $N$–$D$ 상호작용 자체를 연구하지는 않는다.
Resolving Discrepancies in Compute-Optimal Scaling of Language Models (Porian et al., 2024) — Kaplan 과 Chinchilla 의 불일치를 적합 절차로 설명하는 계열의 대표 연구. 이 논문이 “형태 자체가 문제” 라고 반박하는 대상.