스케일링 법칙 (Scaling Laws)

스케일링 법칙은 모델 파라미터 수, 학습 데이터 양, 투입 연산량을 늘릴수록 모델 성능이 일정한 패턴으로 향상된다는 것을 관찰한 경험적 법칙이다. '더 크게 만들면 더 좋아진다'는 업계의 전략적 근거가 됐지만, 최근에는 추론 단계에서 연산을 늘리는 테스트 타임 컴퓨트 같은 새로운 축도 함께 주목받고 있다.

모델 개발 전략을 세우거나, 더 큰 모델을 학습시킬 가치가 있는지 판단할 때 이 법칙을 근거로 삼는다.

이미 나온 모델을 어떻게 잘 쓸지(프롬프트 엔지니어링, 파인튜닝) 논의할 때는 스케일링 법칙보다 다른 실무적 개념이 더 적합하다.

직접 연결되진 않지만, 최근 모델들의 성능 향상 배경을 이해하는 데 도움이 되는 개념이며, 테스트 타임 컴퓨트처럼 추론 단계에서 연산을 늘리는 흐름과 함께 이해하면 좋다.

모델 크기를 키울수록 성능이 예측 가능하게 좋아진다는 관찰이 여러 대형 언어모델 개발의 전략적 근거로 쓰여왔다.