지식 증류 (Knowledge Distillation)

성능이 뛰어난 대형 '교사' 모델의 출력이나 판단 패턴을 학습 데이터로 삼아, 훨씬 작은 '학생' 모델이 비슷한 성능을 흉내 내도록 학습시키는 기법이다. 처음부터 작은 모델을 새로 학습시키는 것보다 효율적이어서, 스몰 랭귀지 모델을 만드는 핵심 기법 중 하나로 쓰인다.

대형 모델의 성능은 유지하면서 응답 속도를 높이거나 서빙 비용을 낮추기 위해 작은 모델을 만들고 싶을 때 쓴다.

대형 모델을 그대로 서빙해도 비용·속도 문제가 없다면 굳이 증류 과정을 거칠 필요가 없다.

직접 연결되진 않지만, 여러 크기의 모델 라인업(경량 모델과 상위 모델)을 함께 제공하는 흐름을 이해하는 데 도움이 되는 개념이다.

대형 모델이 생성한 수많은 질문-답변 쌍을 학습 데이터로 삼아 작은 모델을 학습시키는 것이 지식 증류의 전형적인 방식이다.