창발적 능력 (Emergent Abilities)

창발적 능력은 작은 모델에서는 거의 보이지 않던 능력(복잡한 추론, 다단계 지시 따르기 등)이 모델 규모가 어느 임계점을 넘어서면 갑자기 뚜렷하게 나타나는 현상을 가리킨다. 다만 최근에는 실제 '갑작스러운 도약'이라기보다 평가 지표 설계에 따른 착시라는 반론도 함께 제기된다.

모델 규모별 성능 변화를 논의하거나, 작은 모델의 결과만으로 더 큰 모델의 능력을 예측하기 어렵다는 점을 설명할 때 이 개념이 쓰인다.

이미 검증된 특정 모델 하나의 성능을 평가하는 상황에는 이 개념을 끌어올 필요가 없다.

직접 연결되진 않지만, 작은 모델로는 잘 풀지 못하던 복잡한 다단계 작업을 더 큰 모델에서는 갑자기 잘 해내는 경우를 접하면 이 개념과 연결지어 이해할 수 있다.

여러 단계를 거치는 복잡한 문제를 작은 모델은 거의 풀지 못하다가, 모델 규모가 커지면서 갑자기 풀이 능력이 나타나는 사례가 관련 연구에서 보고된 바 있다.