모델 붕괴 (Model Collapse)

모델 붕괴는 새 모델을 학습시킬 때 쓰는 데이터의 상당 부분이 이전 AI 모델이 만든 합성 데이터로 채워지면서, 세대를 거듭할수록 모델이 흔한 패턴에만 치우치고 드물지만 중요한 정보(롱테일)를 잃어버리는 현상이다. 인터넷에 AI 생성 콘텐츠 비중이 늘면서 실제 우려로 떠올랐다.

학습 데이터에 AI 생성 콘텐츠가 얼마나 섞여 있는지 점검하거나, 여러 세대에 걸쳐 모델을 재학습시키는 파이프라인을 설계할 때 이 위험을 고려해야 한다.

사람이 직접 검수·필터링한 소규모 고품질 데이터셋만 쓰는 경우에는 이 위험이 상대적으로 크지 않다.

직접 연결되진 않지만, 웹에서 자료를 검색해오는 작업을 시킬 때 그 결과물 중 상당수가 AI 생성 콘텐츠일 수 있다는 점을 감안하면 이 개념과 맞닿아 있다.

인터넷에 AI 생성 텍스트 비중이 늘면서, 다음 세대 모델이 사람이 아니라 이전 AI 모델의 결과물을 학습 데이터로 삼게 될 위험이 우려로 제기된다.