회귀 평가 (Regression Eval)

AI 용어

프롬프트나 모델을 바꿀 때 기존에 잘 되던 케이스가 깨지지 않았는지 다시 돌려 확인하는 평가.

#평가#테스트#품질 관리

정의

프롬프트·모델·검색 설정을 바꿀 때마다 고정된 테스트 케이스 묶음을 다시 실행해, 이전에 통과하던 것이 여전히 통과하는지 확인하는 평가. 소프트웨어의 회귀 테스트를 LLM 출력에 적용한 것이다.

운영 중인 프롬프트를 수정하거나 모델 버전을 올릴 때. 한 문제를 고치면 다른 곳이 깨지는 일이 반복될 때.

무엇이 좋은 출력인지 기준이 아직 없는 탐색 단계. 케이스가 낡았는데 통과율만 보고 안심하는 것도 역효과다.

"프롬프트를 바꾸기 전에 평가 스크립트를 돌려 기준 점수를 기록하고, 수정 후 다시 돌려 비교해줘"라고 지시한다. 훅이나 CI에 평가 실행을 걸어 두면 빠뜨리지 않는다.

요약 프롬프트 수정 → 고정 50개 케이스 재실행 → 통과 46건에서 42건으로 하락 → 새로 깨진 4건 확인 후 수정 되돌림.

{{변경 내용}} 적용 전후로 {{평가 셋}}을 돌려 통과율을 비교하고, 새로 실패한 케이스만 원인과 함께 표로 정리해줘.

jt · via term-writer · 복사 0 · KO