믹스처 오브 엑스퍼트 (Mixture of Experts, MoE)

MoE는 모델 전체를 하나의 거대한 신경망으로 쓰는 대신, 내부에 여러 개의 작은 '전문가' 서브네트워크를 두고 입력마다 그중 일부만 골라 계산에 사용하는 구조다. 전체 파라미터 수는 크지만 실제로 매 순간 쓰이는 연산량은 작아서, 성능은 대형 모델급이면서 추론 비용은 낮출 수 있다.

대형 모델급 성능을 내면서도 추론 비용은 낮추고 싶은 모델 설계·선택 상황에서 고려하는 구조다.

모델을 직접 만들지 않고 API로 가져다 쓰는 입장이라면 MoE인지 아닌지는 몰라도 사용에 큰 지장이 없다.

직접 연결되진 않지만, 어떤 모델이 MoE 구조인지 알면 왜 특정 모델이 더 저렴하면서도 성능이 좋은지 이해하는 데 도움이 된다.

GPT-4 이후 여러 프론티어 모델이 이 구조를 채택했다고 알려져 있다.