AI 용어 사전

한 가지 일이 아니라 사람처럼 폭넓게 배우고 풀어내는 AI. 정작 무엇을 AGI라 부를지는 합의가 없다

오늘날 거의 모든 대형 AI가 쓰는 신경망 구조. 핵심은 어텐션

방대한 텍스트로 학습해 "다음에 올 말"을 확률로 고르는 모델

학습으로 값이 정해지는 모델 내부의 숫자. 흔히 말하는 "70B"가 이 개수다

답변에 점수를 매겨 학습을 이끄는 보조 모델. RLHF의 심판 역할

모델끼리 같은 조건에서 비교하기 위해 정해둔 표준 문제집

가중치가 공개되어 직접 내려받아 돌릴 수 있는 모델

한 국가가 자국 데이터·인프라로 독자적으로 구축하는 AI 역량

답하기 전에 스스로 오래 생각하는 과정을 거치는 모델

적은 연산으로도 특정 작업을 잘 해내는 소형 언어모델

질문마다 모델 안의 일부 '전문가'만 골라 쓰는 구조

텍스트 외에 이미지·음성·영상까지 함께 이해·생성하는 모델

노이즈를 점점 걷어내며 이미지·영상을 만들어내는 생성 방식

이미지 생성 방식을 응용해 텍스트를 병렬로 만들어내는 언어모델

물리 세계가 어떻게 변화하는지 내부적으로 시뮬레이션하는 모델

당대 가장 크고 성능이 앞선 최상위 AI 모델

이미지를 보고 언어로 설명·판단하는 모델

질문의 난이도에 따라 빠른 모델과 깊이 생각하는 모델을 자동 선택

모델 전체가 아닌 일부만 효율적으로 조정하는 경량 파인튜닝 기법

4비트로 양자화한 모델 위에 LoRA를 적용하는 초경량 파인튜닝

모델 숫자의 정밀도를 낮춰 크기와 연산량을 줄이는 기법

큰 모델(교사)의 능력을 작은 모델(학생)에 압축해 옮기는 기법

사람의 선호도 평가를 보상 삼아 모델을 학습시키는 방법

별도 보상 모델 없이 선호도 데이터로 직접 모델을 학습시키는 방법

수학·코드처럼 정답이 명확한 문제에 이진 보상을 주는 학습법

모델 크기·데이터·연산을 늘릴수록 성능이 예측 가능하게 좋아진다는 경험 법칙

모델 규모가 일정 수준을 넘으면 갑자기 나타나는 새로운 능력

AI가 만들어낸, 실제 사람이 생성하지 않은 학습용 데이터

AI가 만든 데이터로 반복 학습하면 성능이 점점 나빠지는 현상

이미 학습된 모델을 내 데이터로 더 학습시켜 분야·형식에 맞추는 것