AI 용어 사전

길어진 대화 기록을 요약본으로 바꿔 컨텍스트 창을 비우고 작업을 이어 가는 기법.

모델 출력의 무작위성을 조절하는 값으로, 낮으면 일관되고 높으면 다양해진다.

일정 시간 동안 보낼 수 있는 요청 수와 토큰 양에 거는 API 사용 한도.

급하지 않은 요청을 한꺼번에 묶어 비동기로 처리하고 대신 가격을 깎아 주는 호출 방식.

응답이 완성되길 기다리지 않고 생성되는 토큰을 실시간으로 조금씩 받아 보여 주는 방식.

다음 낱말을 확률 분포에서 어떻게 뽑을지 정하는 규칙. temperature·top-p가 여기 속한다

글자를 모델이 읽는 토큰으로 쪼개는 규칙. 언어마다 효율이 다르다

클라우드 없이 기기 안에서 직접 추론하는 AI

답을 내는 순간에 더 많은 연산을 투입해 품질을 높이는 기법

작은 모델이 먼저 초안을 쓰고 큰 모델이 검증해 속도를 높이는 기법

AI 사용량을 토큰 단위로 계량해 값을 매기는 경제 구조

학습이 끝난 모델을 실제로 실행해 답을 뽑아내는 과정

LLM이 텍스트를 처리하는 최소 단위. 비용·길이의 기준.

반복되는 프롬프트 앞부분을 캐시해 비용·지연을 크게 줄이는 기법.