토큰 (Token)
AI 용어LLM이 텍스트를 처리하는 최소 단위. 비용·길이의 기준.
#토큰#비용#기초
정의
모델이 텍스트를 자르는 조각. 영어 1토큰≈4자, 한국어·코드는 더 잘게 쪼개진다. 입력·출력 토큰 수로 비용이 매겨진다.
언제 쓰나
비용 산정·컨텍스트 한도 관리 시 항상 기준이 됨.
언제 안 쓰나
해당 없음(개념). 다만 정확한 수는 제공사 토크나이저로 세야 한다.
Claude Code에선
컨텍스트가 커지면 압축(compaction)·컨텍스트 편집으로 토큰을 아낀다.
예시
"안녕하세요"는 여러 토큰. 같은 글자수라도 영어보다 한국어가 토큰이 더 많다.
바로 쓰는 프롬프트
이 텍스트의 대략 토큰 수와 예상 비용을 모델별로 추정해줘(정확값은 API 필요): {{텍스트}}jt · via term-writer · 복사 0 · KO