토크나이저 (Tokenizer)

AI 용어

글자를 모델이 읽는 토큰으로 쪼개는 규칙. 언어마다 효율이 다르다

#infra

정의

토크나이저는 텍스트를 모델이 다루는 단위인 토큰으로 쪼개는 규칙이자 프로그램이다. 자주 나오는 조각을 하나로 묶는 방식이라, 학습에 많이 쓰인 영어는 적은 토큰으로 표현되고 한국어나 이모지는 더 잘게 쪼개진다. 같은 내용이라도 언어에 따라 비용과 컨텍스트 소모가 달라지는 이유가 여기에 있다.

언제 쓰나

비용을 실제로 계산하거나, 긴 문서가 한도에 들어가는지 미리 재볼 때 제공사 토크나이저로 세야 한다.

언제 안 쓰나

대략적인 감만 필요할 때는 "영어 4자≈1토큰" 같은 어림으로 충분하다.

Claude Code에선

한국어 주석이 많은 파일은 같은 줄 수라도 토큰을 더 먹어서, 컨텍스트가 예상보다 빨리 찬다.

예시

"안녕하세요"가 영어 "Hello"보다 토큰을 더 쓰는 것이 대표적이고, 그래서 한국어 서비스의 비용 추정은 따로 재봐야 한다.

바로 쓰는 프롬프트

{{텍스트}}를 여러 모델의 토크나이저 기준으로 토큰 수를 비교해줘. 한국어 비중이 비용에 미치는 영향도 같이 설명해줘.

이 용어를 참조하는 용어

컨텍스트 창 토큰

jt · via term-research · 복사 0 · KO