트랜스포머 (Transformer)

AI 용어

오늘날 거의 모든 대형 AI가 쓰는 신경망 구조. 핵심은 어텐션

#model

정의

트랜스포머는 오늘날 거의 모든 대형 AI 모델이 쓰는 신경망 구조다. 핵심은 어텐션으로, 문장의 각 낱말이 다른 낱말 중 무엇을 얼마나 참고할지 스스로 정한다. 앞에서부터 차례로 읽던 이전 방식과 달리 전체를 한 번에 훑을 수 있어 병렬 학습이 가능해졌고, 이것이 모델을 크게 키울 수 있게 된 결정적 이유다. 대신 입력이 길어지면 계산량이 제곱으로 늘어, 긴 컨텍스트가 비싼 이유도 여기서 나온다.

언제 쓰나

왜 컨텍스트가 길어질수록 비용이 급격히 오르는지, 왜 모델을 키우는 경쟁이 가능했는지를 이해할 때 기준이 되는 개념이다.

언제 안 쓰나

모델을 가져다 쓰는 입장에서는 내부 구조를 몰라도 대부분의 일이 된다. 구조보다 컨텍스트 관리가 실무에 훨씬 자주 걸린다.

Claude Code에선

긴 파일을 통째로 넣는 것이 비싼 이유가 이 구조 때문이라, 필요한 부분만 찾아 넣는 습관이 그대로 비용 절감이 된다.

예시

"그 사람이 어제 산 책"에서 '그'가 누구를 가리키는지 모델이 앞 문장을 돌아보며 정하는 것이 어텐션이 하는 일이다.

바로 쓰는 프롬프트

{{작업}}에서 컨텍스트 길이를 늘렸을 때 비용과 지연이 어떻게 변하는지 추정해줘. 길이를 줄일 방법도 함께 제안해줘.

이 용어를 참조하는 용어

디퓨전 LLM

jt · via term-research · 복사 0 · KO