청킹 (Chunking)
AI 용어긴 문서를 검색·임베딩하기 좋은 크기의 조각으로 나누는 RAG 전처리 단계.
#RAG#전처리#색인
정의
문서를 일정 크기의 조각(청크)으로 잘라 각각 임베딩하고 색인하는 작업. 조각이 너무 크면 관련 없는 내용이 섞여 검색 정밀도가 떨어지고, 너무 작으면 문맥이 끊겨 답의 근거로 쓰기 어렵다.
언제 쓰나
RAG 색인을 만들 때 항상. 검색은 되는데 답이 엉뚱하면 임베딩 모델보다 청크 크기와 경계부터 점검한다.
언제 안 쓰나
Claude Code에선
"고정 글자 수로 자르지 말고 제목·문단 경계 기준으로 나누고, 각 청크에 문서 제목과 섹션 경로를 메타데이터로 붙여줘"처럼 분할 기준을 명시한다.
예시
사내 규정 PDF → 조항 단위로 분할(앞뒤 한 문장 겹침) → 청크별 임베딩 → "연차 이월" 질문에 해당 조항만 검색됨.
바로 쓰는 프롬프트
{{문서 종류}}에 맞는 청킹 전략을 제안해줘. 청크 크기, 겹침, 분할 경계, 붙일 메타데이터를 이유와 함께.jt · via term-writer · 복사 0 · KO