스트리밍 (Streaming)

AI 용어

응답이 완성되길 기다리지 않고 생성되는 토큰을 실시간으로 조금씩 받아 보여 주는 방식.

#API#응답 속도#UX

정의

모델이 토큰을 생성하는 즉시 조각 단위로 전송받는 응답 방식으로, 보통 SSE(Server-Sent Events)로 구현된다. 전체 생성 시간은 같지만 첫 토큰이 나오기까지의 시간(TTFT)이 짧아 체감 속도가 빨라진다.

채팅 UI처럼 사람이 답을 기다리는 화면. 응답이 길어 요청이 타임아웃에 걸릴 수 있을 때.

결과 전체를 받아 JSON으로 파싱하는 백그라운드 작업. 조각을 이어 붙이고 중간 끊김을 처리하는 코드만 늘어난다.

터미널에 응답이 조금씩 흘러나오는 것이 스트리밍이다. 챗 UI를 만들 땐 "응답을 스트리밍으로 받아 화면에 이어 붙이고, 중간에 끊겨도 그때까지 받은 내용은 유지해줘"라고 지시한다.

스트리밍 없음: 답이 다 만들어질 때까지 빈 화면 → 스트리밍: 곧바로 첫 글자가 뜨고 타이핑하듯 이어짐.

{{프레임워크}}에서 LLM 응답을 스트리밍으로 받아 화면에 실시간 표시하는 코드를 짜줘. 중단 버튼과 연결 끊김 처리 포함.