LLM 옵저버빌리티 (LLM Observability)

LLM 옵저버빌리티는 에이전트가 어떤 프롬프트를 받고, 어떤 도구를 어떤 순서로 호출했으며, 토큰을 얼마나 썼고, 어디서 실패했는지를 추적·기록해 문제를 진단할 수 있게 해주는 체계다. 에이전트가 여러 단계를 자율적으로 거치는 만큼 중간 과정이 보이지 않으면 원인 파악이 어려워, 프로덕션 운영의 필수 인프라로 자리잡았다.

여러 단계를 자율적으로 거치는 에이전트를 프로덕션에 배포해, 실패 원인을 추적하거나 비용·지연시간을 모니터링해야 할 때 쓴다.

도구 호출 없이 한 번의 프롬프트-응답으로 끝나는 단순한 기능에는 별도의 옵저버빌리티 인프라까지 갖출 필요는 없다.

Claude Code 세션도 어떤 도구를 어떤 순서로 호출했는지 트랜스크립트로 남기는데, 프로덕션 에이전트라면 이런 흐름을 LangSmith, Langfuse 같은 도구로 별도 기록·분석하게 된다.

에이전트가 특정 요청에서 잘못된 도구를 반복 호출했을 때, 옵저버빌리티 로그를 보고 어느 단계에서 잘못됐는지 역추적하는 식으로 쓰인다.