멀티모달 모델 (Multimodal Model)

멀티모달 모델은 텍스트만 다루던 기존 언어모델과 달리 이미지, 음성, 영상 등 여러 종류의 데이터를 한 모델 안에서 함께 이해하고 생성할 수 있는 모델이다. 화면을 캡처해 다음에 뭘 눌러야 할지 물어보는 등 컴퓨터 사용 에이전트의 기반 기술이기도 하다.

사진을 보여주며 질문하거나, 화면을 캡처해 다음 행동을 물어보는 등 텍스트 외의 입력을 다뤄야 할 때 쓴다.

순수 텍스트만 주고받는 작업이라면 멀티모달 여부는 크게 중요하지 않다.

Claude Code에서 스크린샷을 읽고 UI 버그를 파악하거나, 이미지 파일을 직접 확인하는 것이 멀티모달 모델의 실제 활용이다.

2026년에는 스마트폰에서 구동 가능한 경량 멀티모달 모델(예: Gemma 4)까지 나오며 온디바이스 영역으로도 확장됐다.