온디바이스 AI (On-Device AI)

온디바이스 AI는 스마트폰, 로봇, 자동차 같은 기기 자체에서 모델을 돌려 클라우드 서버로 데이터를 보내지 않고도 답을 내는 방식이다. 지연 시간이 짧고 인터넷 연결이 끊겨도 동작하며, 민감한 데이터를 기기 밖으로 내보내지 않아도 된다는 장점이 있다.

응답 속도가 중요하거나, 인터넷 연결이 불안정한 환경이거나, 데이터를 외부로 보내면 안 되는 민감한 용도(의료, 보안 등)에 적합하다.

큰 모델의 최고 성능이 필요하거나 기기 자원이 넉넉하지 않다면 온디바이스보다 클라우드 API 호출이 낫다.

코딩 작업 자체와는 직접 연결되지 않지만, 온디바이스에 배포할 경량 모델을 준비하거나 관련 코드를 짤 때 배경 지식으로 필요하다.

2026년 4월 공개된 구글 Gemma 4처럼 20억 파라미터급 모델이 스마트폰에서 바로 구동되는 사례가 늘고 있다.