[AI 용어사전] ④온디바이스 AI

온디바이스 AI가 뭐길래?

온디바이스 AI(On-device AI)는 이름 그대로 클라우드 서버에 의존하지 않고, 디바이스 자체에서 AI를 실행하는 기술이에요. 스마트폰, 태블릿, 노트북 같은 기기 안에서 바로 AI가 작동하는 거죠. 인터넷 연결 없이도 번역, 사진 편집, 음성 명령 등을 처리할 수 있게 해줍니다.

지금까지의 AI는 대부분 클라우드 기반이었어요. 스마트폰으로 뭔가 물어보면 서버에 접속해서 계산하고, 그 결과를 받아오는 식이죠. 그런데 온디바이스 AI는 이 과정을 아예 기기 내부에서 끝내는 거예요.

“인터넷 없어도 되네?” 순간 실행, 초고속 반응

예를 들어볼게요. 스마트폰에서 사진을 찍은 뒤 “이 사람 얼굴 지워줘”라고 명령했을 때, 클라우드 기반 AI는 데이터를 서버에 보내고 다시 받아야 하니 시간이 걸릴 수 있어요.

하지만 온디바이스 AI는 인터넷 연결 없이, 순식간에, 기기 안에서 직접 편집해줘요.

이게 왜 중요하냐면, ①서버 왕복 시간이 없으니 빠르죠. ② 사진이나 음성이 외부 서버에 안 나가요. ③데이터 통신 줄이니 전력 소모도 줄어요. ④지하철, 비행기처럼 인터넷이 불안한 곳에서도 잘 작동해요.

“클라우드 vs 온디바이스”…AI의 세대교체?

예전엔 기기 성능이 약해서 AI는 서버에서 처리해야 했어요. 그런데 요즘은 스마트폰에도 NPU(신경망처리장치) 같은 AI 전용 칩이 들어가요. 애플의 A17 Pro, 삼성의 엑시노스, 퀄컴의 스냅드래곤 X 등도 다 온디바이스 AI 성능을 키우는 방향으로 진화 중이죠.

실제로 삼성은 갤럭시 S24부터 통역, 문장 요약, 사진 리터칭 등 많은 기능을 디바이스 내부 AI로 수행하고 있어요.

“AI는 꼭 거대해야 하나요?” 작지만 똑똑한 AI

초거대 AI가 트렌드처럼 보이지만, 온디바이스 AI는 경량화 모델을 중심으로 작고 빠르게 작동합니다.

예를 들어, 1GB가 넘는 거대한 언어모델 대신, 수백MB짜리 소형 모델을 스마트폰에 넣어도 일상 대화나 번역, 명령 수행은 충분히 가능해요.

이 흐름에 맞춰 구글은 Gemini Nano, 삼성은 Gauss, 메타는 LLaMA 등 모바일 최적화 모델을 개발하고 있고, 국내 기업들도 자체 LLM 경량화에 속도를 내고 있어요.

그리고 이제 온디바이스 AI는 스마트폰을 넘어 새로운 디바이스로 영역을 넓히고 있어요.

앞으로는 로봇, 자율주행차, 드론, 웨어러블, 그리고 사람처럼 움직이고 대화하는 휴머노이드 로봇에까지 탑재될 전망이에요.

신주백 기자 jbshin@kmjournal.net