[테크 칼럼] 온디바이스AI, 한국이 AI 세계 3강으로 가는 실질적 선택지다

챗GPT(ChatGPT), 제미나이(Gemini), 그록(Grok)으로 대표되는 거대 LLM 중심의 클라우드 AI는 자본력의 게임이다. 한국은 자본력과 GPU 스케일 경쟁에서 빅테크를 이길 수 없다. 그렇다고 AI를 포기할 수는 없다. 오히려 더 적극적인 전략이 필요하다.

왜 ‘온디바이스 AI’인가? 

이제는 효율의 시대다. AI 성능의 최전선은 더 이상 파라미터 수가 아니다. 빠르게, 저렴하게, 안전하게 작동하는 AI가 필요하다.

초거대 LLM은 막대한 연산 자원과 비용을 요구하며, 이는 곧 AI 생태계를 소수 빅테크 중심으로 고착화시킨다.

반면 온디바이스 AI는 단말기 내부의 NPU에서 실시간으로 추론을 처리해, 지연 없이 반응하고, 클라우드 연결 없이도 작동하며, 데이터가 외부로 나가지 않기 때문에 프라이버시와 법적 규제에도 유리하다.

‘작지만 똑똑한’ AI는 이제 한국처럼 인프라가 제한된 나라에 최적화된 생존 전략이다. 

삼성의 온디바이스AI, 일상을 먹여 살릴 국민 플랫폼으로 진화

삼성전자는 갤럭시 AI를 통해 스마트폰이 곧 AI가 되는 시대를 공식화했다.

삼성전자는 갤럭시 AI를 중심으로 실시간 통역·요약·생성 기능을 모두 단말기 안에서 구동하는 ‘온디바이스 중심 전략’을 본격화하고 있다. 이는 통신망 품질이나 서버 상태에 영향을 받지 않고 안정적인 사용자 경험을 제공하며, Exynos 2500 등 차세대 칩셋은 AI 추론을 위한 NPU 성능을 대폭 강화해 이 전략을 뒷받침한다.

“4억 대 기기에서 AI 실행”이라는 목표는, 한국이 AI를 일상과 연결하는 세계적 사례가 될 수 있음을 보여준다.

RFM, 한국형 피지컬AI의 현장 해법이 되다

마음AI의 로봇 파운데이션 모델은 현장에서 바로 쓰이는 ‘실전형 AI’의 시작을 알렸다.

마음AI가 공개한 RFM(Robot Foundation Model)은 멀티모달 AI로, 언어·음성·센서 데이터를 통합해 로봇이 스스로 판단하고 행동할 수 있도록 설계됐다. 클라우드 호출 없이도 공항·스마트시티·무인 시설 등에서 실시간 작동이 가능해, 로봇을 단순 보조가 아닌 ‘자율 에이전트’로 진화시키는 전환점이 된다.

온디바이스 친화적 구조는 한국이 강점을 가진 제조·물류 분야에 즉시 도입 가능한 결정적 카드다.

초거대 대신 경량 LLM, ‘작지만 강한’ 모델 구축

업스테이지 Solar Pro 2는 31B 규모로도 글로벌 AI를 위협했다. 이젠 크기보다 똑똑함이 무기다.

국내 AI 스타트업 업스테이지는 31B 파라미터의 경량 모델 ‘Solar Pro 2’를 공개하며, GPT-4.1이나 Claude 3.7을 넘어서는 일부 성능을 기록했다고 발표했다. 이는 클라우드 인프라 없이도 세계적 성능을 구현할 수 있음을 보여주는 신호탄이다.

경량 LLM은 온디바이스에 탑재 가능한 스펙으로, 한국형 LLM 전략을 비용과 효율 중심으로 재구성할 수 있는 기회를 제공한다.

온디바이스–엣지–클라우드, 세 가지 AI의 하이브리드 협업 구조

온디바이스는 실시간 번역·명령 수행 등 빠른 응답이 필요한 작업에 최적이며, 엣지 AI는 중앙 서버가 아닌 로봇이나 공장 설비 등 현장 가까운 장비에서 AI를 작동시켜 저지연 작업을 수행한다.

이는 네트워크 지연 없이 즉각적인 판단과 반응이 필요한 제조·물류 환경에서 특히 효과적이다. 고난도 추론이 필요한 경우 클라우드가 동원된다.

이 세 가지 레이어를 ‘스마트 라우팅’ 기술로 분산하면, 전력·연산 자원의 한계를 우회하면서도 사용자는 AI의 끊김 없는 경험을 누릴 수 있다. 한국은 이 세 구조를 모두 다룰 수 있는 드문 국가다.

 AI의 미래는 더 크고 빠른 게 아니라, 더 가까운 것이다

한국은 스마트폰·반도체·로봇 제조 역량을 모두 갖춘 드문 나라다. ‘온디바이스 AI’는 그 모든 산업을 AI로 연결하는 가장 현실적인 전략축이다.

삼성의 모바일 AI가 ‘일상성’을, 마음AI의 RFM이 ‘현장성’을 책임질 수 있다면, 한국은 미국·중국의 그늘 아래가 아니라, 제3의 길을 개척하는 독립된 AI 강국으로 성장할 수 있을 것이다. 

신주백 기자  jbshin@kmjournal.net