“AI가 팔을 얻었다”

“AI가 말만 잘하는 시대는 끝났다. 이제는 움직이고, 만지고, 배운다.”

지난 14~15일, 서울에서 열린 허깅페이스(HuggingFace)의 ‘LeRobot Worldwide Hackathon’ 로컬 이벤트는 단순한 기술 경연이 아니었다. AI가 현실 세계에서 직접 행동할 수 있다는 ‘피지컬AI(Physical AI)’의 가능성을 눈앞에 펼쳐 보인 자리였다.

손으로 만드는 AI, 조립에서 학습까지

해커톤은 테이블 위에 놓인 3D 프린팅 부품과 서보 모터, 컨트롤 보드를 하나씩 조립하는 것으로 시작됐다. 참가자들이 직접 조립한 건, 약 200달러면 만들 수 있는 오픈소스 로봇 팔, SO‑ARM101이었다.

하지만 진짜 핵심은 조립이 아니라 ‘학습’에 있다.

LeRobot 플랫폼은 사용자가 보여주는 동작을 로봇이 따라 배우는 모방학습(imitation learning) 방식을 쓴다. 참가자가 팔을 움직여 시범을 보이면, 로봇이 그 궤적을 기록하고 학습해 몇 시간 만에 마치 원래부터 알던 동작처럼 반복해낸다. 

이 모든 과정은 파이썬 기반의 간결한 인터페이스로 진행된다. 사용자의 동작을 기록하고 학습한 뒤, 실제 로봇에 그대로 적용해 실행하는 흐름까지 하나로 연결되어 있다.

여기에 ROS(Robot Operating System)나 SLAM(지도 작성 및 위치 추정), 음성인식 같은 기술과도 쉽게 연동되며, 누구나 피지컬AI를 직접 만들어볼 수 있도록 설계돼 있다.

서울에서 펼쳐진 피지컬AI의 현실 실험

이번 해커톤에선 단순한 시연을 넘어, 아이디어와 기술을 현실로 옮긴 데모들이 눈길을 끌었다.

씬그립(ColorPick) 팀은 드라마 ‘오징어 게임’에 등장하는 도형 부품을 활용해, 색깔 신호에 따라 로봇이 부품을 인식하고 조립하는 장면을 재현했다. 초소형 카메라로 색을 감지하고, 커스텀 그리퍼로 정확하게 조작하는 과정은 정밀한 시각 인식과 물리 제어가 자연스럽게 연결된 피지컬AI의 전형적인 예시였다.

AI FAN 팀은 사람 얼굴을 실시간으로 추적해, 얼굴 방향에 맞춰 바람을 보내는 자동 부채질 로봇을 만들어냈다. 현장에서 직접 조립하고, 데이터를 수집하고, 학습하고, 작동시키는 전 과정을 하루 안에 해냈다는 점에서 특히 인상 깊었다. AI가 단순한 감지가 아니라 반응과 제어까지 실시간으로 처리한다는 걸 보여준 사례다.

LeBotica 팀은 “왼쪽 위 초록 약을 담아줘”라는 명령을 이해하고, 해당 위치의 약을 인식해 같은 색상의 그릇에 담는 언어 기반 작업 수행 로봇을 선보였다. 음성 인식, 시각 인지, 위치 판단, 물리 제어까지 한 번에 연결된 작업 흐름이 그대로 구현됐고, 앞으로 제약·물류 자동화 분야에서 실질적인 활용 가능성을 보여준 데모로 주목받았다.

서울 팀, 전 세계 250개 팀 중 TOP 10 진입

이번 해커톤에는 전 세계 44개국에서 3,000명 넘는 참가자가 참여했고, 모두 250개 이상의 데모가 경쟁했다. 그 가운데 서울 지역 팀이 8위, 9위, 25위에 올라 글로벌 상위권에 이름을 올렸다.

참가자들은 대학(원)생부터 스타트업 창업자, 대기업 개발자까지 다양했다. 짧은 시간 안에 완성도 높은 데모를 구현해낸 그들의 실행력과 창의성은 한국의 피지컬AI 커뮤니티가 글로벌 흐름에 동참할 준비가 되어 있음을 보여준 사례였다.

움직이는 GPT, 피지컬AI의 실현

AI는 오랫동안 화면 속에 갇혀 있었다. 텍스트를 만들고, 음성을 합성하고, 이미지를 생성하며 ‘디지털 안에서만’ 움직였다. 하지만 피지컬AI(Physical AI)는 다르다.

현실 세계에서 손을 뻗고, 물건을 집고, 버튼을 누르고, 상황에 반응해 스스로 판단하고 행동하는 AI. 그게 바로 이번 해커톤의 핵심이었다. 허깅페이스가 만든 LeRobot 플랫폼은 이 피지컬AI를 누구나 실험하고 구현할 수 있는 도구로 만든 것이다.

조립 가능한 하드웨어(SO‑ARM101)를 중심으로, 사용자의 동작을 기록하고, 학습하고, 실제 로봇으로 행동을 실행하기까지의 전 과정을 하나의 흐름으로 통합한 오픈 플랫폼이다. 여기에 음성 명령, 카메라 비전, 자율 주행 등 다양한 기술까지 쉽게 연동할 수 있어 확장성도 뛰어나다. 

결국 LeRobot은 단순한 로봇 키트를 넘어서, ‘움직이는 GPT’를 실현하는 행동 지능 플랫폼으로 자리 잡고 있다.

AI의 다음 챕터, 서울에서 시작되다

AI는 이제 더 이상 머릿속에서만 움직이지 않는다. 배우고, 판단하고, 직접 움직이며 현실에 개입하는 존재로 진화하고 있다. 서울에서 열린 이번 해커톤은 피지컬AI라는 새로운 지능의 방향성을 세계에 알린 첫 걸음이자, 한국의 로보틱스와 오픈소스 생태계가 글로벌 흐름과 만나는 강력한 접점이었다. 

말하고, 생각하고, 움직이는 AI는 더 이상 먼 이야기가 아니다. 

신주백 기자  jbshin@kmjournal.net