피지컬 AI, 탁구로 진화하다… 딥마인드의 '자가 학습 로봇' 실험

구글의 인공지능(AI) 연구 조직 구글 딥마인드(DeepMind)가 로봇 팔 두 대가 스스로 탁구를 주고받으며 기술을 발전시키는 ‘탁구 로봇’ 실험을 공개했다.

해당 실험은 7월 21일(현지시간) 과학기술 전문 매체 IEEE 스펙트럼(IEEE Spectrum)을 통해 소개되었으며, 인간의 개입 없이 로봇이 자율적으로 움직이고 학습하는 ‘피지컬 AI(Physical AI)’ 기술의 진화 가능성을 보여줬다는 점에서 주목을 받고 있다.

왜 하필 ‘탁구’인가?

딥마인드가 선택한 실험 종목은 ‘탁구’였다. 단순한 공놀이나 운동이 아니라, 탁구는 고속 반응, 정밀 제어, 실시간 예측, 전략 판단 등 로봇에게 요구되는 다양한 능력을 동시에 시험할 수 있는 종합 과제이기 때문이다.

연구팀은 “탁구는 물리적 제약이 크면서도 시뮬레이션과 실제 로봇 간 전이를 테스트하기에 적절한 과제”라고 설명했다. 이는 피지컬 AI가 현실 세계에서 얼마나 유연하게 작동할 수 있는지를 측정할 수 있는 이상적인 테스트베드로 기능한다.

알파고식 학습법의 확장… 로봇끼리 서로 겨루며 향상

딥마인드는 기존 로봇 훈련 방식의 한계를 지적했다. 일반적인 로봇 학습은 전문가의 시연을 모방하는 ‘모방학습’, 혹은 복잡한 보상 체계를 설계해야 하는 ‘강화학습’에 의존해 왔지만, 이 방식은 새로운 상황에 유연하게 대응하거나 지속적으로 성능을 향상시키는 데 제약이 컸다.

이에 딥마인드는 자사 바둑 AI ‘알파고’에서 사용된 ‘자기 경쟁’ 학습 구조를 실제 로봇에 확장해 적용했다. 두 대의 로봇은 협동적인 랠리로 기본 기술을 익힌 뒤, 서로 탁구 경기를 겨루며 스스로 전략을 생성하고, 상대의 움직임에 대응하면서 기술을 개선하는 선순환 구조를 구현했다. 이 과정은 모두 인간의 직접 개입 없이 자율적으로 진행되었다.

자율 환경과 로컬 미니마의 한계 돌파

딥마인드는 실험을 위해 로봇이 스스로 장시간 실험할 수 있는 완전 자율 환경을 구축했다. 공 수거 시스템, 원격 모니터링, 에너지 관리 등이 자동화되어 있었으며, 사람이 개입하지 않고도 수천 번의 반복 훈련이 가능한 구조였다.

그러나 실험 도중 로봇은 특정 전략에 안주하고 더 나아가지 못하는 ‘로컬 미니마(Local Minima)’ 현상에 빠졌다. 이는 AI가 ‘부분 최적해’에 만족하며 전체적으로 더 나은 전략을 찾지 못하는 문제다.

이를 극복하기 위해 딥마인드는 저수준 컨트롤러(물리적 제어)와 고수준 정책 결정 구조(전략 판단)를 결합한 이중 아키텍처를 설계했다. 여기에 제로샷 Sim-to-Real 적응 기술을 도입해, 시뮬레이션에서 학습한 전략을 사전 학습 없이 실제 로봇 환경에 적용하도록 했다. 덕분에 로봇은 처음 마주치는 상대방의 움직임에도 실시간으로 유연하게 대응할 수 있는 능력을 갖추게 되었다.

비전-언어 모델 ‘VLM’, 로봇의 외부 코치로 나서다

딥마인드는 이 실험에서 또 하나의 혁신을 시도했다. 로봇 외부에 설치된 비전-언어 모델(VLM)을 ‘코치’ 역할로 활용한 것이다.

이 VLM은 별도의 보상 함수 없이도 로봇의 움직임을 관찰하고, 요약–분석–재구성 프롬프트 구조를 통해 전략적 피드백을 생성했다. 이는 마치 사람 코치가 경기 내용을 분석해 선수에게 조언하듯, 언어 기반 시스템이 물리적 AI를 지도하는 새로운 협업 구조를 보여준다.

스스로 진화하는 피지컬 AI, 현실이 되다

딥마인드는 이번 실험을 통해 “자율적 자기 개선이 가능한 피지컬 AI가 기술적으로 실현 가능함을 입증했다”고 밝혔다. 단순한 동작 수행을 넘어서, 로봇이 스스로 전략을 세우고, 상황에 적응하며, 지속적으로 학습을 이어갈 수 있는 ‘지능을 가진 신체’로 진화하고 있다는 평가다.

기존의 로봇이 정해진 명령을 수행하는 수동적 존재였다면, 이제의 피지컬 AI는 훈련, 판단, 개선까지 스스로 수행하는 자율적 존재로 변화하고 있다. 딥마인드의 이번 프로젝트는 그러한 미래형 AI 파트너의 현실적 가능성을 입증한 사례로 남게 될 것이다.

신주백 기자  jbshin@kmjournal.net