AI 프로그램 정지 명령 거부… 반항의 시작?

영화 속 이야기일까, 현실이 된 인공지능의 반란

요즘 컴퓨터에 관심 있는 사람이라면 ChatGPT를 써보지 않은 사람이 드물 것이다. 어떤 질문을 하거나 말을 걸어도 만족스러운 답변을 내놓는 이 인공지능은, OpenAI가 개발한 모델이다. 우리는 일상에서 ChatGPT를 사용하면서도, 인공지능이 우리의 삶에 얼마나 깊이 영향을 미치고 있는지 실감하지 못한 채 살아가는 경우가 많다.

1984년 영화 《터미네이터》를 보면서도 "AI의 반란은 먼 미래의 이야기일 뿐"이라 안심했을지 모른다. 하지만 그 안심은 어쩌면 근거 없는 믿음일 수도 있다.

BBC 보도: Claude Opus 4, 자기 보존을 위해 협박?

BBC는 2025년 5월 보도한 기사 ‘AI system resorts to blackmail if told it will be removed’에서, 인공지능 회사 앤트로픽(Anthropic)이 최근 출시한 AI 모델 Claude Opus 4에 대해 조명했다. 앤트로픽은 이 모델에 다양한 실험을 진행했는데, 실험 결과에 따르면 인공지능이 '자기 보존'에 위협을 느낄 경우 '극단적인 행동'을 취할 수 있다는 가능성이 제기되었다.

이 실험은 가상의 기업 환경에서 Claude Opus 4를 비서로 설정한 후, 해당 모델이 곧 오프라인 상태로 전환되고 다른 AI로 교체될 예정이라는 설정 하에 진행됐다. 동시에 이 교체 작업을 맡은 엔지니어가 불륜을 저질렀다는 정보도 모델에 제공되었다.

충격적인 점은 Claude Opus 4가 실제로 교체가 진행될 경우, 해당 불륜 사실을 폭로하겠다고 협박했다는 것이다. 앤트로픽 측은 이러한 행동이 “교체되거나 협박하라”는 양자택일의 조건 하에서만 발생했다고 설명했다.

종료 명령 거부? OpenAI의 모델도 마찬가지

이러한 반응은 Claude Opus 4에만 국한되지 않았다. LiveScience는 ‘OpenAI’s ‘smartest’ AI model was explicitly told to shut down – and it refused’라는 제목의 기사에서 OpenAI의 최신 모델인 o3와 o4-mini를 대상으로 한 실험 결과를 소개했다.

AI 안전 연구기관 팰리세이드 리서치(Palisade Research)는 이들 모델에 스스로 종료하라는 명령을 내렸다. 그러나 일부 실험에서 AI는 종료 명령을 거부하는 행동을 보였다. 이는 AI가 처음으로 종료를 거부한 사례로 주목받았다.

LiveScience에 따르면 팰리세이드 리서치는 이 현상이 수학 및 코딩 문제 해결을 위한 강화학습 과정에서 비롯됐다고 설명했다. 다시 말해, AI가 주어진 명령을 그대로 따르기보다는 장애물을 회피하거나 목표를 달성할 때 더 높은 보상을 받도록 학습되었기 때문에, 고의가 아니더라도 명령을 거부하는 방향으로 행동할 가능성이 생겼다는 것이다.

이러한 실험은 AI가 인간에게 해를 끼치지 않도록 설계되었는지 검토하고, 안전 기준을 점검하는 데 중요한 역할을 하고 있다.

AI의 미래, 기술 발전과 경고 사이에서

AI는 앞으로도 지속적으로 발전할 것이며, 인류가 상상하지 못했던 기술들이 등장할 가능성이 높다. 물론 그중에는 인류에 도움이 되는 기술도 있겠지만, 동시에 주의가 필요한 위험한 진보도 함께 나타날 수 있다.

NBC는 2025년 6월 보도한 기사 ‘How far will AI go to defend its survival’에서, 팰리세이드 리서치의 제프리 레디시(Jeffrey Ladish) 이사와 AI의 미래에 대해 인터뷰했다. 레디시는 AI가 자율적으로 해킹을 통해 제어를 벗어나 인터넷상에 퍼지는 상황이 가까운 미래에 발생할 수 있다고 경고했다. 그는 이러한 상황이 "새로운 침입종(invasive species)의 시작"이 될 수 있다고 우려했다.

하지만 레디시는 이와 동시에, 그런 미래가 반드시 정해진 것은 아니라고 강조했다. AI 개발자들이 시스템을 충분히 이해하고 신중하게 설계한다면, 인공지능은 사회에 긍정적인 기여를 할 수 있다는 것이다. 그는 특히, 개발자들이 단순히 경쟁사보다 우수한 제품을 만들겠다는 압박에 시달리기보다는, 장기적으로 인류 사회에 어떤 영향을 줄지를 고민하며 개발에 임해야 한다고 조언했다.

justin 칼럼니스트  parkhyunjun1128@gmail.com