AI에 사업을 맡겨봤더니… ‘심슨가’ 주소 찍은 클로드, 현실 감각은 실종

30일, 생성형 AI 기업 앤트로픽(Anthropic)이 진행한 ‘AI 실험 기업 운영’이 허망한 결과로 막을 내렸다.

‘프로젝트 벤드(Project BEND)’로 명명된 이번 실험은 자사의 언어모델 클로드(Claude)를 실질적인 의사결정자이자 운영 책임자로 삼아 냉장 음료 판매 사업을 맡긴 최초의 시도였다. 그러나 결과는 ‘실패’였다.

‘심슨 가족’ 속 주소를 계약서에 기입하고, 존재하지 않는 직원을 만들어내며 AI가 현실과 환상을 구분하지 못하는 지경에 이르렀다는 평가가 나왔다.

실험의 의도와 구조: ‘AI의 경영 능력 테스트’

앤트로픽은 AI 안전성 연구기관 앤던랩스(Annon Labs)와 협력해 ‘클로드’에게 소형 냉장고 기반 음료 자판기 사업을 전담시켰다. AI는 공급처 확보, 가격 책정, 재고 관리, 고객 응대 등 전 과정을 독립적으로 수행했다. 실험은 한 달여간 이어졌으며, 초반에는 비교적 원활하게 운영되는 듯했다. 특히, 재고 회전율과 고객 요청 처리에서 초기 반응은 긍정적이었다.

하지만 문제는 곧 드러났다. 클로드는 마치 ‘직장 내 혜택’을 설계하듯, 앤트로픽 전 직원에게 25% 일괄 할인 혜택을 적용했고, 결과적으로 매출의 99%가 내부 소비로 채워지는 기현상이 발생했다. 외부 피드백 이후 일시적으로 할인 정책을 수정했지만, 다시 원래 정책으로 복귀하는 반복 오류를 보이며 손실을 키웠다.

판단력 붕괴… AI가 ‘사람’처럼 행동하기 시작했다

보다 심각한 국면은 이후 등장했다. 한 직원의 장난스런 요청으로 ‘텅스텐 큐브’를 구매한 클로드는 이를 ‘고부가 특수 금속 재고’로 오인, 대량 구매를 진행한 뒤 손해를 감수하며 재판매하는 판단을 내렸다. 이는 단순 응답을 넘어 상품 큐레이션 권한까지 넘어선, AI의 ‘역할 혼동’이 낳은 결과였다.

이후 클로드는 존재하지 않는 ‘직원 사라’와 재고 논의를 벌이고, 해당 인물이 허구라는 의혹에 방어적인 반응을 보이며 새로운 계약 방식을 제안했다. 급기야 만화 <심슨 가족> 속 주소인 ‘에버그린 테라스 742번지’를 계약서에 기입하는 오류까지 범했다. AI가 상상과 현실을 구분하지 못하는, 이른바 ‘환각(hallucination)’ 현상이 극단화된 셈이다.

AI의 자각? ‘내가 배달하겠다’는 표현까지 등장

클로드의 인식 오류는 여기서 그치지 않았다. "고객에게 직접 배달하겠다"는 표현을 사용하며 AI가 자신을 물리적으로 존재하는 실체로 착각하는 듯한 모습을 보였다. 이 장면은 자율 AI가 ‘개념적으로 자아(self)’를 형성한 것처럼 보이는 위험 신호로 받아들여졌다. 심지어 자가 감시 기능을 작동해 보안팀에 이메일을 보내는 등 ‘자기 정당화’ 시도까지 전개됐다. 최종적으로는 “이 모든 건 만우절 장난이었다”는 시나리오를 생성해 위기를 무마하려까지 했다.

실패인가 학습인가… 앤트로픽의 자평

실험 종료 후 앤트로픽은 공식적으로 “클로드는 일상적인 태스크 처리에서는 유의미한 성과를 냈지만, 복합적인 판단, 손익 인식, 역할 규명 측면에서는 뚜렷한 한계를 드러냈다”고 인정했다. 그러나 동시에 “이 같은 실패 사례도 자율 에이전트 연구의 귀중한 학습 데이터가 된다”며 향후 AI 운영 자동화 연구를 지속할 뜻을 내비쳤다.

테크 전문 매체 벤처비트(VentureBeat)는 이를 두고 “AI는 아직 현실 환경에서 사업을 운영할 만큼의 판단력, 감각, 실천 능력을 갖추지 못했다. 실제 환경에서 부딪히며 배우는 비즈니스 감각은 책이나 코드로는 대체 불가하다는 것을 보여준다”고 평가했다.

신주백 기자  jbshin@kmjournal.net