ETRI 연구진이 레드팀을 통해 AI 안전성과 신뢰성 확보를 위해 위험과 시나리오들에 대해 설명하고 있는 모습
연구진이 AI 안전성과 신뢰성 확보를 위한 시나리오를 설명하고 있는 모습 (사진=ETRI 제공)

한국전자통신연구원(ETRI)이 AI 시스템의 위험을 미리 찾아내는'AI 레드팀 테스팅' 표준과 소비자가 AI의 신뢰 수준을 쉽게 이해할 수 있는 '신뢰성 사실 라벨(TFL)' 표준을 국제표준화기구(ISO/IEC)에 제안하고, 본격적인 개발에 착수했다고 19일 밝혔다.

AI 레드팀 테스팅은 AI 시스템이 얼마나 안전한지를 공격적으로 탐색하며 테스트하는 방법이다. 예를 들어, 생성형 AI가 잘못된 정보를 내놓거나, 사용자 보호장치를 피해 악용되는 상황을 미리 찾아내는 것이다. ETRI는 이 분야의 국제표준인 ISO/IEC 42119-7의 에디터 역할을 맡아, 의료·금융·국방 등 다양한 분야에 공통으로 적용할 수 있는 국제 공통 시험 절차와 방법을 만들고 있다.

또 하나의 핵심 표준은 바로 신뢰성 사실 라벨(Trustworthiness Fact Labels, TFL)이다. 이 라벨은 AI 시스템이 얼마나 신뢰할 수 있는지를 한눈에 알 수 있도록 시각화해주는 것으로, 마치 식품의 영양성분표처럼 소비자에게 투명한 정보를 제공한다.

ETRI는 ISO/IEC 42117 시리즈 표준 개발을 주도하고 있으며, 이 표준은 기업이 스스로 정보를 제공하거나, 제3의 기관이 검증·인증하는 다양한 방식으로 운영될 수 있다. 향후에는 AI의 탄소배출량(탄소발자국) 같은 ESG 요소도 반영하는 방안까지 검토 중이다.

이 표준은 인공지능 활용 조직에 대한 국제 인증 표준으로 사용하고 있는‘AI 경영시스템 표준(ISO/IEC 42001)’과도 연계하여, 개발된 제품 및 서비스가 얼마나 신뢰할 수 있는지 입증할 수 있는 틀로 자리매김할 전망이다.

이번 두 표준은 정부가 추진하는‘소버린 AI(주권형 AI)’,‘AI G3 도약’전략과도 맞닿아 있다. 단순한 기술력 확보를 넘어, 글로벌 AI 규칙을 만드는 주도권 경쟁에 실질적인 기여를 하는 사례로 평가된다.

ETRI 이승윤 표준연구본부장은 "AI 레드팀 테스팅과 신뢰성 라벨은 미국, EU 등 각국 AI 규제정책에 포함된 핵심 기술 요소로, 이 국제 표준들은 전 세계 AI 시스템의 안전과 신뢰성을 평가하는 공통 기준이 될 것"이라며 "ETRI는 앞으로도 AI 안전과 신뢰성 분야의 국제표준화를 주도해, 대한민국이 소버린 AI뿐 아니라 소버린 AI 안전 기술을 이끄는 중심이 되도록 하겠다"고 밝혔다.

권상민 기자 smkwon@kmjournal.net

저작권자 © KMJ 무단전재 및 재배포 금지