AI 탐지기로 부정행위 잡을 수 있을까? 정확도 논란 재점화

최근 국내 대학가에서 생성형 AI 부정 사용이 잇따라 논란이 되면서, AI 탐지 기술이 실제로 어느 수준까지 정확하게 AI 작성 글을 판별할 수 있는지에 대한 관심이 커졌다.

연세대와 서울대에서 AI 사용 부정행위가 발생한 가운데, 학생들은 탐지 회피가 가능하다며 신뢰성 부족 문제를 지적했고, 연구 결과 역시 탐지기의 낮은 정확도와 취약성을 보여줬다.

AI 탐지기, 회피 기법 앞에서 정확도 급락

최근 연구들은 AI 탐지기가 부정 사용을 적발하기에는 정확도와 신뢰도가 충분하지 않다는 결론을 내렸다.

필리핀 연구진이 2020∼2024년 관련 연구 논문 34편을 검토한 ‘AI 생성 글 탐지기의 정확도와 신뢰성(2025)’ 논문에 따르면, 유료 탐지기의 평균 정확도는 87%, 무료 탐지기는 77% 수준이었다.

그러나 문장 표현 바꾸기 같은 간단한 탐지 회피 기법만 적용해도 정확도가 60% 이상 떨어지는 사례도 확인됐다.

GPT-4보다 이전 세대 모델인 GPT-3.5의 탐지 정확도가 더 높게 나타났는데, 이는 탐지기가 최신 AI 모델의 패턴을 충분히 학습하지 못한 데 따른 결과였다.

논문은 이러한 한계 때문에 탐지기에 전적으로 의존해 부정행위를 적발하기는 어렵다고 조언했다.

실제 테스트에서는 평균 정확도 39.5%… 회피 기술 적용 시 22%로↓

국제학술지 ‘IJETHE(고등교육 교육공학 국제저널)’에 실린 논문 ‘생성형 AI 텍스트 감지기를 우회하는 간단한 기법(2024)’에는 7개 AI 탐지기의 평균 정확도가 39.5%에 그쳤다고 분석했다.

테스트에는 GPT-4, 클로드2 등 다양한 모델이 만든 15개의 글과, 인간이 쓴 10개의 글, 회피 기법을 적용한 89개의 글이 표본으로 사용됐다.

특히 고의로 철자 오류를 넣거나 문장 길이를 불규칙하게 만드는 등 회피 기법을 적용하자 정확도가 22.2%까지 급감했다.

AI 탐지기는 사람 글에서도 67%만 ‘인간 작성’으로 판정해 오탐지율도 높았다.

연구진은 현 세대 탐지기는 정확도가 낮을 뿐 아니라 조작 가능성이 높아 학업 부정행위 판단 도구로 신뢰하기 어렵다고 결론지었다.

한국어에서는 성능 더 급감… 영어 대비 큰 격차

탐지기의 한국어 처리 능력은 영어 대비 훨씬 떨어지는 것으로 확인됐다.

중앙대 연구팀은 영어 기반 탐지 모델인 ‘디텍트GPT’와 ‘RADAR’에 한국어 생성 텍스트를 입력했는데, AUROC(수용자조작특성곡선) 값이 0.40∼0.65 수준에 머물렀다.

AUROC 지표는 AI 생성 글과 인간이 쓴 글을 얼마나 잘 구분하는지 보여주는 점수로, 1은 100% 확률로 구분한다는 뜻이다.

한국어에 대해 0.5 안팎이 나왔다는 것은 사실상 50% 확률로 판단하는 ‘무작위 맞히기’와 큰 차이가 없는 수준인 셈이다.

영문 텍스트에서 0.9 수준을 기록했던 성능이 한국어에서는 절반 가까이 떨어진 셈이다.

특히 클로드-3가 생성한 글의 경우 RADAR AUROC 값이 0.18∼0.38로 더 낮게 나타났는데, 이는 탐지 모델이 최신 AI의 자연스러운 문장 패턴을 제대로 구분하지 못한 결과였다.

연구진은 한국어에서는 AI 탐지기가 신뢰할 만한 대안이 되기 어렵다고 지적했다.

대학가 AI 부정 사용 확산… 학생 92% “AI 사용 경험 있다”

영국 고등교육정책연구소(HEPI)가 올해 2월에 발표한 조사에서도 대학생들의 AI 활용이 빠르게 증가한 것으로 나타났다.

AI를 사용해본 적 있다는 응답은 92%에 달했으며, 과제나 시험에 사용했다고 답한 비율도 작년 대비 53%에서 88%로 급등했다. 이 중 18%는 AI가 생성한 글을 그대로 과제에 제출했다고 답했다.

학생들은 AI 사용 이유로 시간 절약과 과제물 품질 향상을 꼽았다. 이는 AI 의존 학습이 이미 전 세계적인 경향이라는 것을 짐작케 하는 일이다.

“모든 시험에 AI 스트레스 테스트 필요”… 평가 방식 전면 재검토 요구

HEPI는 대학들이 시험 문제를 내기 전에 강력한 AI로 미리 풀어보게 하는 ‘AI 스트레스 테스트’를 반드시 시행해야 한다고 권고했다. 학생이 수업 참여 없이도 AI로 높은 점수를 얻을 수 있다면 시험 자체를 재설계해야 한다는 것이다.

또 대학이 AI 교육에 소극적일 경우 AI 활용 능력 차이로 학생 간 디지털 격차가 더 커질 것이라고 경고했다.

최송아 객원기자 choesonga627@gmail.com