[AI 용어사전] ⑦RAG

RAG의 등장...생성형 AI가 틀린 말도 ‘그럴듯하게’ 하는 문제 발생!

2022년 말 등장한 ChatGPT는 세상을 바꿔놓았지만, 곧 사람들은 혼란스러워졌어요.

“얘는 왜 이렇게 자신만만하게 틀린 말을 하지?”

사실 이유는 간단해요. GPT는 학습된 데이터만 가지고 대답하기 때문에 정보가 오래됐거나, 특정 분야 지식이 부족하면 거짓말을 하듯 말하게 되는 거예요.

우리는 그런 AI를 두고 '헛소리(hallucination)를 한다'고 말하죠.

이 문제를 해결하기 위해 나온 기술이 바로 RAG(Retrieval-Augmented Generation)입니다. 기억이 아닌 ‘검색’을 먼저 하고, 그다음 대답하는 똑똑한 AI의 방식이에요.

RAG는 뭘까? “AI가 먼저 찾아보고 대답합니다”

RAG는 두 가지 핵심 모듈로 구성돼요.

검색기(Retriever): 질문과 관련된 정보를 벡터 기반으로 빠르게 찾아냅니다.

생성기(Generator): 찾은 정보를 바탕으로 자연스러운 문장을 만들어냅니다.

즉, 사람이 “잠깐만, 이거 먼저 찾아보고 말해줄게”라고 하는 것처럼, RAG는 모르는 건 일단 검색하고 말하는 AI 구조를 갖고 있어요. 덕분에 GPT 단독 모델보다 훨씬 더 정확하고, 신뢰도 높은 응답을 만들어낼 수 있죠.

왜 지금 RAG가 주목받을까?

생성형 AI 시대에 RAG가 주목받는 이유는 분명해요.

최신 정보 반영: 학습된 지식만이 아니라, 지금 웹에 있는 자료까지 참고해요.

출처 기반 응답: 어디서 찾은 정보인지 명확히 보여줄 수 있어요.

전문 분야 대응: 기업 내부 문서나 논문을 검색해 정확하게 응답할 수 있어요.

헛소리 감소: 사실에 기반한 응답이라 허위 정보 가능성이 줄어요.

기업 입장에서는 AI가 ‘헛소리하지 않도록 만드는 기술’로 RAG를 도입하는 사례가 늘고 있어요.

GPT에만 의존하던 시대는 끝났다

RAG의 등장은 AI 시스템의 방향을 완전히 바꾸고 있어요. 과거엔 “얼마나 큰 모델인가”가 중요한 기준이었다면, 이제는 “정확하고 유용한 정보를 어떻게 찾아내느냐”가 핵심이죠.

이 흐름에 맞춰 마이크로소프트는 빙챗(Bing Chat)에 웹 검색을 탑재했고, 삼성전자는 사내 문서 기반 챗봇을 만들고 있으며, 구글은 제미나이(Gemini)에 ‘툴 사용+검색’ 기능을 확장하고 있어요.

RAG는 단순한 기능이 아니라, 생성형 AI를 ‘업무에 진짜 쓰이게 만드는’ 실질적인 엔진입니다.

RAG의 진화, 이제는 ‘기억하고 학습’까지

요즘 RAG는 단순히 검색한 걸 보여주는 데 그치지 않아요. 사용자의 질문 의도, 맥락, 이전 대화 내용을 바탕으로 자동으로 검색 질을 높이는 Auto-RAG나 사용자의 피드백을 학습해서 계속 똑똑해지는 메모리 기반 RAG도 등장하고 있어요.

신주백 기자 jbshin@kmjournal.net