카카오, 언어모델 ‘카나나’ 연구성과 리포트 공개

카카오가 자체 AI 모델을 기반으로 한 기술력 검증과 생태계 확장에 나섰다.

카카오는 자체 개발 언어모델 ‘카나나’(Kanana)의 연구 성과를 담은 테크니컬 리포트를 아카이브(ArXiv)에 공개했다고 27일 밝혔다.

이번 리포트는 매개변수와 학습 방법, 학습 데이터 등 세부 사항을 담아낸 AI 논문인데 다양한 사이즈에 이르는 카나나 언어모델 전체의 프리 트레이닝(Pre-training)부터 포스트 트레이닝(Post-training)에 이르기 까지 전 과정이 담겼다. 카나나 모델의 구조와 학습 전략, 그리고 글로벌 벤치마크에서의 성과도 볼 수 있다.

초거대 언어모델 ‘카나나 플래그’(Kanana Flag)는 지난해 말 학습을 완료했다. 이에 따라 카카오는 지난해 10월 개발자 컨퍼런스 ‘if(kakaoAI)2024’에서 공개한‘카나나 언어모델’의 전체 라인업(Kanana Flag, Essence, Nano)을 모두 구축하게 됐다.

회사 측에 다르면 카나나 플래그는 글로벌 최고 수준의 한국어·영어 성능을 달성한 모델이다.

한국어 성능을 평가하는 ‘LogicKor’, ‘KMMLU’ 벤치마크에서 타 모델을 압도하는 처리 능력을 입증했으며 영어 성능을 평가하는 ‘MT-bench’, ‘MMLU’ 벤치마크에서는 경쟁 모델과 유사한 성과를 기록했다는 설명이다. 학습 자원 최적화를 통해 유사 사이즈의 모델 대비 50% 이상 비용을 절감하며 SOTA(State-of-the-Art) 수준의 효율성과 성능을 동시에 구현해냈다고 회사 측은 전했다.

카카오는 향후 카나나 모델에 강화 학습(Reinforcement Learning)과 연속 학습(Continual Learning) 기반의 최신 기술을 접목해 추론, 수학, 코딩 능력을 강화하고 정렬(Alignment) 기술을 고도화해 사용자 요청의 수행 정확도를 높인다는 계획이다.

이를 통해 음성, 이미지, 영상 등 다양한 형태로 소통 가능하도록 지속적 모델 고도화를 이어가며 일상에 실질적인 가치를 더하는 기술로 자리잡을 수 있도록 기술 경쟁력을 강화할 예정이다.

한편, 카카오는 테크니컬 리포트와 함께 자체 개발 경량 모델 ‘Kanana Nano 2.1B’를 깃허브(GitHub)에 오픈소스로 공개했다. 베이스 모델과 인스트럭트(Instruct) 모델, 임베딩(Embedding) 모델이 제공된다.

카카오는 이번 오픈소스 공개를 통해 AI 기술의 접근성을 높이고 연구자와 개발자들이 해당 모델을 토대로 다양한 응용을 시도할 수 있도록 모델의 업데이트를 지속 지원한다는 계획이다.

김병학 카나나 성과리더는 “모델 최적화와 경량화 기술을 바탕으로 라마, 젬마 등 글로벌 AI 모델과 견줄 수 있는 고성능의 자체 언어모델 라인업을 효율적으로 확보하게 됐으며 이번 오픈소스 공개를 통해 국내 AI 생태계 활성화에 기여할 수 있을 것으로 기대한다”며 “앞으로도 효율과 성능 중심의 실용적이고 안전한 AI 모델을 개발해가며 지속적 기술 혁신을 통해 AI 경쟁력을 강화해 갈 계획”이라고 밝혔다.