생성형 AI 시대, 인프라가 성패를 가른다…‘살아남는’ 스타트업의 조건

생성형 AI는 더 이상 그럴듯한 트렌드가 아니다. 기업의 기술 경쟁력은 물론, 스타트업의 생존 가능성까지 가늠하는 핵심 기준으로 자리잡았다. 문제는 무게다. 고성능 GPU, 대용량 벡터 DB, 고도화된 데이터 정제 작업은 막대한 초기비용을 요구한다. 한국의 AI 스타트업에게 이는 곧 진입 장벽이자 지속 가능성의 시험대다.

13일 ‘DD튜브’에서 열린 ‘생성형 AI 스타트업의 인프라 전략’ 웨비나에서 사이오닉AI, 맥케이, 옴니어스 세 곳의 스타트업은 한국오라클(Oracle Cloud Infrastructure, OCI)과의 협업 경험을 바탕으로 자신들의 생존 전략과 인프라 해법을 공개했다.

사이오닉AI 고석현 대표

“AI는 이제 ‘질문에 답하는’ 존재를 넘어, ‘판단하고 실행하는’ 에이전트로 진화하고 있다.”

고석현 대표는 사이오닉AI가 개발 중인 기업용 AI 에이전트 플랫폼의 핵심 구조를 소개했다. 그는 “단순한 모델 훈련만으로는 충분치 않다”며, “기업 내부의 비정형 데이터를 정제하고 실시간으로 연동 가능한 검색 기반 아키텍처가 반드시 필요하다”고 말했다.

고 대표는 “많은 고객들이 ‘우리 회사 데이터는 정리돼 있다’고 말하지만, 실제로 AI가 학습할 수 있을 정도로 정제된 데이터는 거의 없다”고 지적했다. 이어 그는 “AI가 활용할 수 있는 데이터로 전환하려면 어떤 데이터나 정보에 주석이나 설명을 덧붙이는 것과 품질 확보가 선행돼야 한다”고 덧붙였다.

사이오닉AI는 이 같은 구조를 구현하기 위해 벡터DB와 RAG(Retrieval-Augmented Generation) 기반 시스템을 채택했다. 고 대표는 “텍스트 데이터를 벡터로 변환하면 수백 테라바이트(TB)에서 페타바이트(PB)급 용량이 발생하고, 이를 효율적으로 저장하고 검색하려면 막대한 입출력(I/O) 성능이 필요하다”고 강조했다. 그는 또한 “OCI는 고성능을 유지하면서도 수십 분의 1 수준의 비용으로 운영 가능했다”고 밝혔다.

맥케이 최재호 대표

“GPU는 곧 고정비용이다. 살아남기 위해선 효율이 해법이다.”

최재호 대표는 한국 AI 스타트업 시장의 현실부터 직시했다. 그는 “한국은 AI 스타트업 수에 비해 생존율이 극히 낮다”며 “이제는 투자금에 기대는 생존 구조가 무너졌고, GPU 인프라와 운영비가 가장 큰 장애물로 떠올랐다”고 말했다.

맥케이는 생성형 AI를 활용한 광고용 이미지 임페인팅 및 배너 자동 생성 솔루션을 개발 중이다. 최 대표는 “이러한 작업은 GPU 리소스를 대량으로 소비하며, 고정비 성격이 강하기 때문에 초기 투자와 운영 전략이 사업의 생존을 좌우한다”고 설명했다.

그는 OCI L40S 인스턴스를 도입한 이유에 대해 “기존 CSP 대비 GPU 비용이 66% 저렴했고, 운영비, 네트워크, 스토리지 등 전반적인 비용 구조도 안정적이었다”고 밝혔다. 또한, “OCI는 영상 생성용 L40S GPU 인스턴스를 국내에서 가장 빠르게 제공했고, 실제 테스트 결과 성능 대비 비용 효율이 가장 높았다”고 덧붙였다.

보안도 중요한 요소였다. 최 대표는 “과거 사용하던 클라우드 환경에서는 반복적인 해킹을 겪었지만, OCI는 보안 대응 수준이 뛰어났고, 기술 지원 품질 역시 도입 결정에 큰 영향을 미쳤다”고 강조했다.

옴니어스 박남정 CBO

“B2C 전환기에는 하이브리드와 멀티클라우드의 유연성이 성패를 가른다.”

박남정 CBO는 패션 커머스에 특화된 AI 추천 솔루션 기업 옴니어스가 최근 B2C 기반 가상 착장 서비스 ‘벨라’를 출시했다고 밝혔다. 그는 “기존에는 기업 고객 대상 SaaS 중심의 사업을 운영했지만, 이제는 일반 소비자를 겨냥한 AI 서비스로 확장하고 있다”고 말했다.

박 CBO는 B2C 진입 초기에는 서비스 규모를 고려한 인프라 사이징과 다양한 환경에서의 유연한 대응 능력이 핵심이라고 강조했다. 그는 “OCI는 초기 사이징부터 스토리지 I/O 최적화, VPN 기반 하이브리드 구성까지 폭넓게 테스트할 수 있도록 지원했다”고 설명했다.

또한 그는 “GPU 없이도 CPU, 메모리, 네트워크 등 다양한 리소스를 유연하게 선택할 수 있었고, VPN 추가 비용이 없다는 점도 상당한 장점이었다”고 평가했다. 옴니어스는 현재 설치형 고객사를 위한 하이브리드 아키텍처 확장도 준비 중이며, OCI 기반 구성이 이를 뒷받침하고 있다.

박 CBO는 “벨라는 프롬프트 기반 이미지 생성 기능을 제공하며, 다양한 사이즈·포즈·배경에 맞춰 AI 착장 이미지를 자동으로 생성할 수 있다”고 밝혔다. 또한, “데이터 정교함을 보존한 자체 모델 IDM v2를 허깅페이스에 공개했으며, MySQL 히트웨이브 기반의 데이터 분석 및 추천 연동 테스트도 OCI 환경에서 진행 중”이라고 말했다.

한국오라클 김태완 상무

“AI는 더 이상 일부 기업만의 기술이 아니다. 모든 기업이 사용할 수 있어야 한다.”

김태완 상무는 생성형 AI 인프라 전략을 설명하며, “LLM뿐 아니라 데이터베이스와의 통합이 스타트업 생산성을 높이는 핵심 전략”이라고 강조했다. 그는 오라클 DB 23ai가 제공하는 ‘셀렉트 AI’ 기능에 대해 “SQL을 자연어로 자동 생성하고 실행하며, 결과도 자연어로 요약해주는 기능”이라고 소개했다.

김 상무는 “데이터 스키마를 몰라도 비개발자가 원하는 정보를 추출할 수 있도록 해주는 이 기능은, 기존 RDBMS 데이터를 AI가 탐색 가능한 지식으로 전환하는 데 효과적”이라며, “오라클은 스타트업들이 현실적인 비용과 안정된 기술 기반으로 빠르게 혁신을 실현할 수 있도록 지속적으로 지원할 것”이라고 말했다.

신주백 기자  jbshin@kmjournal.net