최근 국내 유수의 국책연구소에서 AI 전환을 책임지는 팀을 이끌고 있는 관계자와 대화를 나눌 기회가 있었다. 이 만남은 국책연구소의 AI 담당자로부터 생생한 현장의 상황과 고민을 들을 수 있는 소중한 시간이었다.

화학 물리 바이오 분야 등 한국의 유수 인재들이 각자의 자리에서 수십 년간 연구하고 축적한 데이터를 거대언어모델(LLM)과 접목해 난제를 풀어가는 새로운 단초를 찾아나가는 과정은 진지했다.

국내 연구소 인프라통합 어려움이 던지는 질문

하지만 현장의 현실적인 고충이 수면 위로 떠올랐다. 관계자는 개별 실험실별로 파편화되어 존재하는 컴퓨팅 자원을 하나로 모아 대규모 풀(Pool)을 구축하고, 이를 통해 연구소 차원의 거대한 난제를 해결하려는 시도가 번번이 장벽에 부딪히고 있다는 토로를 곁들였다. 필자가 그 이유를 묻자, 그는 두 가지 답변을 내놓았다.

첫째는 한국 연구생태계의 고질적인 과제중심제도(Project Based System, ) 기반의 자산구조 때문이다. 개별 프로젝트 예산으로 확보한 컴퓨팅 자원은 해당 연구실의 ‘사유재산’처럼 인식되는 경향이 강해, 이를 공공의 자원으로 기꺼이 공유하려는 유인이 부족하다. 두번째는 자원을 한데 모은다 하더라도 이를 실질적으로 하나로 묶어 운영할 수 있는 하드웨어 및 소프트웨어 통합 운영(Orchestration) 역량이 부재하다는 점이었다.

이 대목에서 필자는 과거 엔비디아(NVIDIA)에서 근무하던 시절의 에피소드가 떠올랐다. 약 10여년 전 엔비디아는 ‘DGX’라는 AI 학습용 전용 서버를 시장에 내놓기 시작했다.

엔비디아가 DGX를 판매하며 강조한 핵심 가치는 ‘즉각적인 가용성’이었다. 과거에는 숙련된 엔지니어가 AI 학습을 위한 OS 세팅, 드라이버 설치, 라이브러리 최적화에만 100시간 이상을 쏟아야 했지만 DGX는 전원을 켜고 소프트웨어를 내려받는 것만으로 단 두 시간 만에 학습 준비를 끝낼 수 있었다.

이 전략은 비즈니스 측면에서 경이로운 성공을 거두었지만 경계해야 할 대목도 있었다. 전세계 연구기관들이 DGX를 대량 구매하며 ‘학습의 속도’는 얻었지만 그 과정에서 수없이 겪어야 했던 기술적 시행착오와 인프라 최적화 경험을 쌓을 기회는 통째로 박탈당했다.

현재 국내 연구소들이 겪는 인프라 통합의 어려움은 어쩌면 우리가 편의성을 위해 ‘블랙박스’ 형태의 외산 솔루션에 의존해 오느라 시스템의 밑바닥을 설계하고 운영할 역량을 키우지 못한 필연적인 결과일지도 모른다.

이 상황이 더욱 우려되는 이유는 AI 기술의 주도권이 단순한 ‘모델 성능’에서 ‘운영 효율과 인프라 최적화’로 이동하고 있기 때문이다. 오늘날 AI 서비스의 성패는 인퍼런스(추론) 비용을 얼마나 낮추느냐에 달려 있으며, 미래 컴퓨팅 환경에서도 기반 인프라 통제권은 핵심 경쟁력이 될 것이다.

‘기반기술' 부족에 대한 반성과 장기적인 관점의 투자 필요

우리는 90년대 말 스탠퍼드 대학의 세르게이 브린과 래리 페이지가 보여준 도전을 기억해야 한다. 당시 윈도우 OS가 서버 시장까지 장악하려 할 때 그들은 리눅스(Linux)라는 오픈 소스를 기반으로 폐컴퓨터 수백 대를 연결해 거대한 분산 컴퓨팅 환경을 구축했다. 이것이 오늘날 구글의 시작점이다.

우리는 독자적인 파운데이션 모델(Foundation Model)을 만드는 ‘거대담론’에 매몰되어 있다. 그러나 정작 글로벌 AI 전쟁에서 승패를 가르는 무기는 수만 대의 컴퓨터를 유기적으로 연결해 마치 하나의 유기체처럼 구동하는 역동적인 클라우드 운영 기술과 분산 처리 시스템 역량이다. 이를 완벽히 상업화한 국가는 현재 미국과 중국뿐이다. 한국이 이러한 ‘기반기술’에 대한 처절한 반성과 장기적인 관점의 원천 투자가 절실하다.

차정훈

전 중기부 창업벤처혁신실장