국내외 통신사 반도체 기업들이 뭉쳐 추론 맞춤형 인공지능(AI) 인프라 혁신에 나선다.

SK텔레콤은 9일 글로벌 반도체 설계 기업 Arm, 국내 AI 반도체 기업 리벨리온과 차세대 AI 인프라 혁신을 위한 전략적 파트너십(MOU)을 체결했다고 10일 밝혔다.

협약을 통해 3사는 Arm이 새롭게 출시한 ‘Arm AGI CPU’와 리벨리온이 올해 3분기 출시 예정인 신경망처리장치(NPU) ‘리벨카드’를 서버에 같이 탑재해 AI 추론 성능을 높일 수 있는 설루션을 공동 개발하고 SK텔레콤 AI데이터센터에서 실증하기로 했다.

이번 협력 배경에는 AI 산업이 AI 모델을 만드는 ‘학습’에서 실제 서비스를 제공하는 ‘추론’으로의 패러다임 변화가 있다. 최근 AI 인프라 핵심과제는 학습을 위한 막대한 연산 능력보다는 얼마나 적은 전력으로 얼마나 빠르고 저렴하게 AI 서비스를 제공할 수 있느냐로 변하고 있다. 추론은 365일 쉬지 않고 작동해야 되기 때문에 전력 효율이 곧 비용 경쟁력과 직결된다.

AI 추론은 학습과 달리 상대적으로 가벼운 연산을 빠르고 반복적으로 처리하는 작업이다. GPU는 이런 추론 작업에도 사용할 수 있지만 마치 대형 트럭으로 택배를 배달하는 것처럼 과도한 전력을 소모하고 비용이 높다. 이에 업계에서는 추론에 특화된 전용 칩 NPU가 새로운 대안으로 부상하고 있다.

이러한 NPU에 CPU를 결합하는 이유도 명확하다. 실제 AI 서비스 운영에서는 AI 연산 외에도 데이터 입출력, 네트워크 통신, 메모리 관리, 작업 스케줄링 등 다양한 범용 처리가 동시에 필요하다. CPU가 시스템의 관제탑 역할을 하며 데이터 흐름과 시스템 운영을 총괄하고 NPU가 AI 추론 연산을 전담하는 ‘이종 컴퓨팅’ 구조가 효율성이 높은 것이다.

Arm AGI CPU는 Arm이 35년 역사상 처음으로 직접 생산에 나선 데이터센터용 프로세서다. AI 추론 서비스에 최적화된 것이 특징이다. 리벨리온의 리벨카드도 대규모 AI 추론에 특화된 NPU다.이 두 칩을 한 서버안에 탑재해 CPU가 데이터 처리와 시스템 운영 등 범용 연산을 담당하고 NPU가 AI 추론 연산을 전담하면 전력 효율을 높이고 운영 비용을 줄일 수 있다.Arm과 리벨리온은 이미 지난 3월 진행된 ‘Arm 에브리웨어’ 행사에서 양사의 칩을 결합해 오픈 AI의 언어모델인 GPT OSS 120B 기반의 에이전틱 AI 서비스를 실시간으로 시연한 바 있다.

SKT는 이 설루션이 적용된 서버를 자사 AI 데이터센터에 탑재해 성능과 안정성을 검증할 계획이다. 특히 해당 서버로 SK텔레콤이 독자 개발한 AI 파운데이션 모델 에이닷엑스 케이원을 운영하는 방안도 검토 중이다. SK텔레콤은 이번 협력을 통해 저전력·고효율 AI 추론 인프라를 확보하고 AI DC 사업 경쟁력을 한층 높일 계획이다.

고성수 기자 ssgo@naeil.com