실리콘밸리의 AI 열풍이 하드웨어 공급망의 한계에 부딪히고 있다. 27일(현지시간) 영국 시사주간지 이코노미스트는 AI 모델이 처리하는 텍스트 단위인 토큰을 최대한 많이 쓰는 이른바 토큰맥싱(tokenmaxxing) 경쟁까지 확산됐지만, 이를 뒷받침할 칩과 서버, 전력 인프라 투자는 수요를 따라가지 못하고 있다고 분석했다.

올해 1~3월 AI 모델 중개 플랫폼인 오픈라우터에서 처리된 주간 토큰 수는 4배로 늘었다. 수요가 급증하자 AI 기업들은 이미 사용량 제한에 들어갔다. 앤스로픽은 3월부터 혼잡 시간대 서비스 접근을 제한했고, 4월에는 서비스 장애가 하루 평균 30분가량 발생했다.

오픈AI는 3월 동영상 생성 도구 소라를 중단하고 부족한 컴퓨팅 자원을 수익성이 높은 서비스에 돌렸다. 마이크로소프트가 소유한 깃허브도 4월 20일 코딩봇 신규 구독을 받지 않기 시작했다.

기업들은 더 큰 투자로 대응하고 있다. 앤스로픽은 4월 20일 아마존과 최대 5GW 서버 용량을 확보하는 1000억달러 규모 제휴를 발표했다. 4월 24일에는 구글이 앤스로픽의 컴퓨팅 수요를 지원하기 위해 400억달러를 투자한다고 밝혔다. 오픈AI도 4월 27일 마이크로소프트와의 제휴 구조를 손질해 모든 클라우드 업체를 통해 제품을 배포할 수 있도록 했다.

알파벳, 아마존, 메타, 마이크로소프트, 오라클 등 5대 클라우드 대기업은 데이터센터에 각각 수천억달러를 투입하고 있다. 알파벳, 아마존, 오라클은 올해 이미 1000억달러 넘는 회사채를 조달했다. 그러나 데이터센터 건설은 정치적 반발에 막히고 있다. 지난해 미국에서는 지역 반대와 소송으로 1560억달러 규모 데이터센터 프로젝트가 막히거나 지연됐다.

문제는 건물을 지어도 채울 장비가 부족하다는 점이다. 엔비디아 GPU는 세계 AI 컴퓨팅 파워의 3분의 2 이상을 제공한다. 2022년 출시된 H100 GPU 임대료는 11월 이후 약 30% 뛰었다. 고대역폭 메모리도 병목이다. SK하이닉스, 삼성전자, 마이크론은 2026년 공급 물량 대부분이 이미 팔렸다고 밝혔다. 수요는 앞으로 최소 3년간 공급을 웃돌 것으로 예상된다.

AI 에이전트 확산은 CPU 부족까지 불러오고 있다. 모건스탠리는 에이전트형 AI가 GPU 1개당 CPU 1개를 필요로 한다고 추산했다. 챗봇형 AI의 GPU 12개당 CPU 1개와 큰 차이다. 이 수요 덕분에 인텔 시가총액은 최근 6개월간 2배 넘게 늘었다.

핵심은 투자 속도의 불일치다. 5대 클라우드 대기업의 올해 설비투자는 2024년 2340억달러에서 6770억달러로 190% 늘었다.

반면 칩, 서버, 네트워크 장비, 냉각 장비 공급업체들의 투자는 1530억달러에서 2230억달러로 45% 증가하는 데 그쳤다. TSMC의 최첨단 공장도 이미 최대 가동 중이다. 새 반도체 공장을 짓는 데는 2~3년이 걸린다. 소프트웨어 개선은 몇 달이면 가능하지만 공급망 확장은 몇 년이 걸린다는 것이 AI 산업의 근본적 불안 요인이다.

이주영 기자 123@naeil.com