샌프란시스코에서 열린 엔비디아 GTC 현장에서 가장 인상적이었던 메시지는 단순한 신제품 발표가 아니었다. 젠슨 황 CEO는 AI 산업을 바라보는 기준 자체가 바뀌고 있다고 선언했다. 핵심은 명확하다. 이제 AI 산업의 중심은 학습(training)이 아니라 추론(inference)이며, 데이터센터는 더 이상 데이터를 저장하는 공간이 아니라 토큰을 생산하는 ‘AI 공장’이 되고 있다는 점이다.

그동안 시장은 AI 경쟁력을 주로 모델 크기와 학습 성능 중심으로 바라봐 왔다. 그러나 생성형 AI가 추론형 모델로 진화하고, 코딩·리서치·업무 자동화까지 수행하는 에이전트가 등장하면서 상황이 달라졌다. AI가 답변만 생성하는 수준을 넘어 스스로 사고하고, 파일을 읽고, 코드를 실행하고, 업무를 수행하기 시작하면서 컴퓨팅 수요는 구조적으로 급증하고 있다.

젠슨 황이 말한 “Inference inflection(추론의 변곡점)”은 바로 이 지점을 뜻한다. AI가 실제 노동력으로 쓰이기 시작하면서 토큰 사용량과 컴퓨팅 수요가 폭발하는 변곡점이 도래했다는 의미다.

AI 인프라 평가 기준이 바뀌고 있다. GPU 개수나 FLOPS 같은 하드웨어 중심 지표 대신, 단위 전력당 토큰 수, 토큰 처리 속도, 토큰당 비용이 새로운 핵심 지표로 부상하고 있다. 제한된 전력 안에서 얼마나 많은 토큰을, 얼마나 빠르고 싸게 생산할 수 있느냐가 AI 공장의 생산성을 결정하기 때문이다. 이 프레임에서 보면 엔비디아가 강조하는 강점도 분명해진다. 엔비디아는 더 이상 자신을 GPU 회사로 설명하지 않는다. 쿠다(CUDA)와 라이브러리, 네트워크, 스토리지, 소프트웨어 최적화까지 결합한 수직통합 플랫폼 기업으로 자신을 정의한다. 즉, 칩이 아니라 ‘토큰 경제’를 가장 효율적으로 굴리는 운영체제를 팔겠다는 것이다.

이번 GTC의 또 다른 핵심은 에이전트 시대의 도래였다. 젠슨 황은 앞으로 모든 SaaS 기업이 단순한 소프트웨어 회사를 넘어 ‘Agentic-as-a-Service’ 기업으로 변할 것이라고 말했다. 과거의 소프트웨어가 사람이 직접 쓰는 도구였다면, 앞으로의 소프트웨어는 스스로 일하는 디지털 에이전트를 포함하게 된다. 다만 기업 환경에서 에이전트가 확산되기 위해서는 성능보다 보안과 통제가 더 중요하다. 민감한 데이터를 읽고 외부와 통신하며 실제 업무를 수행하는 에이전트는 강력한 정책 엔진과 프라이버시, 가드레일이 전제되어야 한다. 엔비디아가 Nemo 기반의 기업용 참조 스택과 오픈모델 전략을 함께 강조한 이유도 여기에 있다.

결국 이번 GTC가 보여준 것은 AI 산업이 이제 ‘누가 더 큰 모델을 만드느냐’의 경쟁을 넘어 ‘누가 더 낮은 비용으로 더 많은 토큰을 생산하고, 이를 실제 산업에 배치하느냐’의 경쟁으로 넘어가고 있다는 사실이다. AI 2막의 승자는 모델 회사만이 아니라, 토큰 공장을 설계하고 에이전트를 현실에 배치할 수 있는 플랫폼 기업이 될 가능성이 높다. 그 점에서 이번 GTC는 AI 산업의 다음 싸움이 무엇인지 명확히 보여준 자리였다.