샘 울트먼이 구글이 최근 발표한 ‘제미나이 3.5’를 보고 오픈AI 사내에 ‘코드 레드’를 발동한 지 얼마 지나지 않아 오픈AI는 챗GPT5.2를 발표했다. 그런데 챗GPT5.2는 대부분의 벤치마크에서 구글 제미나이3.5를 다시 뛰어 넘었다. 일단 현 시점에서 최고의 성능을 가진 ‘거대언어모델(LLM)’이라는 타이틀을 다시 가져 온 것이다.

구글이 수년 동안의 절치부심 노력 끝에 마침내 달성한 제미나이3.5 프로의 ‘나노 바나나’ ‘앤티그래비티’에서 보여준 성능 향상의 놀라움도 한 달 정도의 영광이었고 오픈AI는 아직도 저력이 살아있음을 전세계에 과시한 것이다.

특히 그 동안 오픈AI가 가장 신경썼던 부분은 LLM의 태생적 한계로 의심받는 ‘환각현상 완화’ 즉 거대언어모델이 거짓말을 하는 빈도를 줄이는 데 있었던 것처럼 보인다. 벤치마크에서도 챗GPT5.2가 기존의 다른 모든 모델과 버전보다 환각 유발 테스트에서 가장 좋은 방어 성능을 보여주었다.

LLM 경쟁에 한발 앞선 오픈AI와 구글

LLM 기반 서비스라는 분야에서 오픈AI 구글과 더불어 치열하게 경쟁하고 있는 엔트로픽, 퍼플렉시티, 메타(페이스북), 엑스(트위터)는 최근 들어 신규 버전 개발 속력이라는 관점에서 보자면 점차 이 두 회사에 뒤처지고 있는 것으로 보인다. 최근 들어 ‘AI거품론’이 화두가 된 상황에서 만약 인공지능 회사들의 거품이 꺼진 뒤 살아 남는 회사가 누구일지에 대한 논의에서 이제는 가장 손에 꼽히는 회사가 오픈AI와 구글이 되어 가고 있는 것 같다.

전세계의 검색엔진 시장은 사실상 구글이 1등으로 독점하고 있는 상황에서 마이크로소프트(MS)의 빙이 2위 자리를 간신히 지키면서 그나마 존재하고 있는 것이 현실이고, 개인 컴퓨터용 운영체제 시장도 MS의 윈도우가 80%가 넘는 점유율로 압도적 1위를 기록하는 가운데 애플의 MacOS가 2위 자리를 지키면서 존재감을 유지하고 있다.

아마도 LLM 서비스 시장도 이런 구도가 될 확률이 높아 보인다. 압도적인 점유율을 유지하는 1위 회사와 1위 회사의 완전 독점만은 막아야만 할 다른 회사들의 치밀한 전략적 계산 덕분에 존재 유지에 큰 도움을 받아서 생존할 2위 회사의 구도로 갈 것 같다.

현재 LLM 시장의 80%라는 압도적 점유율을 유지하고 있는 오픈AI는 MS 소프트뱅크 디즈니 AMD 엔비디아 오라클 아마존 등 세계적인 유력회사들로부터 큰 투자를 유치해 왔음은 물론이고 긴밀한 업무 협력망을 유지하는 ‘대마불사’ 또는 ‘물귀신 전략’을 구사하고 있다.

구글은 그동안 엔트로픽에 투자를 진행해왔고, 업무 제휴도 연결되어 있었지만 앞으로는 엔트로픽과의 협업보다는 자신의 서비스인 제미나이에 더욱 주력할 전망이다. 그렇게 되면 엔트로픽, 재무적 관점에서 가장 규모가 작은 퍼플렉시티, 경쟁사 대비 성능이 아직도 뒤떨어져 있는 메타의 라마, 최근들어 신규 버전 발표 시간이 점차 길어지는 느낌이 드는 엑스의 그록, 최신 하드웨어 확보에 큰 장애를 가지고 있는 중국 업체들은 오픈AI, 구글에 비해서 점차 경쟁력을 상실할 것으로 보인다.

따라서 앞으로도 생존할 확률이 현 시점에서 가장 높아 보이는 오픈AI와 구글의 경쟁 상황을 중심으로 이 두 회사들과 관련된 다른 회사들의 상황을 심층적으로 바라 보는 것이 미래 예측의 핵심이라 할 수 있겠다.

구글의 TPU가 가져온 지형변화

구글이 제미나이 3.5를 발표했을 때 가장 큰 관심을 받은 부분이 바로 TPU(Tensor Processing Unit)이다. 한마디로 인공지능 전용칩이다. 이 분야는 엔비디아가 사실상 독점하고 있으나 TPU는 엔비디아 GPU를 크게 잠식할 수 있는 잠재력을 가지고 있다.

TPU와 관련된 잘못된 정보들이 국내외 여러 언론에서 소개되기도 한다. TPU는 학습 단계보다는 일단 학습이 완료된 이후 추론(Inference) 단계에서 활용되는 것이 주요 목표이기 때문에 학습 단계에서 독보적인 엔비디아의 GPU와는 쓰임새가 다르다는 주장이 있는데 이는 완전히 잘못된 것이다.

초기인 TPU 버전1은 오직 추론 단계에서의 활용을 목표로 만들어 진 것이 사실이지만 이후 버전2부터 현재의 버전5까지는 추론 단계는 물론이고 학습 단계에서도 사용 가능하게 설계되고 생산됐다. 그렇기에 제미나이3.5는 엔비디아 GPU 없이 오직 구글 자신들의 TPU만으로 학습과 추론을 모두 구현할 수 있었다.

또 하나 성급한 예측은 엔비디아의 GPU가 막강한 이유는 이를 활용할 수 있게 해주는 쿠다(CUDA)라는 소프트웨어 라이브러리이고, 이미 전세계의 대부분 인공지능 서비스들이 CUDA 위에서 구축되어 있기 때문에 엔비디아 GPU를 TPU가 대체하기는 힘들 것이다라는 주장이다.

이말은 일면 사실이다. 그런데 현재의 인공지능 관련 서비스들은 더 이상 엔비디아 GPU 위에 CUDA 계층이 있고, 그 위에 자신들의 서비스 계층이 존재하는 방식이 아니라 엔비디아 GPU위에 CUDA 계층이 있고, 그 위에 메타가 오픈한 파이토치 또는 구글이 오픈한 텐서플로우 계층이 있고, 그 위에 자신들의 서비스 계층이 존재하는 방식이 대부분이다.

구글은 이미 자신들의 서비스를 위해서 텐서플로우가 TPU를 지원하도록 수정완료했다. 만약 메타가 개발을 지휘하고 있는 파이토치 소트프웨어 라이브러리에서 TPU를 지원하도록 한다면 순식간에 CUDA는 그 영향력을 상실할 수도 있다. 왜냐하면 앞에서도 이미 언급한대로 전세계의 수많은 인공지능 서비스들 대부분이 CUDA를 직접 사용하기보다는 파이토치나 텐서플로우를 통해 간접 사용해 왔기 때문이다.

이런 상황에서 얼마전 메타는 구글과 TPU 사용에 대한 협력을 발표했고, 심지어 구글과 서비스 시장에서 직접 격돌하고 있는 오픈AI도 TPU 사용에 대해서 검토한다는 소문이다.

엔비디아 독점 시장 깨질지 관심

한편 엔비디아에서도 GPU의 가격을 대폭 낮출 수 있는 기술이 이미 개발되어 있다는 소식도 있다. 만약 신규 엔비디아의 제품이 구글의 TPU보다 저렴하다면 독점을 유지할 수도 있겠지만 그 가격 차이가 그리 크지 않다면 다른 회사들이 전략적으로 TPU를 채택할 수도 있을 것이다. 왜냐하면 이는 그동안 엔비디아가 시장의 독점적인 지위를 이용하여 큰 폭리를 취해왔음을 반증하는 현상이기 때문이다.

또 다른 변수들로는 인텔의 외장형 GPU인 아크(Arc)와 NPU(Neural Processing Unit)인 가우디(Gaudi), 그리고 AMD의 외장형 GPU인 ‘라데온 RX’와 NPU인 ‘Instinct MI’를 생각할 수 있다.

하지만 엔비디아의 CUDA에 해당되는 인텔의 소프트웨어 라이브러리인 oneAPI와 AMD의 소프트웨어 라이브러리인 ROCm의 입지에는 많은 차이가 있다. 전세계 인공지능 서비스 회사들이 사용하는 파이토치와 텐서플로우에서 oneAPI나 ROCm을 지원할 뚜렷한 이유를 찾지 못하고 있기 때문이다.

TSMC와 삼성전자가 미래 좌우할 수도

그런데 TPU의 장밋빛 미래를 좌우할 뜻 밖의 변수는 바로 실제로 하드웨어 칩의 생산을 담당하고 있는 파운드리 업체들이다. 현재 엔비디아의 GPU든 구글의 TPU든 이 정도 수준의 칩을 생산할 수 있는 기술을 가진 업체들은 70%라는 압도적 점유율을 가지고 있는 대만의 TSMC, 한국의 삼성전자 뿐이다.

인텔 파운드리도 최근들어 TSMC와 삼성전자 정도의 기술력에 도달한 것으로 판단되지만 현재는 자신들의 CPU와 아이리스, 아크 등의 GPU, 그리고 가우디와 같은 NPU(Neural Processing Unit : 추론 전용 인공지능 칩) 등을 생산하기에도 정신이 없어 보인다. 시장의 3위 업체인 중국의 SMIC는 점유율은 대략 5%에 이르지만 최첨단 기술력을 확보하지 못하고 있다. 결국 엔비디아의 GPU냐 구글의 TPU냐의 결과는 오히려 TSMC와 삼성전자의 선택에 달려 있는 경쟁일 수도 있다.

한편 일본의 라피더스도 2027년에 TSMC 삼성전자 인텔과 동등한 기술력을 달성하기 위한 로드맵을 착실히 성공시켜 나가고 있기는 하지만 이 회사 목표가 일본내부의 수요를 먼저 수용하기 위한 것이라고 천명한 만큼 아직까지는 전세계 시장의 플레이어로는 고려하지 않아도 될 듯하다.

이해성 내일e비즈 CTO/부사장