‘2025년 비즈니스에서 인공지능의 현황’이라는 26 페이지짜리 메사추세츠공대(MIT) 발간 보고서가 많은 사람들의 관심을 끌고 있다. 내용의 핵심은 대규모언어모델(LLM)을 기반으로 한 생성형 AI 프로젝트를 진행한 95%의 기업이 재무적 관점에서 실패에 가깝다는 것이다.

이는 어찌 보면 당연한 결과로 보이기도 한다. 왜냐하면 그 어떤 일이든 초기에는 여러 가지 시행 착오를 겪으면서 점차 발전해 나가기 때문이다. 하지만 그런 관용적인 마음가짐에도 불구하고 95%의 실패율은 이례적으로 높은 것이라 판단하기에 무리가 없다.

재미있게도 LLM이 AI의 대명사로 군림하게 되면서부터는 그 이전까지는 모든 AI 기능 테스트에서 가장 중요하게 여겨졌던 ‘정확도‘라는 관점이 조금씩 무력화되고 있다. 그 이유는 LLM이 사람처럼 말하는 기능이 워낙 탁월하기 때문에 그 말에 틀린 말이 섞여 있더라도 왠지 조만간 해결 가능한 사소한 문제로 느끼는 사람들이 많기 때문일 것이다.

하지만 이 환각 문제는 지난 수년 동안 별의 별 방법을 동원해서 해결하려고 해도 그 문제를 본질적으로 해결하지는 못하고 있고, 그러는 사이에 LLM의 현재 구조로는 환각 문제를 해결하지 못할 것이라는 주장이 점차 힘을 얻고 있다.

생성형 AI 프로젝트의 95%는 실패 가까워

참고로 이미지, 영상, 음성, 음악 생성과 같은 기능도 LLM이 포함하는 것으로 대부분 사람들이 착각하지만 이는 LLM을 단지 명령을 입력받는 인터페이스로 활용하는 것 뿐이고, 실제로는 '기억생성'이나 그 중에 하나인 '적대적 신경망(GAN)'에 속하는 AI 기술이다.

LLM이 최근 많이 사용되고 있는 프로그래밍 분야 이른바 '바이브 코딩'도 아직은 완벽하지 않다. LLM이 생성한 코드를 그대로 쓰는 건 위험천만하다.

결국 MIT 보고서에서 말한 95% 프로젝트가 실패하는 이유를 한 마디로 말하자면 'LLM을 기반으로 한 생성형 AI가 아직은 완벽하지 않다'라는 것에 있다.

그럼에도 불구하고 AI 분야에서 최근들어 돈을 잘 벌고 있는 회사들이 존재한다. 대표적으로 팔란티어, 스노우플레이크(Snowflake), 데이터브릭스(Databricks) 등을 들 수 있다.

이 회사들은 AI 산업군에 속하지만 LLM 관련 회사들은 아니다. AI의 6대 기술 영역인 ‘군집화’, ‘기억생성’, ‘분류’, ‘회귀’, ‘의사결정’, ‘자연어처리’ 중에서 주로 ‘군집화’, ‘분류’, ‘회귀’, ‘의사결정’을 활용하여 기업과 조직의 실질적이고 현실적인 문제 해결을 돕는 회사들이다.

그리고 이들의 기술은 높은 정확도와 인간 사고의 유연함이라는 AI의 원래 목표에 충실한 것이어서 기업고객들은 그 결과값들을 신뢰할 수 있고 그 만큼의 업무 처리 속력 향상 및 비용 절감이라는 재무성과를 달성하게 되는 것이다.

스노우플레이크는 클라우드를 기반으로 데이터웨어하우징(빅데이터라는 개념이 등장하기 전까지 매우 큰 데이터들을 처리하는 기술을 말하던 용어)을 처리해 주었던 기업인데 매우 간략하면서도 효율높은 사용자 인터페이스로 큰 호응을 받고 있는 회사이다.

데이터브릭스는 비정형 데이터(데이터베이스 시스템에 들어가 있지 않은 여러 가지 형태의 데이터들을 말하는 용어)를 전문적으로 처리해주었던 회사이다.

최근 들어 스노우플레이크와 데이터브릭스가 수 많은 기업고객들을 확보하게 된 계기는 많은 기업들이 LLM과 같은 최신 AI 기술들을 도입하려고 했더니 막상 자신들의 사내 데이터들이 AI를 수용할 준비가 전혀 되어 있지 않다는 것들을 깨달았고 이 문제를 해결해 줄 회사들을 찾았기 때문이다.

스노우플레이크 등 기업 생산성 향상에 성과

그리고 각 기업들이 보유한 사내 데이터들을 정비하는 과정에서 각각의 회사들마다 자신들의 생산성에 진짜로 도움이 되는 AI 기술들이 어떤 것들인지를 새삼 깨닫게 되었고 이를 공급해주는 해결사로서 팔란티어, 스노우플레이크, 데이터브릭스 등이 재발견되었기 때문이다. 이들 가운데 팔란티어와 스노우플레이크는 이미 공개 상장된 회사인데 반하여 데이터브릭스는 현재 1000억달러 이상의 가치로 2026년 경 상장될 것으로 예상되고 있다.

이해성 내일e비즈 CTO/부사장