최근 “평가방식을 개선하면 AI의 환각을 피할 수 있다”는 주장이 있다. 그런데 “AI의 환각은 수학적으로 불가피한 한계를 가지고 있다”는 주장도 있다. 서로 상반되는 이 주장들은 ‘오픈AI’가 공식적으로 발표한 것이다. 그것도 2025년 9월 4일 같은 날에.

이들 여러 기사들의 내용을 자세히 읽어 보고 그 출전을 찾아 보면 결국 ‘오픈AI’가 공식적으로 발표한 내용은 단지 하나였고, 서로 다른 제목을 단 기사들은 알고보니 동일한 ‘오픈AI’의 논문에 대해서 쓴 것들이었다는 것을 알 수 있다.

마코프 체인에서 시작된 확률 게임

거대언어모델(LLM)은 어느날 갑자기 새롭게 등장한 기술이 아니다. 이 기술의 시초는 물리학 수학 전자공학 경제학 전공자들 사이에는 이미 익숙한 1900년대 초에 발표되었던 ‘마코프 체인’이다. 이는 선후로 발생하는 두 사건 사이에는 확률이 존재하고 이를 잘 활용하면 숨겨진 패턴 법칙을 파악할 수 있다는 유용한 결과를 유발한다.

예를 들어 사람들이 사용하는 단어들 사이에도 이와 같은 확률 관계가 존재한다. A라는 단어 다음에 B라는 단어가 나올 확률이 C라는 단어가 나올 확률과 서로 다르고, B라는 단어 다음에 C라는 단어가 나올 확률과 A라는 단어, D라는 단어가 나올 확률이 또한 서로 다르기 때문에 각 단어 연쇄들 사이에 존재하는 이런 확률 분포를 추적한다면 인간 언어의 구조를 파악할 수 있다. 심지어 어떤 글이 있을 때 해당 글을 쓴 사람이 누구인지도 추측가능하게 된다.

여기서 한 걸을 더 나아가면 ‘은닉 마코프 모델’이라는 이론으로 발전하는데 이에 비터비(Viterbi) 알고리즘과 바움-웰치(Baum-Welch) 알고리즘이라는 기술이 더해지면 음성인식 음성합성 문장인식 문장합성을 해결할 수 있는 인공지능의 가장 강력한 도구가 된다.

여기까지의 연구가 이미 1970, 1980년대에 진행되었고, 1990년대를 거치면서 이 이론이 인공신경망 구조로 변환되는 또 한단계의 진전을 이루어서 2010년대와 2020년대에 들어서는 트랜스포머와 어텐션이라는 기술까지 더해지면서 거대언어모델의 구현에 성공하게 된 것이다. 즉, 거대언어모델은 그 태생 자체가 통계적 분포에 기반을 둔 확률 게임인 것이다.

이는 당연히 그 결과를 100% 신뢰할 수 없다는 결론에 이르게 한다. 던지면 10번에 9번은 앞면이 나오고 1번은 뒷면이 나오는 이상한 동전이 있다고 하자. 그런데 지금 이 동전을 던지면서 반드시 앞면이 나온다고 확신할 수 있는가? 대부분은 앞면이 나오겠지만 어떨 때는 뒷면도 나올 수 있다. 이런 현상들이 누적되게 되면 결국 AI의 환각이 되는 것이다.

오픈AI의 연구에 따르면 거대언어모델을 학습할 때 사용하는 평가방식도 이진 채점 방식을 택해서 ‘모른다’라는 답변에는 감점을 주고, 틀린 답이라도 자신감 있게 내면 보상을 주는 식이어서 환각 유발을 가속화 시키는 경향이 있다고 한다. 따라서 이런 평가방식을 잘 개선하면 AI의 환각현상을 줄일 수 있는 또 하나의 방법일 수도 있다고 주장한다. 지금까지 설명한 내용이 오픈AI가 지난 9월 4일에 공식 발표한 진짜 내용이었다.

최근 1년여 전부터 ‘AI 에이전트’라는 용어가 언론에 갑작스레 많이 등장하고 있다. 문제는 많은 사람들이 ‘AI 에이전트’에 대해 거는 기대는 자신이 속한 ‘조직의 직원’을 인공지능이 대체한다는 의미로 받아들인다. 과연 현 시점의 인공지능 기술이 사람이 수행하고 있는 ‘조직의 직원’ 역할을 대체할 정도일까?

필자의 판단으로는 아직까지는 아니다. 아무리 일머리가 없어 보이는 사람 직원도 인공지능에 비하면 훨씬 유연하게 판단하고 오류율도 낮다. 바로 이러한 기대치와 현실 사이의 괴리가 ‘AI 환멸’을 이끌어 내게 된다. 이는 사실상 인공지능 기술의 수익화와 투자유치에 몸부림치는 인공지능 서비스 제공업체들의 과장된 마케팅이 유발하고 있는 큰 부작용이다.

사람의 지시에 따라서 인공지능이 프로그램 코드를 생성하고 이를 사람이 감사하고 수정하는 방식의 ‘바이브 코딩’이 점차 발전함에 따라서 인공지능이 곧 개발자를 대체한다는 주장도 상당부분 과장이다.

인공지능에게 전체 프로그램을 모두 한꺼번에 맡기지 않고, 사람이 전체의 구조를 잡은 다음 각 객체 수준의 코드 개발 정도를 인공지능에게 맡긴다던지, 객체 또한 더욱 세분화시켜서 함수 수준의 코드 개발 정도를 인공지능에게 맡기는 방식은 상당히 좋은 결과를 도출한다.

환멸과 대체론, 과장된 기대가 부른 함정

인공지능이 만든 함수 수준의 코드를 보면 보안문제도 거의 없고, 재사용 가능할 정도로 잘 짜여진 경우가 많다. 하지만 함수 수준을 넘어서 객체 수준, 나아가 프로그램 전체를 인공지능에게 만들도록 해 그 결과 코드를 살펴보면 재사용이 거의 불가능하고, 전체적인 논리구조도 뒤엉켜있고, 보안 측면에서도 문제가 많음을 발견하게 된다. 즉 핵심은 인공지능을 어떤 분야에 어떤 식으로 어떤 수준으로 사용하는가이다.

이 관점에서 보자면 ‘인공지능 프로젝트를 추진한 95%의 기업이 투자대비 수익률(ROI) 달성에 실패한다’는 MIT의 보고서와 ‘인공지능 프로젝트를 추진한 73%의 기업이 1년 내에 ROI를 달성했다’는 구글의 보고서 사이의 모순도 마찬가지 논리로 이해할 수 있다.

MIT 보고서에 등장하는 기업들은 흔히 말하는 일반 기업들이었다. 반면 구글 보고서에 등장하는 기업들은 장기투자를 염두에 둔 충분한 예산을 확보하고, 인공지능 분야의 최고의 인재들을 이미 보유하고 있으며, 사내의 데이터들도 이미 인공지능을 감당할 수준으로 잘 정제되어 있고, 무엇보다 경영진이 적극지지 및 후원을 하는 기업들이었다.

대부분 AI 서비스 회사 수익성 불투명

“오픈AI가 2029년까지 우리 돈으로 161조원을 탕진하게 될 것으로 예상되고 다른 인공지능 서비스 회사들도 큰 적자를 볼 것이다”라는 주장이 있는 반면, “팔란티어 스노우플레이크 데이터브릭스 엔비디아 마이크로소프트 아마존 구글 오라클 등이 인공지능으로 큰 돈을 벌 것이다”라는 주장도 있다.

‘군집화’ ‘기억생성’ ‘분류’ ‘회귀’ ‘의사결정’ ‘자연어 처리’ 등의 분야들이 모여있는 곳이 인공지능이다. 팔란티어 스노우플레이크 데이터브릭스는 ‘군집화’ ‘분류’ ‘회귀’ ‘의사결정’ 등에 깊은 기술을 가지고 있고 그 대상 고객도 일반 소비자가 아닌 기업이나 정부와 같은 조직인 경우이다. 이런 서비스 모델은 생각보다 견고하고 수익성도 좋다.

엔비디아도 이와 비슷하다. 엔비디아를 돈방석에 앉게 해주는 회사는 오픈AI 엔트로픽 퍼플렉시티 구글 같은 인공지능 서비스 회사들과 마이크로소프트 구글 메타 애플 아마존 오라클과 같은 인공지능용 거대 데이터센터를 유지하는 인프라 회사들이다.

이들 인프라 회사들이 돈을 버는 구조도 엔비디아와 비슷하게 오픈AI 엔트로픽 퍼플렉시티와 같은 유명 인공지능 서비스 회사들과 전세계에 수없이 많은 중소규모의 인공지능 특화 서비스 회사들의 사용료이다.

문제는 이들 인공지능 서비스회사들이 아직까지도 수익화에 성공하지 못하고 거대한 투자금에 의존해서 살아가고 있다는 점이다. 특히 ‘기억생성’과 ‘자연어 처리’ 기술을 바탕으로 여러 인공지능 기술들을 부수적으로 조합해 일반인과 조직 모두에게 서비스하는 전세계적으로 손꼽히는 거대 인공지능 회사들의 수익성은 현재도 미래 전망도 매우 심각하다는 점이 충분히 우려스럽다.

이들 회사들에 문제가 발생하면 그 여파는 차례대로 인프라 회사, 엔비디아와 같은 1차 하드웨어 회사, 엔비디아에 납품하는 TSMC, 삼성전자, 하이닉스와 같은 2차 하드웨어 회사들, 나아가 전세계적으로 퍼져 있는 각 종 소재 부품 장비 회사들까지 연쇄적으로 충격파에 휩쓸리게 될 것이다.

앞으로 AI와 관련된 정보를 접할 때 인공지능이라는 한 단어의 내부에 적어도 여섯 개의 분야와 이들을 조합한 수 많은 분야가 있고, 이를 제공하는 각 회사들의 사업 구조도 천차만별이라는 사실을 미리 염두에 두면 해당 정보를 정확하게 이해하는데 큰 도움이 될 것이다.

이해성 내일e비즈 CTO/부사장