인공지능(AI)이 사람들이 웹을 탐색하는 방식을 바꾸면서 인터넷의 핵심 경제구조도 함께 변화하고 있다. 오랫동안 온라인 광고를 통해 수익을 창출해온 ‘인간 방문자 트래픽’이 점점 줄어들고 있는 것이다. 이에 따라 콘텐츠 제작자들은 AI 기업들이 자신들의 정보를 사용하는 대가를 지불하도록 만들 새로운 방법을 찾기 위해 안간힘을 쓰고 있다. 이에 실패한다면 지금의 열린 인터넷(Open Web)은 완전히 다른 모습으로 진화할 수 있다는 분석이 나온다.

15일(현지시각) 영국 이코노미스트지에 따르면 지난해 초 ‘클라우드플레어’ CEO 매튜 프린스는 굴지의 미디어기업 CEO들로부터 다급한 전화를 받았다. 클라우드플레어는 전세계 웹사이트 약 1/5에 보안 인프라를 제공하는 기업이다. 미디어기업들은 “심각한 위협이 닥쳤다”고 호소했다. 프린스 CEO가 “북한 해킹이냐”고 묻자 그들은 “아니다. AI가 범인”이라고 입을 모았다.

미디어 경영진들은 AI가 사람들의 웹 탐색 방식을 근본적으로 바꾸기 시작했다는 초기 신호를 감지했던 것. 이제 사용자들은 기존 검색엔진 대신 챗봇에 질문을 던져 바로 ‘답변’을 받는다. 그 결과 뉴스 사이트나 온라인 포럼, 위키피디아 같은 참고 사이트 등 다양한 콘텐츠 제공자들은 웹사이트 방문자 수가 눈에 띄게 줄어드는 현상을 겪고 있다.

정보검색 방식 근본적으로 바뀌어

2022년 말 오픈AI의 챗GPT가 출시된 이후 사람들은 정보를 찾는 새로운 방식을 빠르게 받아들였다. 오픈AI에 따르면 현재 약 8억명의 사용자가 챗GPT를 사용중이다. 이 앱은 아이폰 앱스토어에서 가장 많이 다운로드된 앱이다. 애플은 올해 4월 “사상 처음으로 브라우저 사파리의 검색량이 감소했다”고 밝혔다. 오픈AI는 조만간 자체 웹브라우저도 출시할 예정이다.

오픈AI 같은 신생 AI 기업들이 급부상하자 미국 검색시장의 약 90%를 점유하는 구글(Google) 역시 이에 뒤처지지 않으려 자사 검색엔진에 AI 기능을 도입했다. 지난해부터 일부 검색결과에 AI가 생성한 요약(overviews)을 추가하기 시작했다. 현재는 거의 모든 검색에서 이를 볼 수 있다. 지난 5월에는 챗봇 형태의 검색엔진 ‘AI 모드(AI mode)’도 출시했다. 구글은 이제 사용자가 직접 검색하는 대신 ‘구글이 대신 검색해준다(Google does the Googling for you)’고 홍보한다.

구글이 검색을 ‘대신’해주면서 이용자들은 해당 정보가 담긴 웹사이트를 실제 방문하지 않게 됐다. 1억개 넘는 웹 도메인 트래픽을 추적하는 ‘시밀러웹’에 따르면 전세계 검색 트래픽(인간 사용자 기준)은 지난 1년간 약 15% 감소했다. 취미 관련 사이트처럼 영향을 거의 받지 않은 분야도 있지만, 많은 카테고리들이 직격탄을 맞았다. 특히 검색결과로 자주 등장하던 사이트들이 큰 타격을 입었다. 과학·교육 분야 사이트는 방문자가 10% 감소, 참고정보 사이트는 15%, 건강 관련 사이트는 무려 31%가 줄었다.

광고나 구독으로 수익을 내는 기업들에게 방문자 감소는 곧 수익 감소를 의미한다. ‘피플(People)’ ‘푸드&와인(Food & Wine)’ 등의 매체를 소유한 ‘닷대시 매러디스’ 대표 닐 보겔은 “우리는 오랫동안 구글과 아주 좋은 관계를 유지해 왔다. 그런데 구글이 그 계약을 깨버렸다”며 “구글이 우리 콘텐츠를 훔쳐가 우리와 경쟁하고 있는 셈”이라고 말했다.

3년 전만 해도 이 회사의 트래픽 중 60% 이상이 구글에서 유입됐지만 현재는 30%대 중반으로 떨어졌다. 구글은 자사의 콘텐츠 활용 방식이 ‘공정한 사용(fair use)’이라고 주장한다. 하지만 시밀러웹 추정에 따르면 구글이 AI 요약을 도입한 이후 뉴스 관련 검색 중 실제 클릭으로 이어지지 않는 비율이 56%에서 69%로 증가했다. 즉 10명 중 7명은 해당 콘텐츠를 제공한 웹사이트를 실제로 방문하지 않고 답만 받아간다는 의미다.

IT개발자 웹사이트 ‘스택오버플로’의 CEO 프라샨스 찬드라세카는 “인터넷의 본질이 완전히 바뀌었다”며 “방문자 수가 줄면서 질문 글 자체가 줄어들고 있다”고 말했다. 자원봉사자들이 만드는 온라인 백과사전 위키피디아 역시 출처 없이 생성된 AI 요약으로 사람들이 사이트에 접근하고 기여하는 경로가 차단되고 있다고 호소한다.

콘텐츠 제작사들 강온양면전략 펴

대형 콘텐츠 제작사들은 트래픽과 수익을 유지하기 위해 AI 기업과 라이선스 계약을 맺거나 소송을 제기하는 강온양면전략을 펴고 있다. 월스트리트저널과 뉴욕포스트 등을 소유한 뉴스코프 CEO 로버트 톰슨은 이 전략을 ‘구애와 소송(wooing and suing)’으로 부른다. 뉴스코프는 오픈AI와는 계약을 체결했지만 또 다른 AI 서비스인 퍼플렉시티와는 자회사 둘을 내세워 소송중이다. 뉴욕타임스는 아마존과 계약을 맺었지만 동시에 오픈AI를 고소중이다.

하지만 이 방식에는 한계가 있다. 현재까지 법원은 AI 기업 쪽에 우호적인 태도를 보이고 있다. 지난달 캘리포니아에서 있었던 2건의 저작권 소송에서 메타와 앤트로픽은 AI모델 훈련에 다른 사람의 콘텐츠를 사용하는 것은 공정 이용에 해당한다는 주장을 펼쳐 승소했다.

도널드 트럼프 대통령도 실리콘밸리 논리를 받아들이는 모양새다. 그는 AI 기술 개발을 중국보다 먼저 해야 한다는 입장을 지지하며 친테크 인사들을 AI 자문으로 임명했다. 또 ‘저작권이 있는 콘텐츠를 AI 훈련에 사용하는 것은 불법일 수 있다’고 주장한 미국 저작권청장을 해임했다.

AI 기업들은 지속적인 정보 접근에 대해선 비용을 지불할 의향이 있다는 입장이다. 하지만 현재까지 체결된 계약은 매력적인 수준이 아니다. 대표적으로 온라인 커뮤니티 레딧은 사용자들이 생성한 콘텐츠를 구글에 연간 약 6000만달러(약 830억원)에 라이선스했다. 하지만 검색 트래픽이 흔들리며 이용자 증가가 둔화됐고, 올해 2월 시장가치가 절반 이상 증발해 200억달러 이상 손실을 입었다.

더 큰 문제는 웹에 존재하는 수억개의 사이트 대부분은 너무 작아서 AI 기업을 상대로 ‘계약을 맺거나 고소하는 것’ 자체가 불가능하다는 점이다. 이들 콘텐츠 전체적으로는 AI 기업에게 중요하지만 개별적으로는 대체가능한 수준이다. 설사 이들이 힘을 합쳐 협상하려 해도 독점금지법(antitrust law) 때문에 불법이 된다. 일부 사이트는 인터넷자료를 긁어모으는 AI 크롤링을 차단하고 있지만 그 경우 검색 노출 자체가 막혀버린다.

이런 상황에서 소프트웨어 서비스 기업들이 해결책이 될 수 있다. 클라우드플레어는 신규 고객에게 AI 크롤러의 접근을 허용할지 여부와 목적을 직접 선택하게 한다. 클라우드플레어는 웹 인프라 규모가 크기 때문에 콘텐츠 사이트들의 집단대응 플랫폼 역할을 할 가능성이 높다. 현재 클라우드플레어는 크롤링 당 요금을 매기는 시스템을 시험중이다. 이 기업 프린스 CEO는 “우리는 규칙을 정해야 한다. 인간은 무료로 콘텐츠를 보되 AI 봇은 그에 맞게 많은 돈을 내야 한다”고 말했다.

또 다른 대안은 트래픽 분석업체 ‘톨빗(Tollbit)’이 제시한다. 이 회사는 스스로를 ‘봇을 위한 유료화 벽(paywall)’이라 소개하며 콘텐츠 사이트가 AI 크롤러에게 접근 요금을 직접 부과할 수 있도록 해준다. 예를 들어 한 잡지가 최신 기사에는 높은 요금을, 오래된 기사에는 낮은 요금을 매기는 식이다. 톨빗은 올해 1분기에만 AP통신, 뉴스위크를 포함한 2000개 콘텐츠 제작사로부터 1500만건의 유료화 거래를 처리했다.

포털 의존 않는 유료화 등이 대안

또 다른 모델은 ‘프로라타(ProRata)’라는 스타트업이 제안한다. 이 회사는 1990년대 ‘클릭당 지불’ 광고모델을 선도한 빌 그로스가 이끌고 있다. 프로라타의 아이디어는 AI가 생성한 답변 옆에 붙는 광고 수익을 해당 답변에 기여한 콘텐츠 사이트들의 기여도에 따라 배분하는 것이다. 프로라타는 자체 AI검색엔진(Gist.ai)을 통해 파이낸셜타임스 애틀랜틱 등 500개 이상의 파트너 사이트와 광고 수익을 나눈다. 그로스는 “아직은 구글에 실질적인 위협은 아니지만 궁극적으로 모두가 따라 하게 될 공정한 사업모델을 보여주고 싶다”고 말했다.

콘텐츠 제작자들도 자체 사업모델을 재정립중이다. 뉴스 미디어들은 ‘구글 제로(Google Zero)’ 시대를 대비해 뉴스레터와 앱, 유료구독, 실시간 이벤트 등 직접 고객과의 접점을 늘리는 방식으로 전환중이다. 텍스트보다 법적·기술적으로 AI가 요약하기 어려운 오디오와 비디오 콘텐츠도 주목받고 있다. 시밀러웹에 따르면 AI 답변형 검색이 가장 자주 링크를 보내는 곳은 단연 유튜브다.

프로라타의 그로스는 “사람들은 확실히 AI 검색을 선호한다”며 “인터넷이 살아남고 민주주의가 살아남고 창작자들이 살아남기 위해선 AI 기업들이 콘텐츠 제작자와 수익을 나눠야 한다”고 강조했다.

이코노미스트지는 “과거 소셜미디어나 스마트폰 앱이 등장했을 때에도 웹의 죽음은 여러차례 예고됐다. 하지만 AI는 지금까지 그 어떤 것보다도 더 강력한 위협일 수 있다”며 “지금의 웹 형태가 유지되려면 사이트들이 AI로부터 콘텐츠 대가를 받아낼 수 있는 새로운 방법을 찾아야 한다”고 강조했다.

김은광 기자 powerttp@naeil.com