통신업계가 세계 최고 수준 한국어 능력을 갖춘 인공지능(AI) 거대언어모델(LLM)을 잇따라 오픈소스로 공개하며 국내 AI 대중화에 나섰다.

SK텔레콤은 한국어 특화 LLM인 ‘에이닷 엑스(A.X) 4.0’을 오픈소스로 공개했다고 3일 밝혔다.

SKT는 이날 오전 세계적인 오픈소스 커뮤니티 허깅페이스를 통해 A.X 4.0의 표준 모델과 경량 모델 2종을 공개했다. A.X 4.0 표준모델은 720억개(72B), 경량모델은 70억개(7B)의 매개변수(파라미터)를 갖추고 있다.

이용자들은 목적에 맞춰 선택적으로 이용할 수 있다.

SKT에 따르면 A.X 4.0은 현존 LLM 중에서도 최상급 한국어 처리 효율성은 물론 데이터 보안을 고려한 설계, 그리고 로컬 환경에서의 운영 가능성 등이 강점이다. 오픈소스 모델인 ‘큐원(Qwen)2.5’에 방대한 한국어 데이터를 추가로 학습시켜 국내 비즈니스 환경에 최적화된 성능을 발휘한다. 큐원은 중국 알라바바가 개발환 AI 모델이다.

SKT는 A.X 4.0의 토크나이저(문장의 구조를 분석해 토큰으로 분할하는 작업 도구)를 자체 설계 적용해 높은 수준 한국어 처리 역량을 구현했다. 자체 테스트 결과 같은 한국어 문장을 입력했을 때 오픈에이아이(Open AI) 지피티포오(GPT-4o)보다 A.X 4.0이 약 33%가량 높은 토큰 효율을 기록하며 다른 LLM 대비 높은 정보 처리용량에 비용 절감까지 가능한 경제성을 갖췄다.

SKT는 A.X 4.0를 기업 내부 서버에 직접 설치해 사용할 수 있는 온프레미스 방식으로 제공해 기업들이 데이터 보안에 대한 걱정을 덜 수 있도록 서비스할 계획이다. 특히 A.X 4.0 개발 과정에서도 대규모 학습(CPT) 전 과정을 외부와 연동없이 자체 데이터로 학습해 데이터 주권도 확보한 바 있다.

이날 KT도 자체 개발한 인공지능(AI) 언어모델(LLM) ‘믿:음 2.0’의 오픈소스를 AI 개발자 플랫폼 ‘허깅페이스’를 통해 공개할 예정이라고 밝혔다.

KT 믿:음은 사전 학습부터 자체적으로 만든 한국적 독자 AI 모델이다. 고품질 한국어 데이터를 준비하는 과정에서 모든 저작권을 확보해 신뢰성을 높였다.

KT는 2023년 믿:음 1.0 버전 스탠더드(Standard) 프리미엄(Premium) 2종을 출시한 이래 인공지능컨택센터(AICC) 지니TV, AI전화 100번고객센터 등 다양한 서비스에 폭넓게 활용해 왔다.

이번에 KT가 새롭게 선보이는 믿:음 모델은 △115억 매개변수(파라미터) 규모 ‘믿:음 2.0 베이스’ △23억 파라미터 규모의 ‘믿:음 2.0 미니’ 2종이다. 모두 한국어와 영어를 지원한다. 믿:음 2.0 베이스는 범용 서비스에 적합한 모델로 한국 특화 지식과 문서 기반의 질의 응답에서 강력한 성능을 나타낸다. 믿:음 2.0 미니는 베이스 모델에서 증류한 지식을 학습한 소형 모델이다.

믿:음 모델은 한국어와 한국 문화와 사회 등의 전문 분야에서 기존의 국내외 주요 모델을 상회하는 이해력과 생성 성능을 입증했다. KT와 고려대가 공동 개발한 한국어 AI 역량 평가 지표인 ‘코-소버린’ 벤치마크에서 유사 규모의 국내 기성 모델을 비롯해 글로벌 최고 수준의 오픈소스 모델을 능가하는 점수를 기록했다.

코-소버린은 한국적 AI 성능을 종합적으로 평가할 수 있도록 언어 문화 사회 역사 등의 한국적 맥락을 정밀하게 반영한 전문가 수준의 문항으로 구성됐다.

한편 양사의 이번 AI 오픈소스 공개는 국내 AI 생태계 활성화에 긍정적인 역할을 할 수 있을 것으로 기대된다. 고성수 기자 ssgo@naeil.com