한국과학기술원(KAIST, 총장 이광형)이 참여한 국제 공동연구팀이 인공지능(AI) 모델의 핵심 한계로 지적돼온 메모리 병목 문제를 해소할 차세대 알고리즘 ‘터보퀀트(TurboQuant)’를 개발했다.

이번 연구는 구글 리서치, 딥마인드, 뉴욕대와 공동연구로 진행됐으며, KAIST 전기및전자공학부 한인수 교수가 참여했다.

인공지능 모델은 데이터를 벡터 형태로 변환해 연산을 수행하는 과정에서 고정밀 데이터를 사용하기 때문에 막대한 메모리 자원이 필요하다는 한계가 있었다.

연구팀이 개발한 터보퀀트는 고정밀 데이터를 더 적은 비트로 표현하는 양자화 기술을 적용해, 핵심 정보를 유지하면서도 저장 용량과 연산 부담을 줄였다. 그 결과 정확도 저하를 거의 없이 최대 6배까지 메모리를 절감하는 데 성공했다.

특히 터보퀀트는 두 단계 양자화 구조를 적용한 것이 특징이다. 1단계에서는 입력 데이터를 무작위로 회전시켜 극단값을 줄인 뒤 개별적으로 양자화해 압축 효율을 높였다. 2단계에서는 1단계에서 발생한 오차를 다시 양자화하는 방식으로 정보 손실을 최소화했다.

이 과정에서 적용된 QJL(양자화 존슨-린덴슈트라우스) 기법은 데이터를 {-1, 1} 값으로 표현하는 초경량 방식으로, 연산 효율을 높이면서도 정확도를 유지하는 데 기여했다.

이번 성과는 AI 산업 구조에도 변화를 가져올 것으로 보인다. 동일한 성능을 유지하면서 필요한 메모리 용량이 줄어들면, 스마트폰과 가전 등 온디바이스 AI 적용이 확대되고 데이터센터 운영 비용도 낮아질 수 있다.

전문가들은 이를 계기로 반도체 시장 역시 고용량 중심에서 고효율 중심으로 재편될 가능성이 크다고 보고 있다. 메모리 사용량 감소가 단기적으로 수요를 줄일 수 있지만, AI 활용 범위 확대에 따라 장기적으로는 수요의 질적 고도화와 양적 확대가 동시에 나타날 수 있다는 분석이다.

한인수 교수는 “AI 모델이 커질수록 메모리 사용량이 급격히 증가하는 문제가 있었다”며 “이번 연구는 정확도를 유지하면서도 메모리 병목을 효과적으로 줄일 수 있는 방향을 제시했다”고 밝혔다.

이어 “대규모 AI 모델을 보다 효율적으로 운영할 수 있는 핵심 기반 기술로 활용될 것”이라고 덧붙였다.

한편 관련 연구인 ‘폴라퀀트(PolarQuant)’는 2026년 인공지능·통계 분야 국제학회인 인공지능·통계학회(AISTATS)에서 발표될 예정이며, 한국연구재단 ‘기초연구실’ 사업 지원을 받아 수행됐다.