고려대학교는 전기전자공학부 안정섭 교수 연구팀이 대규모언어모델(LLM) 서비스의 운영 비용을 줄이면서 처리 성능을 높일 수 있는 시스템 기술을 개발했다.

16일 고려대에 따르면 이번 연구는 LLM을 여러 개의 그래픽처리장치(GPU)에서 효율적으로 구동하기 위한 새로운 작업 분배(스케줄링) 기술을 제안한 것이다.

연구팀은 기존처럼 고가의 전용 GPU 연결망에 의존하지 않고 일반 GPU 서버 환경에서도 높은 성능을 낼 수 있도록 작업 분배 방식을 개선했다. 사용자 요청에 따라 작업을 실시간으로 나누고 GPU별 부하를 자동으로 조정해 병목현상과 유휴 시간을 줄이는 것이 핵심이다.

실험 결과 연구팀의 기술은 현재 널리 사용되는 방식보다 더 높은 처리 성능을 기록했으며, 대화형 AI 서비스에서는 답변 속도가 최대 35% 향상되고 최종 응답 대기시간은 최대 32% 단축됐다.

안정섭 교수는 “고가의 전용 연결망 없이도 업계 표준 방식보다 높은 처리 성능을 구현했다”며 “LLM 서비스의 운영 비용을 줄이고 자원 활용 효율을 높이는 데 기여할 것으로 기대한다”고 말했다.

이번 연구는 정보통신기획평가원, 한국전자통신연구원(ETRI), SK하이닉스의 지원을 받아 수행됐다. 연구결과를 소개한 논문은 컴퓨터 시스템 분야 최고 권위 국제학술대회인 ‘OSDI 2026’에 채택됐다.