국내 대학 연구진이 자율주행과 의료 등 고위험 분야에서 문제로 지적돼 온 인공지능(AI)의 ‘과도한 확신’ 현상을 줄일 수 있는 학습 방법을 제시했다.

KAIST는 뇌인지과학과 백세범 석좌교수 연구팀이 딥러닝 모델의 과신 원인을 규명하고, 이를 개선하는 ‘노이즈 예열 학습’ 방식을 개발했다고 2일 밝혔다.

연구팀은 기존 딥러닝에서 널리 사용되는 무작위 가중치 초기화 방식이 학습 초기 단계부터 과도한 확신을 유발할 수 있다고 분석했다. 실제로 학습되지 않은 신경망에 임의 데이터를 입력해도 높은 확신도를 보이는 현상이 확인됐다. 이는 생성형 AI의 ‘환각’ 문제로 이어질 수 있는 구조적 원인으로 지목된다.

이에 연구팀은 실제 데이터 학습 이전에 무작위 노이즈로 신경망을 짧게 학습시키는 ‘예열 단계’를 도입했다. 인간 두뇌가 외부 자극 없이도 자발적 신경 활동을 통해 회로를 형성하는 과정을 흉내낸 방식이다.

예열 과정을 거친 모델은 초기 확신도가 낮은 수준으로 조정되며, 이후 학습에서도 정확도와 확신도가 보다 일치하는 방향으로 개선됐다. 특히 학습하지 않은 데이터에 대해서는 확신도를 낮춰 ‘모른다’고 판단하는 능력이 향상된 것으로 나타났다.

이 방법은 분포 밖 데이터 탐지 등에서도 성능 개선 효과를 보이며, AI가 자신의 지식 범위를 인식하는 ‘메타 인지’ 능력 구현 가능성을 제시했다는 평가다.

백 교수는 “AI가 정확도를 넘어 자신의 불확실성을 판단할 수 있는 원리를 제시한 연구”라고 설명했다.

이번 연구는 자율주행, 의료 AI, 생성형 AI 등 다양한 분야에 적용 가능하다.

연구 결과는 국제 학술지 ‘네이처 머신 인텔리전스(Nature Machine Intelligence)’에 게재됐다. 특히 주목할 만한 논문으로 선정돼 ‘뉴스 앤드 뷰스’에도 소개됐다.