“지난달 취임한 장관이 누구냐”는 질문에 챗GPT가 1년 전 인물을 답한다면 어떨까. 최신 정보를 반영하지 못하는 인공지능의 한계를 보여주는 사례다. 국내 연구진이 변화하는 현실 정보를 자동으로 반영하면서도, 겉으로는 맞아 보이는 ‘시간 오류’까지 식별하는 평가 기술을 개발했다. 인공지능 신뢰성을 높일 수 있을 것으로 기대된다.

한국과학기술원(KAIST)은 황의종 교수 연구팀이 마이크로소프트연구소와 공동으로 거대언어모델(LLM)의 ‘시간 오류’를 자동으로 진단하는 평가 시스템을 개발했다고 17일 밝혔다.

이번 연구는 시간이 흐르며 변화하는 정보를 제대로 반영하지 못하는 AI의 한계를 개선하기 위해 추진됐다. 기존 평가 방식은 정답 일치 여부 중심으로 판단해 실제 환경의 복잡한 시간 관계를 반영하기 어려웠다.

연구팀은 ‘시간 데이터베이스(Temporal Database)’ 설계 이론을 인공지능 평가에 도입했다. 데이터의 시간 흐름과 관계 구조를 활용해 13가지 유형의 시간 기반 문제를 자동 생성하고, 정답 도출과 검증까지 전 과정을 자동화했다.

특히 답변 결과뿐 아니라 날짜와 기간 등 시간 정보의 논리적 타당성까지 검증하는 방식을 적용해, 겉보기에는 맞는 것처럼 보이는 ‘시간 환각(Temporal Hallucination)’ 탐지 정확도를 기존 대비 평균 21.7% 높였다.

또 데이터 변경 시 데이터베이스만 갱신하면 평가 문제와 정답이 자동 반영돼 유지 비용을 줄였으며, 입력 데이터량도 평균 51% 감소했다.

연구팀은 해당 기술이 의료와 법률 등 최신 정보 정확성이 중요한 분야에서 인공지능 신뢰성을 높이는 데 활용될 것으로 기대하고 있다.

황의종 교수는 “데이터베이스 이론을 활용해 AI 신뢰성 문제를 해결한 사례”라며 “전문 분야 인공지능 검증 기반으로 확장할 수 있다”고 밝혔다.

연구 결과는 인공지능 분야 국제학술대회 ‘ICLR 2026’에서 발표될 예정이다.