인공지능(AI)이 한국 공인회계사 1차 시험을 통과했고 2차 시험은 합격선에 근접한 득점률을 기록한 것으로 나타났다.

21일 한국회계학회가 발간한 회계저널 10월호에 실린 논문 ‘인공지능은 회계업무에 (얼마나) 적합한가?’에는 AI(3종)의 공인회계사 자격시험 문제 풀이 결과가 담겼다.

김태식 한국공인회계사회 본부장과 선우희연 세종대 경영학과 교수, 이우종 서울대 경영학과 교수는 2024년 2월 시행된 공인회계사 시험을 AI(Qwen 2.5 max, ChatGPT 4o3 - mini high, ChatGPT 4o1)에게 풀게 했다.

1차 회계학 과목의 경우 3종의 AI 모두 60% 이상의 득점률을 기록했다. 실제 1차 합격자의 회계학 평균 득점률인 53%를 넘어선 것이다. Qwen 2.5 max가 54%로 가장 낮았고 ChatGPT 4o3-mini high는 64%, ChatGPT 4o1는 90%로 가장 높게 나타났다.

ChatGPT 4o1는 중급회계(96%)와 고급회계(90%), 원가관리회계(100%) 모두 90% 이상의 득점률을 보였고 정부회계에서만 득점률이 40%로 낮았다.

김 본부장 등은 “이러한 3종 엔진의 득점률은 1차 합격 최저요구득점률인 40%를 모두 넘었고, ChatGPT 두 버전의 득점률은 모두 60%를 초과한 것”이라며 “인공지능이 공인회계사 1차 합격자의 평균능력 이상의 회계지식수준을 보유하고 있음을 의미한다”고 밝혔다

회계사 2차 시험은 1차 시험 득점률이 가장 높은 ChatGPT 4o1에게만 문제를 풀게 했다.

2차 시험은 객관식 문항으로 구성된 1차 시험과 달리 주관식이고 모범답안이 공개되지 않기 때문에 김기동 회계사의 정답풀이를 채점에 활용했다. 그 결과 총 76개 정답요구항목 중 39개를 맞춰서 51%의 득점률을 기록했다. 2차 최종 또는 부분 합격선인 60%에는 미치지 못하는 수준이다. 하지만 모든 과목의 득점률이 60%를 넘는 응시자로 최소선발인원을 채우지 못할 경우 추가 합격자로 고려될 수 있는 득점률 하한선인 40% 보다는 높은 것이다.

세부과목별 회계주제에 따른 득점률을 분석한 결과 중급회계와 고급회계의 득점률은 각각 56%, 40%로 나타났다. 주제별로는 중급 회계 주제 중에서는 금융부채와 수익인식 문제의 득점률이 각각 20%, 42.9%로 다른 주제에 비해 낮았다. 고급회계에서는 연결회계의 득점률이 16.7%로 가장 낮았다.

1차 시험 득점률에서도 연결회계의 경우 다른 문항에 비해 취약했다. Qwen 2.5 max와 ChatGPT 4o1은 67%, ChatGPT 4o3-mini high는 0%를 기록했다.

김 본부장 등은 “2차 시험에서는 주어진 자료를 파악하고 상황을 이해해 정보를 상황에 맞게 적용하는 능력이 요구되므로, 1차 때 보다 상대적으로 낮은 득점률은 인공지능의 맥락적 사고가 한계를 보인 것으로 해석할 수 있다”고 설명했다.

하지만 해외에서는 AI가 이미 회계사 합격선을 통과한 만큼 시간이 지날수록 한국에서도 2차 시험에서 AI가 높은 점수를 기록할 가능성이 있다.

2023년 1월 미국 대학들을 대상으로 회계학 문제를 풀이하는 실험에서 ChatGPT는 단 15.8%의 경우에만 인간 학생들보다 높은 점수를 기록했다. 하지만 이후 학습을 거듭할수록 인공지능의 성과는 가파르게 개선됐다. 2023년 5월 ChatGPT 3.5는 미국 공인회계사 자격시험의 합격선을 통과하지 못했지만, 최신 모델인 GPT-4로 개선된 이후 공인회계사(Certified Public Accountant), 공인관리회계사(Certified Management Accountant), 공인내부감사사(Certified Internal Auditor), 그리고 세무대리인(Enrolled Agent) 자격시험에서 평균 85%의 점수로 합격기준을 통과했다.

김 본부장 등은 “인공지능이 자격시험을 통과할 수 있는 역량을 갖출 가능성을 제시하는 연구 결과는 전문가들이 자격시험에서 요구하는 최소한의 회계역량 이상의 능력을 갖출 필요가 있다는 것을 시사한다”며 “회계 및 관련분야 자격증의 자격시험 통과를 학습의 최종적인 목표로 제시하는 공적(대학), 사적(학원) 교육기관의 교육과정 또한 근본적으로 재검토돼야 할 것”이라고 밝혔다.

이들은 “인공지능이 조만간 회계전문인력의 업무를 상당 부분 대체할 수 있을 것이라는 것은 어렵지 않게 짐작 가능하다”며 “교육과정에서 인공지능의 회계전문성을 보완적으로 활용할 수 있는 역량을 고양하는 것을 필수 학습목표로 고려해야 한다”고 강조했다.

한편 금융위원회는 지난 21일 공인회계사 자격·징계위원회(위원장 권대영 금융위 부위원장)를 개최해 2026년도 공인회계사 최소선발예정인원을 1150명으로 결정했다. 올해 1200명 대비 50명 줄인 것이다. 하지만 회계법인들이 내년도 채용 인원을 올해 보다 20% 줄이겠다는 계획을 제출하면서 내년에도 회계사들은 취업 대란을 겪을 전망이다. 경기침체가 이어지고 대형회계법인들이 AI를 업무에 적극 활용하기 시작하면서 회계사 인력 수급에 대한 정부의 향후 방침과 중장기적인 방안 마련이 시급한 상황이다. 이경기 기자 cellin@naeil.com