삼성전자는 자체 개발한 인공지능(AI) 모델 업무 생산성 벤치마크 ‘트루벤치’를 글로벌 오픈소스 플랫폼 허깅페이스에 공개했다고 25일 밝혔다.

벤치마크는 컴퓨터나 소프트웨어의 성능을 객관적으로 평가하기 위해 사용되는 테스트 프로그램을 말한다. 성능 비교와 평가의 기준으로 활용된다.

트루벤치는 삼성전자 DX부문 선행 연구개발조직인 삼성리서치가 사내 생성형 AI 모델 적용 경험을 바탕으로 개발한 벤치마크로 AI 모델의 업무 생산성 성능을 평가한다.

삼성전자 관계자는 트루벤치를 개발해 공개한 이유에 대해 “많은 기업들이 업무 전반에 AI를 도입하고 있지만 기존 벤치마크로는 AI 모델의 업무 생산성 성능을 정확히 측정하기 어렵다는 점에 주목했다”고 말했다.

실제 시중에 공개되어 있는 대부분의 AI 벤치마크는 영어를 중심으로 연속 대화가 아닌 한번 혹은 제한된 횟수로 대화를 평가하고 있다.

이번에 삼성전자가 공개한 트루벤치는 기존 벤치마크와 차별화해 업무 생산성에 대한 집중 평가를 진행하는 것이 특징이다. 실제 평가 항목은 10개 카테고리, 46개 업무, 2485개의 세분화된 항목으로 구성돼 있다.

평가 항목은 기업에서 자주 사용하는 콘텐츠 생성, 데이터 분석, 문서 요약 및 번역, 연속 대화 등 실제 오피스 업무에서 활용되는 체크 리스트를 기반으로 완성됐다.

트루벤치는 영어 한국어 일본어 중국어 스페인어 등 총 12개 언어를 지원한다. 특히 글로벌 비즈니스 환경을 고려해 영어와 한국어 등 여러 언어가 혼합된 교차 언어의 번역 기능 평가도 가능하다.

고성수 기자 ssgo@naeil.com