서강대학교는 아트&테크놀로지학과 정다샘 교수 연구팀이 음악 모달리티 간 변환을 통합적으로 학습하는 인공지능 모델 ‘U-MusT’를 개발해 국제학술지 I‘EEE Transactions on Audio, Speech and Language Processing’에 게재됐다고 밝혔다.

이번 연구는 서울대와 미국 카네기멜런대(Carnegie Mellon University) 연구진이 참여한 공동연구로 진행됐다.

연구팀은 악보 이미지, 심볼릭 악보, MIDI, 오디오 등 다양한 형태로 존재하는 음악 데이터를 하나의 모델에서 동시에 학습하고 변환할 수 있는 범용 구조를 제안했다. 기존에는 개별 변환 과제마다 별도의 모델이 필요했지만, 이번 모델은 이를 통합했다는 점에서 차별성이 있다.

특히 이 모델은 피아노 악보 인식에서 낮은 기호 오류율을 기록했다. 악보 이미지에서 중간 변환 없이 바로 연주 오디오를 생성하는 기능도 구현했다.

연구팀은 모델 학습을 위해 1300시간 이상의 악보 이미지와 연주 오디오 데이터를 결합한 데이터셋을 구축해 공개했다. 음악 정보 검색 분야 연구 활용도를 높일 수 있을 것으로 기대된다.

해당 연구는 5월 4일부터 스페인 바르셀로나에서 열리는 국제 학회 ‘ICASSP 2026’에서도 발표될 예정이다.