사용자가 말로 설명한 대상을 영상 속에서 자동으로 찾아 추적하는 인공지능 기술을 국내 대학 연구팀이 개발했다. 별도의 위치 지정 없이 자연어만으로 대상을 추적할 수 있어 사람이 일일이 추적 대상을 지정하기 어려운 지능형 CCTV와 자율주행 로봇, 드론 등에서 활용도를 높일 것으로 기대된다.

인하대는 배승환 전기컴퓨터공학과 교수 연구팀이 자연어 설명만으로 영상 속 객체를 찾아 추적하는 인공지능 기술을 개발했다고 5일 밝혔다.

기존 영상 객체 추적 기술은 첫 화면에서 사용자가 추적할 대상을 직접 지정해야 했다. 이 때문에 대상이 화면에서 가려지거나 추적 대상이 바뀌는 상황에서는 정확도가 떨어지는 한계가 있었다.

연구팀은 사용자가 문장으로 대상을 설명하면 인공지능이 영상 속에서 해당 설명과 가장 일치하는 객체를 찾아 추적하는 기술을 구현했다. 예를 들어 ‘빨간 모자를 쓴 사람’처럼 설명만 입력하면 별도의 위치 지정 없이도 해당 대상을 찾아 움직임을 계속 추적할 수 있다.

이번 기술의 핵심은 인공지능이 추적 결과의 신뢰도를 스스로 판단해 탐색 범위를 조절한다는 점이다. 대상이 선명하게 보일 때는 주변 영역만 집중적으로 탐색해 효율적으로 추적하고, 대상이 가려지거나 비슷한 객체가 많아지면 화면 전체를 다시 분석해 추적 대상을 찾아 정확도를 높인다. 기존 기술이 한 번 추적에 실패하면 복구가 어려웠던 한계를 보완한 것이다.

또 사용자가 영상 중간에 설명을 바꾸면 새로운 설명에 맞는 대상을 다시 찾아 추적할 수 있도록 설계했다. 초기 이미지나 위치 정보에 의존하지 않고 자연어만으로 추적 대상을 변경할 수 있는 것도 특징이다.

연구팀은 여러 공개 데이터셋을 활용한 실험에서 기존 기술보다 높은 추적 성능을 확인했으며, 새롭게 제안한 ‘마진 신뢰도 기반 추적’ 기법이 효과적으로 작동하는 원리도 이론적으로 검증했다.

연구팀은 이번 기술이 사람이 직접 추적 대상을 지정하기 어려운 환경에서 특히 활용도가 높을 것으로 보고 있다. 지능형 CCTV와 자율주행 로봇, 드론, 영상 검색, 사람-인공지능 상호작용 등 다양한 영상 인공지능 분야에 적용할 수 있을 것으로 기대했다.

이번 연구는 박대현·백민아·하정훈·박찬섭·잠시드전 가니에브 학생이 참여했다. 논문은 컴퓨터 비전 분야 국제학술대회인 CVPR 2026에서 발표됐다.

배 교수는 “이번 연구는 사용자가 직접 대상을 지정하지 않아도 자연어만으로 영상 속 객체를 추적할 수 있음을 보여준 사례”라며 “앞으로 지능형 영상 분석과 로봇 비전, 온디바이스 인공지능 등 다양한 분야로 적용 범위를 확대해 나가겠다”고 말했다.