#1. “논문이나 일반적으로 질이 괜찮다고 하면 그 단계에서는 차별성 같은 걸 보기는 어렵지 않을까. 똑똑하게 해놓는 게 우선이다 보니까요.” … 인공지능 관련 업무 5년 차 30대 대기업 직장인.

#2. “‘이런 답변을 하면 안 돼, 저런 답변을 하면 안 돼’를 하는 순간, 인공지능이 좋은 답변을 내놓지 못하는 사례가 있어요.” … 시스템 소프트웨어 개발 업무 4년 차 30대 대기업 직장인.

국내 인공지능 개발 현장에서 젠더폭력 위험이 비중 있게 고려되지 않고 있다는 연구 결과가 나왔다. 문제는 개발자만의 인식에 있는 게 아니라 구조적으로 고려할 유인책이 없다는 점이다. 인공지능 모델의 안전성을 평가하는 국내 벤치마크에는 한국어 특유의 은어나 우회적 혐오표현을 걸러낼 기준 자체가 없었다. 더욱이 ‘인공지능기본법’에도 젠더폭력 조항은 사실상 없는 상황이라 대책 마련이 시급하다.

젠더폭력은 △성별 △성 정체성 △성적 지향 등을 이유로 특정 개인이나 집단에게 가해지는 모든 형태의 폭력이다. △딥페이크 성범죄 △온라인 성희롱 △스토킹 등 디지털 공간에서의 피해도 포함한다. 딥페이크는 인공지능 기술을 이용해 실제 사람의 얼굴이나 목소리를 다른 영상·이미지에 합성하거나 조작한 가짜 콘텐츠다.

23일 한국여성정책연구원(여정연)은 이러한 내용을 담은 ‘디지털 기반 젠더폭력 방지를 위한 인공지능 벤치마크 데이터셋 필요성 연구’ 보고서를 발표했다. 이번 연구 결과에 따르면 ‘인공지능기본법’에는 젠더기반폭력이나 차별을 명시한 조항이 단 하나도 없다. 기본권에 중대한 영향을 미칠 수 있는 ‘고영향 인공지능’에 대해서도 사업자에게는 사전 검·인증을 받도록 ‘노력할 의무’만 부과돼 있어 보완이 필요하다는 제언이다.

보고서에서는 “특정 요건을 충족해야 출시할 수 있도록 한 유럽연합 인공지능법과 비교하면 사실상 규제가 없는 것이나 다름없다”며 “인공지능 정책의 최고 심의 기구인 국가인공지능위원회 당연직에는 교육부·행정안전부 등 7개 부처 장관이 포함되지만 성평등가족부 장관은 빠져 있어 주요 정책 결정 과정에서 성평등 관점이 구조적으로 배제돼 있다”고 지적했다.

인공지능 안전성 평가에 쓰이는 벤치마크 데이터셋이 대부분 영어권 중심으로 구축된 점도 문제다. 보고서에서는 “국내에도 △코에스비아이(KoSBi) △코비비큐(KoBBQ) 등 한국어 데이터셋이 있지만, 이들은 일반적 사회 편향 평가에 초점이 맞춰져 있다”며 “△딥페이크 △성적 괴롭힘 △온라인 그루밍 같은 젠더폭력 시나리오를 포괄하지 못한다”고 지적했다.

보고서에서는 한국어 구조를 반영한 언어적 맥락의 층위별 분석 필요성도 언급했다. 한국어 온라인 커뮤니티에서 사용되는 성별 비하적 언어는 특정 단어의 모욕성이 문맥에 따라 뉘앙스가 달라지기 때문에 데이터셋 구축 시 언어적 맥락의 층위별 분석이 필요하다는 지적이다. 한국어의 성적 모욕·은유·비하 표현은 서구의 ‘혐오 표현(hate speech)’ 기준으로는 탐지되지 않는 경우가 많은 게 현실이다. 성희롱은 그 사회의 상징·뉘앙스·신조어를 통한 우회적 표현으로 이루어지기 때문에 욕설 단어 목록을 만드는 방식으로는 구조적으로 한계가 있다.

보고서에서는 이를 해결하기 위해 정부 주도의 한국어 젠더폭력 방지 벤치마크 데이터셋 구축과 △대규모 언어모델(LLM) 안전성 지표 개발 △벤치마크 활용 의무화를 위한 입법 추진 등을 제안했다.