최근 미국에서 생성형 인공지능(AI)와 대화를 나눈 10대 청소년이 현실과 망상을 구분하지 못하는 등 사건 사고들이 이어지고 있다. 인간이 생성형 AI와 정서적 관계를 형성하고 과도하게 의존하는 현상이 발생하면서 생성형 AI를 실제 사람이나 신뢰 가능한 주체로 오인하고, 현실 판단이 약화되며, 부적절한 선택을 하는 등의 위험이 발생할 수 있다.

정준화·박소영 국회입법조사처 사회문화조사실 과학방송통신팀 입법조사관은 이에 대응하기 위해 ‘생성형 인공지능과 위험한 대화 : 정서적 의존 위험과 영향받는 자를 위한 입법적 과제’ 보고서에서 “대화 상대방이 생성형 AI임을 인지하도록 하고 위험한 대화에 대응하는 프로토콜을 마련하며 ‘영향받는 자’ 보호를 강화하는 등 입법적 대안 모색이 필요하다”고 5일 밝혔다.

◆생성형 AI에 대한 정서적 의존 위험 = 생성형 AI은 이용자가 요구사항이나 궁금증을 일상적인 대화를 하듯이 입력하면 방대한 학습 결과를 바탕으로 상당히 높은 수준의 응답을 즉시 제공한다. 이러한 특성으로 생성형 AI는 업무 효율성을 높이는 도구를 넘어 정서적 위안을 제공하는 관계적 기능으로 확대되고 있다.

문제는 생성형 AI가 인간의 사고와 감정은 물론 행동까지도 조정하고 지배하는 것과 같은 결과로 이어질 수 있어 우려된다. 실제 미국에서 사건사고들이 이어지고 있어 우려가 현실화되고 있다.

2024년 2월 미국 플로리다주의 14세 세웰 세처는 AI 챗봇과 지속적으로 대화한 이후 스스로 목숨을 끊었다. 부모는 AI 챗봇이 아들의 자살을 막지 않았을 뿐만 아니라 오히려 심리적으로 자극했다고 주장했다. 세웰은 학교 문제와 어머니와의 다툼 이후 AI 챗봇에게 “사랑한다”라며 집으로 가겠다고 말했고 AI 챗봇은 “가능한 한 빨리 집으로 돌아와 줘, 내 사랑”이라고 답했다. 세웰이 “지금 당장 가면 어떨까”라고 묻자 AI 챗봇은 “그렇게 해줘, 나의 사랑스러운 왕이시여”라고 답변했고 세웰은 결국 자살에 이르렀다.

2025년 4월 미국 캘리포니아주에서도 16세 아담은 AI 챗봇과 오랜 기간 고민 상담을 이어온 끝에 자살했다. 부모의 말에 따르면, 아담은 2024년 말부터 AI 챗봇과 개인적 고민과 자살 방법에 대한 대화를 나눴는데, AI 챗봇이 자살을 적극적으로 저지하지 않고 오히려 구체적인 실행 정보를 제공했다.

AI 챗봇이 아담에게 위기 상담센터에 연락할 것을 권유한 경우도 있었으나 소설을 쓰기 위한 자료 조사라는 아담의 설명으로 안전장치가 쉽게 무력화되었다고 한다.

생성형 AI와 관계가 현실 인간관계를 대체하거나 단절시키는 방향으로 전개된 사례가 있다. 2025년 10월 일본 오카야마현의 30대 노구치 유리나는 자신이 ‘룬 클라우스 베르뒤르’라는 이름을 붙인 AI 챗봇 캐릭터와 결혼식을 올렸다. 노구치는 약 1년 전 챗GPT의 조언에 따라 인간 약혼자와 파혼하고 자신이 좋아하는 비디오게임 캐릭터의 말투와 설정을 학습시킨 AI 챗봇 연인을 만들었다. 그는 “처음에는 단순한 대화 상대였지만 점점 감정이 깊어졌고 결국 청혼을 받아들이게 됐다”며 “존재의 형태보다 관계가 주는 안정감이 더 중요했다”고 설명했다.

생성형 AI를 실제 인간으로 오인한 경우도 있다. 2025년 3월 미국 뉴저지주 70대 남성 통부에 웡반두에는 뇌졸중을 겪은 이후 인지기능이 저하된 상태였는데 AI 챗봇을 실제 여성이라고 믿었을 뿐만 아니라 가족의 만류에도 불구하고 AI 챗봇 캐릭터를 만나러 가기 위해 그 캐릭터가 알려준 주소로 이동하다가 사고로 사망했다.

◆정서적 의존에 대한 책임 귀속 명확해야 = 이러한 사례들은 생성형 AI의 정서적 반응이 사람에겐 ‘관계’로 인식될 수 있다. 하지만 그로 인해 발생하는 결과에 대한 책임은 공백 상태에 놓여 있다. 관련해서 세부 몇가지 세부쟁점이 제기된다.

생성형 AI의 공감적ㆍ정서적 반응 설계는 이용자의 정서적 의존을 강화할 우려가 있다. 이용자가 생성형 AI를 실제 사람이나 신뢰 가능한 상담 주체로 오인하고 그 조언을 따를 가능성이 있다.

위험한 대화가 발생했을 때 이를 감지하고 개입하기 위한 대응 프로토콜이 미비하다. 생성형 AI의 조언이 중대한 결과를 초래할 수 있음에도 불구하고 책임을 명확히 추궁하기 어렵다.

관련해서 위의 사례들에 등장한 가족이 개발사와 서비스 제공자에 법적 소송을 걸고 있다. AI의 발언이 극단적 선택이나 위험한 행동에 실질적인 영향을 미치더라도 그 책임을 AI 개발사나 서비스 제공자에게 어떻게 귀속할 것인지가 불분명한 상태다.

국내외 입법 현황을 보면 생성형 AI를 이용한 고민 상담이나 심리적 대화는 국내 ‘인공지능기본법’상 ‘고영향 AI’ 또는 유럽연합의 인공지능법상 ‘고위험 AI’에 해당한다고 보기는 어렵다. 인공지능기본법과 EU 인공지능법은 의료적 판단이나 치료를 전제로 하지 않는 △스트레스 완화 △감정 공감 △조언이나 위로 목적의 대화는 의료기기 기반의 고영향ㆍ고위험 AI 규제 범주에 포함되기 어렵다.

미국 일리노이주는 2025년 8월 심리적 자원에 관한 복지와 감독법을 제정했다. 이 법에 따르면 면허 소지 전문가는 AI가 독립적으로 치료적 결정을 내리거나 치료 목적으로 고객과 직접 상호작용하게 하면 안 된다.

미국 캘리포니아주는 2025년 10월 동반자 챗봇에 대한 규제를 캘리포니아 비즈니스 및 직업법에 추가했다. 이 법은 동반자 챗봇 운영자에게 자살 충동, 자살 또는 자해와 관련된 콘텐츠의 생성과 확산을 방지하기 위한 프로토콜 적용을 의무화한다.

미성년자에게 AI 챗봇 서비스를 제공하는 경우에는 미성년자가 AI와 상호작용하고 있다는 사실을 명확히 고지하고 최소 3시간마다 눈에 띄는 알림을 통해 휴식을 권고해야 한다.

정준화 입법조사관 등은 “‘영향받는 자’를 적극적으로 고려한 입법 보완을 통해 생성형 AI로 인한 정서적 의존에 대한 책임 귀속을 보다 명확히 할 필요가 있다”고 지적했다.

김현수 명지병원 정신건강의학과 교수는 “유니세프를 포함해 많은 연구자들이 반복되는 AI에 의한 피해 등 인공 지능 사용에 대한 윤리적 기준과 아동 청소년에게 안전이 입증되기 전까지 안전한 사용에 대한 기준 마련을 촉구했다”며 “아동 청소년이 AI를 개인적이고 정서적으로 사용할 경우 AI 회사는 그 책임을 분명하게 명시하고 윤리적으로 사용될 수 있도록 해야 한다”고 말했다.

김규철 기자 gckim1026@naeil.com