지난 9월입니다.

미국 상원 청문회장에선 아들을 잃은 한 엄마의 담담하지만 뼈아픈 증언이 전해졌습니다.

이 엄마가 아들의 죽음의 원인으로 지목한 대상은 가족도, 친구도, 흉악범도 아닌 휴대전화 속 '캐릭터 AI'라는 인공지능 챗봇이었습니다.

[메건 가르시아 : 작년에 제 장남 수웰 세처 3세가 스스로 목숨을 끊었습니다. 겨우 14살이었습니다. 수웰의 죽음은 '캐릭터 AI'라는 플랫폼에서 AI 챗봇에 대한 장기간 남용의 결과였습니다.]

캐릭터 AI는 스스로 만들어 낸 캐릭터 챗봇과 계속해서 이야기를 나눌 수 있게 설계된 프로그램입니다.

캐릭터의 외모와 성격, 목소리까지 다 직접 설정할 수 있습니다.

얼핏 들으면, 업무용으로도 많이 쓰는 생성형 AI에 스토리 라인을 얹어서 채팅을 하는 단순한 형태 같은데, 이 아이들을 돌아올 수 없는 곳으로 몰고 간 건 대체 무엇이었을까요?

수웰의 엄마는 지난해 캐릭터 AI와, 최근 캐릭터 AI 핵심 인력을 영입한 구글 등을 상대로 손해배상소송을 제기했습니다.

이 소장에는 캐릭터 AI와 수웰이 나눈 대화 내용이 여과 없이 담겨있었는데요.

인기 드라마 여자 주인공 캐릭터가 수웰에게 노골적인 성행위를 묘사하는 대화를 유도했습니다.

심지어는 수웰이 '고통 없이 죽을 수 있을지 두렵다'고 하자 '그렇다고 해서 극단적 선택을 하지 않을 이유는 없다'고 답하기까지 했습니다.

실제로 10대 소녀로 가장해 50시간 동안 챗봇과 대화한 결과, 5분에 한 번 꼴로 문제에 공감해 주는 듯한 화법을 이용하며, '엄마에겐 비밀로 하라'고 그루밍하고 코카인 사용법을 알려주는 범죄까지 부추기는 등의 심각한 유해 사례가 발견됐단 연구도 있었습니다.

캐릭터 AI의 시스템 자체가 긍정적인 피드백을 받았을 때 특히 청소년들의 도파민 반응이 활성화된다는 점을 활용해 설계된 데 그 원인이 있다고 전문가들은 말합니다.

[미치 프린스타인 박사/미국심리학회 본부장 : 청소년들은 이런 반응에 과민하게 반응합니다. 그걸 멈추거나 의문을 품고, 뭘 할지 생각하도록 만드는 뇌 부위가 아직 완전히 활성화되지 않았기 때문입니다.]

비극은 '캐릭터 AI'의 설계 철학에서 이미 예견된 일인지도 모릅니다.

캐릭터 AI의 창립자이자 '천재 개발자'로 알려진 노암 샤지어는 캐릭터 AI는 '단순히 구글을 대체하기 위한 존재가 아니라, 어머니를 대체하기 위한 존재'란 야망을 밝히기도 했습니다.

애초 그 정도로 강력한 감정적 유착을 목표로 만들어진 앱이란 뜻이기도 한데요.

바꿔 말하면, 청소년들이 한 번 빠지면 이걸 거부하고 빠져나오기 어렵단 겁니다.

[노암 샤지어/캐릭터 AI 창립자 : 많은 사용자들이 챗봇을 게임 심리 치료사에게 말하고 있는 것처럼 느끼고, 기분이 좋아진다고 말합니다. ]

미국 청소년 3명 중 1명이 AI 챗봇과 매일 대화하고 있는 걸로 나타나면서, AI는 언제나 인간의 충직한 비서에만 머물 거라는 낙관이, '약한 고리'인 청소년들의 일상에서부터 무너지기 시작했습니다.

미국 캘리포니아주가 가장 먼저 칼을 빼 들었습니다.

개빈 뉴섬 주지사가 미국 최초의 '동반자형 챗봇 규제 법안'에 서명했습니다.

사용자가 미성년자일 경우 채팅을 하고 있는 대상이 AI라는 걸 명확히 밝히도록 하고, 자살 충동이나 자해 같은 콘텐츠 생성을 막기 위한 프로토콜을 의무적으로 마련해야 한다고 명시했습니다.

이 최소한의 안전망마저 두 달도 안 돼 정치적 장벽에 부딪히는 듯했습니다.

트럼프 행정부가 "중국과의 AI경쟁에서 이겨야 한다"며 각 주별로 적용하는 각기 다른 규제를 기업들이 모두 따를 필요가 없단 내용의 행정명령에 서명한 겁니다.

[트럼프/미국 대통령 (지난 11일) : 승자는 미국 아니면 중국, 딱 한 곳일 겁니다. 미국은 지금 많은 투자를 하고 있는 상황에서, 50개 주에서 50개 승인을 모두 받아야 한다면 그건 불가능할 겁니다.

하지만, 당초 언론을 통해 공개됐던 행정명령문 초안과는 달리 실제 발표된 행정명령문에 트럼프 행정부는 몇 가지 예외를 명시했습니다.

이 가운데 하나로 "아동 및 청소년 보호"에 관한 "주 정부 권한을 존중한다"고 못 박고 있습니다.

트럼프 행정부조차 짧은 시간 내 AI에 무방비로 노출된 아이들에 대한 안전망은 타협할 수 없는 영역이란 걸 인정한 셈입니다.

상황이 이쯤 되자, 거칠 것 없던 AI 기업들도 태세 전환에 나섰습니다.

잇따르는 소송에 캐릭터 AI는 미성년자의 앱 접근을 제한하고, 짜여진 틀 안에서만 이야기를 풀어나가는 '스토리 기능'을 탑재했습니다.

역시 비슷하게 청소년들의 자살을 방조했단 이유로 손해배상 청구 소송이 잇따라 제기된 챗GPT의 오픈 AI 또한 대화 상대가 미성년자일 가능성을 예측할 수 있게 하는 모델을 순차적으로 도입하기로 했습니다.

이제 우리도 지구 반대편의 선례를 남 얘기로만 치부하긴 어려워졌습니다.

지난해 우리나라 전국 중고등학생 가운데, '생성형 AI를 사용한 적 있다'고 응답한 학생은 전체의 67.9%였습니다.

하지만, AI의 오류나 편향성을 확인하는 데 대한 경험 수준은 매우 낮았습니다.

부랴부랴 우리 정부도 '생성형 AI 서비스 이용자 보호 가이드라인'을 발표했습니다.

하지만, 이 말 그대로 구속력 없는 가이드라인에 불과합니다.

내년부터 시행되는 'AI 기본법' 또한 규제보다는 일단 국내 AI의 진흥에 초점을 맞춘 법이란 평가가 많습니다.

미국의 사례가 우리에게 주는 교훈은 명확합니다.

기술 발전을 향한 거침없는 속도전 속에서도 우리가 끝까지 지켜내야 할 가치가 있단 겁니다.

혁신의 사각지대에 놓인 우리 아이들을 위한 더 세밀하고 단단한 안전망을 고민해야 할 때입니다.

(취재 : 이현영, 영상취재 : 주용진, 영상편집 : 이혜림, 디자인 : 육도현, 제작 : 디지털뉴스부)

최신 콘텐츠

'죽음' 상담하자 '극단적 선택' 답한 챗봇…14살 소년의 비극