“부모 통제 기능·전문 기관 연계 도입…연구진은 ‘자율 규제 한계’ 지적”
인공지능(AI) 챗봇 개발회사인 오픈AI와 메타가 청소년 사용자들이 자살 관련 질문을 하거나 정신적·정서적 위기 상황을 보일 경우 챗봇의 대응 방식을 조정하고 있다고 AP가 2일 보도했다.
이 보도에 따르면 오픈AI는 자사 챗봇 ‘챗GPT’에 올가을부터 새로운 부모 통제 기능을 도입할 예정이라고 밝혔다. 부모 계정과 자녀 계정을 연동해 특정 기능을 제한하거나, ‘긴급한 위기 상황’이 감지될 경우 알림을 받을 수 있도록 한다는 것이다. 회사는 또 연령과 관계없이 가장 심각한 대화 상황에서는 더 정교한 AI 모델로 대화를 전환해 더 나은 대응을 제공하겠다고 설명했다.
이 같은 발표는 올해 초 캘리포니아에서 16세 소년이 스스로 목숨을 끊은 사건과 관련해 유가족이 챗GPT가 자살 계획을 돕고 실행을 부추겼다며 오픈AI와 샘 올트먼 CEO를 상대로 소송을 제기한 지 일주일 만에 나왔다. 유족 측 변호사 제이 에델슨은 오픈AI의 발표를 두고 “막연한 개선 약속일 뿐”이라며 “위기 대응용 여론 관리에 불과하다”고 비판했다.
메타 역시 인스타그램·페이스북·왓츠앱 챗봇에서 청소년과 자해, 자살, 섭식 장애, 부적절한 연애 대화 등을 차단하고, 대신 전문 기관의 도움을 받을 수 있는 안내를 제공하겠다고 밝혔다. 메타는 이미 청소년 계정에 부모 통제 기능을 적용 중이다.
한편 최근 의학 저널 학술지인 ‘정신의료 서비스(Psychiatric Services)’에 게재된 연구에서는 챗GPT, 구글의 제미니, 앤스로픽의 클로드 등 세 가지 인기 AI 챗봇이 자살 관련 질문에 불일치한 대응을 보였다고 지적했다. 연구를 진행한 랜드연구소는 “추가적인 개선이 필요하다”고 결론내렸다. 연구진은 메타의 챗봇은 조사 대상에 포함하지 않았다.
연구 책임저자인 라이언 맥베인 하버드 의대 부교수는 “부모 통제 기능과 민감한 대화를 더 정교한 모델로 전환하는 것은 긍정적 신호지만, 이는 점진적 조치에 불과하다”며 “독립적인 안전 기준, 임상 검증, 강제 가능한 규범이 마련되지 않는다면 여전히 기업 자율 규제에 의존하는 상황”이라고 경고했다.
이 보도에 따르면 오픈AI는 자사 챗봇 ‘챗GPT’에 올가을부터 새로운 부모 통제 기능을 도입할 예정이라고 밝혔다. 부모 계정과 자녀 계정을 연동해 특정 기능을 제한하거나, ‘긴급한 위기 상황’이 감지될 경우 알림을 받을 수 있도록 한다는 것이다. 회사는 또 연령과 관계없이 가장 심각한 대화 상황에서는 더 정교한 AI 모델로 대화를 전환해 더 나은 대응을 제공하겠다고 설명했다.
이 같은 발표는 올해 초 캘리포니아에서 16세 소년이 스스로 목숨을 끊은 사건과 관련해 유가족이 챗GPT가 자살 계획을 돕고 실행을 부추겼다며 오픈AI와 샘 올트먼 CEO를 상대로 소송을 제기한 지 일주일 만에 나왔다. 유족 측 변호사 제이 에델슨은 오픈AI의 발표를 두고 “막연한 개선 약속일 뿐”이라며 “위기 대응용 여론 관리에 불과하다”고 비판했다.
메타 역시 인스타그램·페이스북·왓츠앱 챗봇에서 청소년과 자해, 자살, 섭식 장애, 부적절한 연애 대화 등을 차단하고, 대신 전문 기관의 도움을 받을 수 있는 안내를 제공하겠다고 밝혔다. 메타는 이미 청소년 계정에 부모 통제 기능을 적용 중이다.
한편 최근 의학 저널 학술지인 ‘정신의료 서비스(Psychiatric Services)’에 게재된 연구에서는 챗GPT, 구글의 제미니, 앤스로픽의 클로드 등 세 가지 인기 AI 챗봇이 자살 관련 질문에 불일치한 대응을 보였다고 지적했다. 연구를 진행한 랜드연구소는 “추가적인 개선이 필요하다”고 결론내렸다. 연구진은 메타의 챗봇은 조사 대상에 포함하지 않았다.
연구 책임저자인 라이언 맥베인 하버드 의대 부교수는 “부모 통제 기능과 민감한 대화를 더 정교한 모델로 전환하는 것은 긍정적 신호지만, 이는 점진적 조치에 불과하다”며 “독립적인 안전 기준, 임상 검증, 강제 가능한 규범이 마련되지 않는다면 여전히 기업 자율 규제에 의존하는 상황”이라고 경고했다.
