딥페이크 성폭력에 기술 기업의 책임은 전혀 없는가
– AI 도구의 위험성을 통제할 수 없다는 변명은 책임 회피일 뿐
– 인공지능 기술 기업의 사회적 책임 강화해야
최근 언론을 통해 알려진 광범위한 딥페이크 성폭력 사태에 우리는 충격을 금할 수 없다. 딥페이크 성범죄는 뿌리 깊은 여성 혐오와 성차별, 젠더 폭력이라는 우리 사회의 구조적 문제를 다시 한 번 드러냈다. 피해를 입은 여성들에 연대를 표하며, 빅테크와 인공지능 기술에 대한 사회적 통제를 주장해 온 우리 단체는 사회적 해법을 모색함에 있어 특히 인공지능 기술 기업의 책임을 묻고자 한다.
딥페이크 성폭력은 인공지능 등 첨단기술을 이용한 기술 매개 성폭력으로, 가해자들이 손쉽게 불법 성폭력물을 제작할 수 있고, 온라인 공간과 디지털 파일의 특성상 불법 성폭력물이 무한대로 복제, 확산이 가능해 광범위한 피해를 발생시킨다. 그런데 불법 성폭력 콘텐츠의 생성, 유통을 통해 이윤을 얻고 있는 빅테크 기술 기업들은 정작 이 사태를 방조하고 제대로 된 책임을 지고 있지 않다. 전 지구적 디지털 환경에서 우리는 손쉽게 해외 플랫폼을 이용할 수 있고 때로는 국가의 검열과 탄압을 피해 사이버 망명을 하기도 한다. 그러나 여성을 성적으로 착취하는 불법 콘텐츠에 대한 수사와 유통 제한 조치에 있어 플랫폼 기업은 해외에 있다는 이유로 이를 회피하거나 방해해서는 안 된다. 하지만 지난 텔레그램 n번방 사건에서도 성착취물을 유통하는 플랫폼이었던 텔레그램이 이에 대한 책임 있는 조치를 취했다는 소식은 듣지 못했다. 이번에도 불법 딥페이크 성폭력 콘텐츠는 텔레그램을 통해 광범위하게 유통되었다.
해외 빅테크만의 문제가 아니다. 딥페이크 성폭력에 대한 사회적 분노가 들끓는 와중에 최근 국내 빅테크 네이버의 자회사 스노우의 카메라 어플리케이션 ‘소다’가 여성 이용자의 의사와 전혀 상관없이 성적 불쾌감을 일으키는 사진을 인공지능으로 생성한다는 것이 알려졌다. 하지만 네이버 스노우와 일부 임직원들은 불쾌한 성적 이미지 생성에 대하여 여성 이용자가 불만을 제기했음을 인지한 후에도 ‘인공지능 생성물을 100% 통제할 수 없다’며 책임을 회피하고 있다. 소다는 문제가 된 AI 편집 기능에 이미지 생성 인공지능 엔진인 스테이블 디퓨전을 사용했는데, 스테이블 디퓨전은 개발 단계에서 음란물을 학습 데이터에 포함시킨 것으로 알려져 있다. 문제의 사진을 생성한 것은 이러한 알고리즘을 자사 서비스에 사용한 네이버 스노우의 책임이 아닐 수 없다.
인공지능 제품과 서비스의 바탕이 되는 데이터 학습과 출력물 생성으로 인한 문제가 불거졌을 때 해당 제품과 서비스를 시장에 제공하거나 배치한 기업들은 책임을 회피해선 안 된다. 더군다나 한국에 이미 광범위하게 만연한 여성에 대한 성적 비하, 나아가 성착취는 매우 중대한 사회적 문제로, 기술 기업은 이를 방지하고 조치하기 위한 주의 의무를 다해야 한다. 특히 구체적인 피해 사례가 발생하였을 때 해당 제품이나 서비스를 출시한 기업은 최소한 점검에 착수하고 같은 피해를 야기할 위험 방지 조치를 취할 주의 의무가 있다.
결과물 생성이 최종 이용자의 조작 또는 오남용에 따른 문제라 하더라도 해당 AI 도구를 제공한 기업의 책임이 전혀 없는 것은 아니다. 이용자의 오남용이 우려될수록 출시 기업은 예상되는 오남용을 통제할 수 있는 조치를 취하거나 올바른 사용 방법과 오남용에 따른 책임에 대해 이용자에게 충분히 고지하는 등 오남용을 최소화할 책임이 있다. 또한 제품을 출시한 이후에도 자사 제품의 품질을 계속 모니터링하고 소비자 또는 이용자의 불만에 신의성실하게 응대할 책무가 있다.
네이버를 비롯한 인공지능 기업들이 표방해온 인공지능 윤리가 공허한 말에 그치지 않기 위해서는 책무성을 갖추기 위한 해당 기업의 기술적, 조직적 대책이 갖추어져야 한다. 나아가 딥페이크 등 조작된 정보로 권리가 침해된 사람은 해당 인공지능을 배치한 기업에 필요한 조치를 요청할 수 있어야 한다. 또한 인공지능의 특성 상 오남용과 미처 예상하지 못한 피해 발생의 가능성이 매우 크기 때문에, 우리나라에서도 인공지능의 책임과 의무를 법률로 엄격히 규정할 필요가 있다.
현재 국회는 딥페이크 성폭력에 대한 대책 마련을 논하고 있다. 국회가 논의하고 있는 인공지능 법안에 인공지능 제품을 제공하거나 배치하는 사업자가 자기 제품이나 서비스가 유발할 성착취 위험에 대하여 방지하고 조치하는 주의를 다하도록 책임을 부과할 것을 강력히 촉구한다.
2024년 9월 13일
진보네트워크센터
